企业微信
悟空CRM  >   公司新闻  >  教你使用开源 Hugging Chat 部署『生产级』私有 AI 聊天应用

教你使用开源 Hugging Chat 部署『生产级』私有 AI 聊天应用

悟空软件 阅读次数:2467 次浏览

本文介绍了使用 HuggingFace 的一系列工具来搭建本地大语言模型的 AI 聊天应用。

该方案专注聊天,也是最常用的场景,比起其他开源项目的娱乐和玩具的成分来说,HuggingFace 的 Chat 质量可以说相当高了。

先看一下 UI:

Hugging Chat UI当然还有黑色主题:

Hugging Chat UI 深色主题前后端分别有如下特点:

• 聊天应用的前端 UI 使用 HuggingFace ChatUI,

• 可开启授权

• 可存储对话记录(使用 Mongo)

• 可定制 UI

• 后端使用 text-generation-inference

• 可对接多种开源模型,Llama 2、Falcon 等

• 可容器运行

• 可定制

下面主要讲的是本地运行方案,如果你觉得麻烦可以直接在 HuggingFace 上运行,一键搞定,文章最后一章我也会附上说明。

 

后端模型接口

我们使用 text-generation-inference 这个项目,自带 API、架构简单稳定,可用于生产。

项目地址:

https://github.com/huggingface/text-generation-inference

项目架构:

text-generation-inference

项目特点

• 通过简单的启动器提供最流行的大型语言模型

• 张量并行可在多个 GPU 上实现更快的推理

• 使用服务器发送事件 (SSE) 的令牌流

• 连续批处理传入请求以提高总吞吐量

• 在最流行的架构上使用flash-attention和Paged Attention进行推理的优化转换器代码

• 使用bitsandbytes和GPT-Q进行量化

• Safetensors重量加载

• 使用大型语言模型的水印进行水印

• Logits 扭曲器(温度缩放、top-p、top-k、重复惩罚,更多详细信息请参见Transformers.LogitsProcessor)

• 停止序列(生成过程中停止)

• 对数概率

• 生产就绪(使用开放遥测、Prometheus 指标进行分布式跟踪)

模型

这是经过优化的架构,当然包含我们最爱的 Llama 2:

• BLOOM

• FLAN-T5

• Galactica

• GPT-Neox

• Llama

• OPT

• SantaCoder

• Starcoder

• Falcon 7B

• Falcon 40B

• MPT

• Llama V2

其他的模型你也可以试试:

如果需要使用认证的模型(比如 Llama 2),需要配置 HF 的令牌:

• 前往https://huggingface.co/settings/tokens

• 复制您的 cli READ 令牌

• 配置变量 HUGGING_FACE_HUB_TOKEN=<your cli READ token>

ChatUI

ChatUI 是一个 SvelteKit 应用程序,专门为 HuggingChat 应用程序提供支持。 我们刚刚运行的 text-generation-inference 就可以 很好地和 ChatUI 配合。

项目地址是:

• https://github.com/huggingface/chat-ui

首先克隆项目:

在线部署

Hugging Chat是一个开源接口,使每个人都可以尝试 Falcon、StarCoder 和 BLOOM 等开源大型语言模型。

当然您也可以借助 ChatUI 的官方 Docker 模板, 使用 Hugging Face 的基础设施,选择模型快速部署部署自己的 Hugging Chat。

在下面网址快速创建。

https://huggingface.co/new-space?template=huggingchat/chat-ui-template

 

 

 

悟空CRM产品更多介绍:www.5kcrm.com

相关内容

咋挑一款牛的CRM系统?有啥参考?

咋挑一款牛的CRM系统?有啥参考?哎,说到选CRM系统啊,这事儿可真不是个小工程。毕竟,一个好的客户关系管理系统(简称CRM)能帮你搞定很多事情,比如管理客户信息、跟踪销售进度、分析市场趋势等等。但市面上那么多选择,到底该怎么挑呢?别急,咱们慢慢来聊。了解自己的需求首先,你得清楚自己想要什么。就像买衣服一样,得知道自己是想穿休闲装还是正装对吧?同样地,在挑选CRM之前,先问问自己:我最需要解决哪些
相关文章

一款集CRM系统、人力资源和财务系统于一体的办公软件

在当今这个数字化转型的时代,企业对于高效管理工具的需求日益增长。从传统的纸质记录到现在的云端服务,每一次技术的进步都为企业带来了前所未有的机遇与挑战。今天,我们就来聊聊这样一款神奇的产品悟空CRM——它不仅整合了客户关系管理(CRM)、人力资源管理和财务管理等多个领域功能于一身,还能够帮助企业实现一站式办公自动化。一、全面覆盖:让信息流动更顺畅首先,在这款办公软件中,最让人眼前一亮的就是其全面的功
相关文章

客户表格咋用?提升业绩有啥神操作?

你好啊,聊聊客户表格这事儿嘿,大家好!今天咱们就来聊聊一个在工作中特别实用的小工具——客户表格。你可能觉得这玩意儿听起来挺枯燥的,但其实用好了,它可是能帮你大大提升业绩的秘密武器哦!客户表格是个啥?首先,咱们得搞清楚客户表格到底是个什么东西。简单来说,就是一张用来记录客户信息的表单啦。比如客户的姓名、联系方式、购买历史啊这些基本信息都会被记录下来。别小看了这张表,它可是帮助我们更好地了解客户需求、
相关文章

客户关系系统,你真的用对了吗?

开篇:客户关系系统,你真的用对了吗?哎呀,说到这个客户关系管理系统(CRM),真是让人又爱又恨啊。它就像是个大宝库,里面藏着无数的宝藏,但如果你不知道怎么打开这扇门,那可就只能干瞪眼了。今天咱们就来聊聊,怎样才能让CRM不再成为摆设,真正发挥它的威力。一、了解你的需求首先呢,得搞清楚自己到底需要什么。就像买衣服一样,你得知道自己是想要休闲装还是正装,不然就算给你一堆名牌,也穿不出那个味儿来。对于企
相关文章

大公司用CRM系统要咋部署?稳不稳?

从零开始,聊聊CRM系统哎呀,说到这个CRM(客户关系管理)系统啊,真是让人又爱又恨。它就像是个超级助手,能帮你搞定客户信息、销售流程还有市场活动这些事儿。但是呢,要想让它真正发挥作用,部署起来可得费点心思了。首先,搞清楚你的需求是什么咱们在决定用哪个CRM之前,得先想明白自己到底需要什么功能。比如,你是想要更好地管理客户数据呢?还是说更看重提高销售效率?或者是希望通过分析来优化营销策略?每个人的
相关文章

CRM系统的平均成本是多少?

CRM系统:究竟值不值得投资?大家好!今天咱们来聊聊一个很实用但又让人摸不清底细的话题——CRM(客户关系管理)系统的平均成本。在当今数字化时代,企业越来越依赖技术工具来提升效率和改善客户服务体验,而CRM就是其中最不可或缺的一员。一、为什么需要了解CRM的成本首先呢,我想问问你有没有想过这样一个问题:“我到底该不该花这笔钱去购买并实施一套新的CRM?”其实这很正常啦,毕竟谁也不想把宝贵的预算浪费
相关文章

CRM系统的数据挖掘和预测分析能力如何?

CRM系统的数据挖掘与预测分析:开启商业智慧的大门嘿,大家好!今天咱们聊聊一个在现代企业管理中越来越火的话题——CRM系统中的数据挖掘和预测分析能力。你是不是经常听到“大数据”、“人工智能”这些词呢?其实啊,在客户关系管理(CRM)领域里头,这两个概念也正在改变游戏规则。什么是CRM?首先得解释一下什么叫作CRM吧。简单来说,CRM就是一套帮助公司更好地理解和服务客户的工具和技术集合体。它不仅能够
相关文章

CRM系统的特点有哪些?它的主要作用是什么?

CRM系统:让客户管理变得更轻松嘿,大家好!今天咱们来聊聊一个在商业领域里非常有用的小工具——CRM(Customer Relationship Management)系统。你可能听说过它,也可能对它还比较陌生,没关系,我会尽量用通俗易懂的语言帮你理解这个东西到底是个啥,有什么特点和主要作用。什么是CRM?首先得弄明白,“CRM”这三个字母是“Customer Relationship Manag
相关文章

CRM软件管理系统是什么?它的主要功能和作用是什么?

CRM 软件管理系统:现代企业运营的好帮手嘿!你知道吗?如今的企业管理可不像以前那么简单了。随着市场的竞争日益激烈,客户关系变得越来越重要,而CRM(Customer Relationship Management)软件系统就是为此应运而生的一种强大工具。一、什么是CRM?简单来说,CRM是一种用来管理和优化与客户的互动的技术解决方案。它就像一个超级智能的大脑,帮助公司记住每个客户的信息,并且在合
相关文章

CRM的价格是多少?咋定价的?

嗨,大家好!今天咱们来聊聊一个大家都关心的话题——CRM系统的定价问题。你知道吗,在选择适合自己的客户关系管理(CRM)系统时,价格往往是决定性因素之一。一、市场上的CRM产品大概价格首先得说一句:市场上CRM产品的比较多!通常分为开源CRM、SAAS云服务、私有化部署。开源CRM好的品牌比较少,通常时商用后开始收费。SAAS云服务通常几百元每人每年,而私有化部署的价格通常根据其需要,几万或者几十
相关文章
最新文章

咋挑一款牛的CRM系统?有啥参考?

咋挑一款牛的CRM系统?有啥参考?哎,说到选CRM系统啊,这事儿可真不是个小工程。毕竟,一个好的客户关系管理系统(简称CRM)能帮你搞定很多事情,比如管理客户信息、跟踪销售进度、分析市场趋势等等。但市面上那么多选择,到底该怎么挑呢?别急,咱们慢慢来聊。了解自己的需求首先,你得清楚自己想要什么。就像买衣服一样,得知道自己是想穿休闲装还是正装对吧?同样地,在挑选CRM之前,先问问自己:我最需要解决哪些
最新文章

一款集CRM系统、人力资源和财务系统于一体的办公软件

在当今这个数字化转型的时代,企业对于高效管理工具的需求日益增长。从传统的纸质记录到现在的云端服务,每一次技术的进步都为企业带来了前所未有的机遇与挑战。今天,我们就来聊聊这样一款神奇的产品悟空CRM——它不仅整合了客户关系管理(CRM)、人力资源管理和财务管理等多个领域功能于一身,还能够帮助企业实现一站式办公自动化。一、全面覆盖:让信息流动更顺畅首先,在这款办公软件中,最让人眼前一亮的就是其全面的功
最新文章

客户表格咋用?提升业绩有啥神操作?

你好啊,聊聊客户表格这事儿嘿,大家好!今天咱们就来聊聊一个在工作中特别实用的小工具——客户表格。你可能觉得这玩意儿听起来挺枯燥的,但其实用好了,它可是能帮你大大提升业绩的秘密武器哦!客户表格是个啥?首先,咱们得搞清楚客户表格到底是个什么东西。简单来说,就是一张用来记录客户信息的表单啦。比如客户的姓名、联系方式、购买历史啊这些基本信息都会被记录下来。别小看了这张表,它可是帮助我们更好地了解客户需求、
最新文章

快速注册,立即使用

仅需一分钟,立即注册悟空云。悟空CRM免费试用。
客户端下载