企业微信
悟空CRM  >   公司新闻  >  教你使用开源 Hugging Chat 部署『生产级』私有 AI 聊天应用

教你使用开源 Hugging Chat 部署『生产级』私有 AI 聊天应用

悟空软件 阅读次数:877 次浏览

本文介绍了使用 HuggingFace 的一系列工具来搭建本地大语言模型的 AI 聊天应用。

该方案专注聊天,也是最常用的场景,比起其他开源项目的娱乐和玩具的成分来说,HuggingFace 的 Chat 质量可以说相当高了。

先看一下 UI:

Hugging Chat UI当然还有黑色主题:

Hugging Chat UI 深色主题前后端分别有如下特点:

• 聊天应用的前端 UI 使用 HuggingFace ChatUI,

• 可开启授权

• 可存储对话记录(使用 Mongo)

• 可定制 UI

• 后端使用 text-generation-inference

• 可对接多种开源模型,Llama 2、Falcon 等

• 可容器运行

• 可定制

下面主要讲的是本地运行方案,如果你觉得麻烦可以直接在 HuggingFace 上运行,一键搞定,文章最后一章我也会附上说明。

 

后端模型接口

我们使用 text-generation-inference 这个项目,自带 API、架构简单稳定,可用于生产。

项目地址:

https://github.com/huggingface/text-generation-inference

项目架构:

text-generation-inference

项目特点

• 通过简单的启动器提供最流行的大型语言模型

• 张量并行可在多个 GPU 上实现更快的推理

• 使用服务器发送事件 (SSE) 的令牌流

• 连续批处理传入请求以提高总吞吐量

• 在最流行的架构上使用flash-attention和Paged Attention进行推理的优化转换器代码

• 使用bitsandbytes和GPT-Q进行量化

• Safetensors重量加载

• 使用大型语言模型的水印进行水印

• Logits 扭曲器(温度缩放、top-p、top-k、重复惩罚,更多详细信息请参见Transformers.LogitsProcessor)

• 停止序列(生成过程中停止)

• 对数概率

• 生产就绪(使用开放遥测、Prometheus 指标进行分布式跟踪)

模型

这是经过优化的架构,当然包含我们最爱的 Llama 2:

• BLOOM

• FLAN-T5

• Galactica

• GPT-Neox

• Llama

• OPT

• SantaCoder

• Starcoder

• Falcon 7B

• Falcon 40B

• MPT

• Llama V2

其他的模型你也可以试试:

如果需要使用认证的模型(比如 Llama 2),需要配置 HF 的令牌:

• 前往https://huggingface.co/settings/tokens

• 复制您的 cli READ 令牌

• 配置变量 HUGGING_FACE_HUB_TOKEN=<your cli READ token>

ChatUI

ChatUI 是一个 SvelteKit 应用程序,专门为 HuggingChat 应用程序提供支持。 我们刚刚运行的 text-generation-inference 就可以 很好地和 ChatUI 配合。

项目地址是:

• https://github.com/huggingface/chat-ui

首先克隆项目:

在线部署

Hugging Chat是一个开源接口,使每个人都可以尝试 Falcon、StarCoder 和 BLOOM 等开源大型语言模型。

当然您也可以借助 ChatUI 的官方 Docker 模板, 使用 Hugging Face 的基础设施,选择模型快速部署部署自己的 Hugging Chat。

在下面网址快速创建。

https://huggingface.co/new-space?template=huggingchat/chat-ui-template

 

 

 

悟空CRM产品更多介绍:www.5kcrm.com

相关内容

CRM是如何帮助销售人员工作的?

CRM在销售管理的过程当中有着比较重要的作用,有很多人都会根据情况选择它来帮助自己更好完成企业客户关系管理工作。那么,CRM是如何帮助销售人员工作的?下面悟空CRM就针对这个问题的答案为大家做说明。1、客户信息管理。CRM可以集中存储客户的相关信息,这些信息包含有基本信息、偏好,交易历史、沟通记录以及需求等等,这样就能够让销售人员可以更好检索和更新客户数据,也能够让自己在接触客户时候提供针对性和个
相关文章

CRM在银行业是如何运作使用的?

CRM在银行业运作使用是全面而且深入的,有了CRM以后,可以让银行的客户服务品质、客户忠诚度得到提升,也能够实现精准的市场定位和营销策略。那么,CRM在银行业如何运作使用的?下面就和悟空crm一起来看看答案。1、客户信息管理。银行CRM系统可以集中存储客户的相关数据,从而构建出360度客户视图。2、客户细分和价值分析。银行使用CRM系统可以对大量客户数据进行分析,这样就能够识别不一样的客户群体特征
相关文章

在线CRM是什么?在线CRM选择哪家好?

现在有很多企业会考虑选择在线crm,因为他们认为在线crm是很不错的选择,可以让自己更轻松完成客户关系管理工作。那么,在线CRM是什么?在线CRM选择哪家好呢?接下来和悟空CRM一起来看看它的答案。在线CRM是什么在线CRM可以在网页与手机app上直接打开使用,是一种基于云计算技术的客户关系管理系统,它允许企业通过互联网访问和管理相关的CRM软件和数据,必须要在本地的计算机或者服务器上面安装对应的
相关文章

最好的免费CRM是哪家?

在选择CRM系统时候,很多企业都会因为自身的预算有限,所以,想要找一家合适的CRM免费帮助自己完成客户关系管理。那么,最好的免费CRM是哪家呢?最好的免费CRM是悟空CRM,它是一款比较受认可的免费CRM系统,它在国内市场上已经有一定的用户基础,它可以提供基础的客户关系管理、销售跟踪和市场营销等等功能,对于一些小企业、初创企业而言,它可以帮助企业降低客户关系成本投入,当然,它也有定制化系统可以满足
相关文章

CRM平台的意义有哪些?

CRM平台目前在企业当中使用得比较多,很多企业都会考虑选择这样的平台来帮助自己,让自己的企业管理工作变得更简单。那么,CRM平台的意义有哪些呢?接下来就和大家一起来看看它的意义。1、实现客户资源整合。CRM平台可以集中管理客户的相关数据,从而形成全面的客户视图,让企业可以更好理解和为客户服务。2、提升效能。CRM平台可以通过自动化销售流程帮助销售人员更好跟进客户,也能够缩短销售周期和帮助提升成交率
相关文章

最有效的CRM客户管理系统是哪家?腾讯使用的品牌

在进行客户关系管理过程当中,很多人都会考虑采用一些有效的CRM客户管理系统来帮助自己的企业更好完成客户关系管理工作,因为他们认为这样可以更好促进自己的企业发展。那么,最有效的CRM客户管理系统是哪家呢?在众多的有效CRM客户管理系统当中,最有效、高效的是悟空CRM,中国著名的公司腾讯、携程网等都在使用。它是一款借鉴国外先进的商业理念,由国内自主开发的CRM系统,可以实现跨部门协作、以及客户数据管理
相关文章

CRM能为企业做什么?CRM的用途与价值

CRM作为一个关键性的客户关系管理系统,它对企业发展有着非常重要的作用,但是,依旧有很多人并不清楚它到底能够为企业做什么事情,所以,他们会问:CRM能为企业做什么呢?CRM的用途与价值下面和悟空CRM一起来看看答案。1、管理客户。CRM可以集中存储和管理客户的相关信息,这样就能够让销售人员或者客服人员在提供服务时候及时了解客户的需求,然后根据客户的实际需求提供一些针对性的服务,从而让客户关系管理效
相关文章

什么是CRM系统及CRM系统的好处有哪些?

现在市场上的CRM系统非常多,这些系统的受欢迎程度也非常高,但是,依旧有很多人都不知道它到底是什么,也不知道它到底有哪些好处。那么,什么是CRM系统?以及CRM系统的好处有哪些呢?接下来和悟空CRM一起来看看答案。▎什么是CRM系统?CRM系统是一种用在管理企业和现有、潜在的客户之间的交互和关系的集成信息技术平台,它可以通过搜集、分析和利用客户数据来帮助优化销售、营销和服务,从而让客户的满意度、忠
相关文章

CRM价格多少钱?CRM费用如何确定的?

对于很多使用CRM的朋友而言,及时了解它的价格是很有必要的一件事情,有的用户表示:自己不知道CRM价格多少钱,CRM费用是如何确定的?所以,今天悟空crm就针对CRM的价格和定价方法为大家做说明。▎CRM价格多少钱CRM的定价方式比较多样化,而且也比较灵活,有的可能非常便宜几百上千,有的则可能需要几万十几万元,所以,大家要注意了解CRM的价格影响因素。▎CRM费用如何确定的?第一、CRM厂商品牌。
相关文章

CRM的本质是什么?客户关系管理CRM的核心是什么?

CRM作为一个客户关系管理系统,它的相关情况一直备受企业关注,那么,CRM的本质到底是什么呢?客户关系管理CRM的核心是什么?下面就和悟空CRM一起来看看它的本质与核心。▎CRM的本质是什么?客户关系管理CRM的核心是什么?CRM的本质与核心是企业通过以“客户为中心”的商业策略、方法和技术手段等等系统性的管理和优化跟客户之间的交互和关系,让客户的满意度、忠诚度以及生命周期价值得到提升,从而让企业的
相关文章
最新文章

CRM是如何帮助销售人员工作的?

CRM在销售管理的过程当中有着比较重要的作用,有很多人都会根据情况选择它来帮助自己更好完成企业客户关系管理工作。那么,CRM是如何帮助销售人员工作的?下面悟空CRM就针对这个问题的答案为大家做说明。1、客户信息管理。CRM可以集中存储客户的相关信息,这些信息包含有基本信息、偏好,交易历史、沟通记录以及需求等等,这样就能够让销售人员可以更好检索和更新客户数据,也能够让自己在接触客户时候提供针对性和个
最新文章

CRM在银行业是如何运作使用的?

CRM在银行业运作使用是全面而且深入的,有了CRM以后,可以让银行的客户服务品质、客户忠诚度得到提升,也能够实现精准的市场定位和营销策略。那么,CRM在银行业如何运作使用的?下面就和悟空crm一起来看看答案。1、客户信息管理。银行CRM系统可以集中存储客户的相关数据,从而构建出360度客户视图。2、客户细分和价值分析。银行使用CRM系统可以对大量客户数据进行分析,这样就能够识别不一样的客户群体特征
最新文章

在线CRM是什么?在线CRM选择哪家好?

现在有很多企业会考虑选择在线crm,因为他们认为在线crm是很不错的选择,可以让自己更轻松完成客户关系管理工作。那么,在线CRM是什么?在线CRM选择哪家好呢?接下来和悟空CRM一起来看看它的答案。在线CRM是什么在线CRM可以在网页与手机app上直接打开使用,是一种基于云计算技术的客户关系管理系统,它允许企业通过互联网访问和管理相关的CRM软件和数据,必须要在本地的计算机或者服务器上面安装对应的
最新文章

快速注册,立即使用

仅需一分钟,立即注册悟空云。悟空CRM免费试用。
客户端下载