企业微信
悟空CRM  >   公司新闻  >  教你使用开源 Hugging Chat 部署『生产级』私有 AI 聊天应用

教你使用开源 Hugging Chat 部署『生产级』私有 AI 聊天应用

悟空软件 阅读次数:2670 次浏览

本文介绍了使用 HuggingFace 的一系列工具来搭建本地大语言模型的 AI 聊天应用。

该方案专注聊天,也是最常用的场景,比起其他开源项目的娱乐和玩具的成分来说,HuggingFace 的 Chat 质量可以说相当高了。

先看一下 UI:

Hugging Chat UI当然还有黑色主题:

Hugging Chat UI 深色主题前后端分别有如下特点:

• 聊天应用的前端 UI 使用 HuggingFace ChatUI,

• 可开启授权

• 可存储对话记录(使用 Mongo)

• 可定制 UI

• 后端使用 text-generation-inference

• 可对接多种开源模型,Llama 2、Falcon 等

• 可容器运行

• 可定制

下面主要讲的是本地运行方案,如果你觉得麻烦可以直接在 HuggingFace 上运行,一键搞定,文章最后一章我也会附上说明。

 

后端模型接口

我们使用 text-generation-inference 这个项目,自带 API、架构简单稳定,可用于生产。

项目地址:

https://github.com/huggingface/text-generation-inference

项目架构:

text-generation-inference

项目特点

• 通过简单的启动器提供最流行的大型语言模型

• 张量并行可在多个 GPU 上实现更快的推理

• 使用服务器发送事件 (SSE) 的令牌流

• 连续批处理传入请求以提高总吞吐量

• 在最流行的架构上使用flash-attention和Paged Attention进行推理的优化转换器代码

• 使用bitsandbytes和GPT-Q进行量化

• Safetensors重量加载

• 使用大型语言模型的水印进行水印

• Logits 扭曲器(温度缩放、top-p、top-k、重复惩罚,更多详细信息请参见Transformers.LogitsProcessor)

• 停止序列(生成过程中停止)

• 对数概率

• 生产就绪(使用开放遥测、Prometheus 指标进行分布式跟踪)

模型

这是经过优化的架构,当然包含我们最爱的 Llama 2:

• BLOOM

• FLAN-T5

• Galactica

• GPT-Neox

• Llama

• OPT

• SantaCoder

• Starcoder

• Falcon 7B

• Falcon 40B

• MPT

• Llama V2

其他的模型你也可以试试:

如果需要使用认证的模型(比如 Llama 2),需要配置 HF 的令牌:

• 前往https://huggingface.co/settings/tokens

• 复制您的 cli READ 令牌

• 配置变量 HUGGING_FACE_HUB_TOKEN=<your cli READ token>

ChatUI

ChatUI 是一个 SvelteKit 应用程序,专门为 HuggingChat 应用程序提供支持。 我们刚刚运行的 text-generation-inference 就可以 很好地和 ChatUI 配合。

项目地址是:

• https://github.com/huggingface/chat-ui

首先克隆项目:

在线部署

Hugging Chat是一个开源接口,使每个人都可以尝试 Falcon、StarCoder 和 BLOOM 等开源大型语言模型。

当然您也可以借助 ChatUI 的官方 Docker 模板, 使用 Hugging Face 的基础设施,选择模型快速部署部署自己的 Hugging Chat。

在下面网址快速创建。

https://huggingface.co/new-space?template=huggingchat/chat-ui-template

 

 

 

悟空CRM产品更多介绍:www.5kcrm.com

相关内容

什么是CRM?概念、作用、价值、用途、使用方法

1、什么是CRM?简单来说,它就是企业用来管理客户关系的工具说到CRM,很多人可能会觉得这个概念听起来有点复杂,但实际上,它并没有想象中那么难懂。简单来说,CRM就是客户关系管理(Customer Relationship Management),它的核心目标就是帮助企业更好地与客户互动,提升客户满意度,同时提高企业的效率和利润。如果你是一个企业的管理者,或者正在考虑如何优化你的业务流程,那你一定
相关文章

什么是CRM?一文全面看懂CRM(客户关系管理系统)

什么是CRM?一文全面看懂CRM嘿,朋友!今天咱们来聊一个听起来有点专业,但其实跟咱们生活、工作都息息相关的词——CRM。你可能会问:"CRM是什么意思啊?这玩意儿到底是干啥的?"别急,咱们慢慢唠。保证用最接地气的话给你讲明白,连隔壁王大妈听了都能懂!一、CRM到底是个啥?能吃吗?说白了,CRM就是客户关系管理,英文全称Customer Relationship Managem
相关文章

CRM是什么意思啊,主要是干什么的?(专业解析)

嘿,朋友们!今天咱们来聊聊一个听起来有点专业、但其实跟咱们日常生活息息相关的话题——CRM。你可能会问:"CRM是什么意思啊?这玩意儿到底是干啥的?"别急,咱们慢慢唠。说白了,CRM就是客户关系管理,英文全称Customer Relationship Management。听起来是不是还挺直白的?但你可别被这个简单的名字骗了,这可是个超级实用的工具。想象一下,如果你是个老板,每
相关文章

CRM是什么?CRM专业解读,3分钟快速入门

什么是CRM?通俗易懂的解释在当今竞争激烈的商业环境中,客户关系管理(CRM)已经成为企业不可或缺的一部分。那么,究竟什么是CRM呢?简单来说,CRM是一种帮助企业更好地管理与客户之间关系的工具和方法。它不仅仅是软件,更是一种理念,旨在通过收集、分析和利用客户数据,来提升客户满意度和忠诚度,从而推动企业的增长和发展。想象一下,当你走进一家你常去的咖啡店,店员知道你喜欢的咖啡种类和甜度,甚至会在你到
相关文章

什么是CRM系统,它的价值是什么?CRM全面指南

什么是CRM系统?在现代商业环境中,客户关系管理(CRM)系统已经成为企业不可或缺的工具。那么,究竟什么是CRM系统呢?简单来说,CRM是一种用于管理与客户互动的软件解决方案,它帮助企业更好地理解客户需求、跟踪客户互动,并优化销售和服务流程。想象一下,您在一家公司工作,每天都要处理大量的客户信息、订单和反馈,这些信息如果分散在不同的地方,不仅会让人感到无所适从,还可能导致沟通不畅和效率低下。这时候
相关文章

什么是CRM?概念、作用、如何运作的

什么是CRM?它为什么这么重要?嘿,咱们今天来聊聊一个在商业世界里经常被提起的话题——CRM。你可能听说过这个词,但到底什么是CRM呢?简单来说,CRM就是客户关系管理(Customer Relationship Management)的缩写。听起来有点专业,但其实它的核心思想并不复杂。想象一下,你和朋友之间的关系,如果你们经常沟通、互相了解,那这段关系自然会更稳固。而CRM呢,就是帮助企业跟客户
相关文章

CRM是什么意思?为什么中小企业一定要用?

CRM是什么意思?为什么中小企业一定要用?大家好!今天我想和大家聊聊一个在商业领域越来越火的话题——CRM。你可能听过这个词,但可能还不太清楚它到底是什么,或者为什么它对中小企业如此重要。别担心,我会用最通俗易懂的方式,带你一步步了解CRM的“前世今生”,以及它为什么能成为中小企业的“必备神器”。一、CRM到底是什么?我们先从最基础的问题开始:CRM到底是什么意思?其实,CRM的全称是Custom
相关文章

CRM销售机会管理是什么?

嘿,大家好!今天咱们聊聊一个对做生意特别重要的东西——CRM销售机会管理。你知道吗?在这个竞争激烈的时代里,谁能更好地把握住每一个潜在客户,谁就能在市场上站稳脚跟。而说到这个话题啊,我得先给你推荐一款超级好用的工具——悟空CRM。它不仅功能强大,而且操作起来也特别简单,简直就是为咱们这些忙碌的生意人量身定做的。首先,咱们得明白什么是CRM销售机会管理。简单来说呢,就是通过一套系统化的流程来跟踪、分
相关文章

什么是CRM系统平台?基本概念、功能、使用方法、价格、价值与部署流程

 引言嘿,大家好!今天咱们聊聊一个在现代商业环境中超级重要的工具——CRM系统平台。说白了啊,这个东西就是帮公司更好地了解和处理跟客户的各种互动,从而提高销售效率、提升服务质量的一种神器。著名的CRM系统平台为什么我们要谈论它呢?那可太有道理啦!在这个竞争激烈的时代,企业要想脱颖而出,光靠产品或服务本身是不够的,还得懂得如何用心经营与客户的每一段关系。而CRM就像是企业的私人助手一样,在
相关文章

销售CRM管理系统如何提升团队执行力?

嘿,大家好!今天咱们来聊聊一个特别实用的话题——销售CRM管理系统怎么帮助提升团队的执行力。说到这个,我得先提一提悟空CRM,这可是个挺不错的工具,用起来方便又高效,很多企业都靠它解决了不少头疼的问题呢。首先,咱们得明白一件事,就是现在的市场竞争有多激烈啊。每个公司都在想方设法提高效率、增强竞争力,而销售团队作为直接面对客户的前线部队,他们的表现直接影响着公司的业绩。这时候,一个好的CRM系统就显
相关文章
最新文章

什么是CRM?概念、作用、价值、用途、使用方法

1、什么是CRM?简单来说,它就是企业用来管理客户关系的工具说到CRM,很多人可能会觉得这个概念听起来有点复杂,但实际上,它并没有想象中那么难懂。简单来说,CRM就是客户关系管理(Customer Relationship Management),它的核心目标就是帮助企业更好地与客户互动,提升客户满意度,同时提高企业的效率和利润。如果你是一个企业的管理者,或者正在考虑如何优化你的业务流程,那你一定
最新文章

什么是CRM?一文全面看懂CRM(客户关系管理系统)

什么是CRM?一文全面看懂CRM嘿,朋友!今天咱们来聊一个听起来有点专业,但其实跟咱们生活、工作都息息相关的词——CRM。你可能会问:"CRM是什么意思啊?这玩意儿到底是干啥的?"别急,咱们慢慢唠。保证用最接地气的话给你讲明白,连隔壁王大妈听了都能懂!一、CRM到底是个啥?能吃吗?说白了,CRM就是客户关系管理,英文全称Customer Relationship Managem
最新文章

CRM是什么意思啊,主要是干什么的?(专业解析)

嘿,朋友们!今天咱们来聊聊一个听起来有点专业、但其实跟咱们日常生活息息相关的话题——CRM。你可能会问:"CRM是什么意思啊?这玩意儿到底是干啥的?"别急,咱们慢慢唠。说白了,CRM就是客户关系管理,英文全称Customer Relationship Management。听起来是不是还挺直白的?但你可别被这个简单的名字骗了,这可是个超级实用的工具。想象一下,如果你是个老板,每
最新文章

快速注册,立即使用

仅需一分钟,立即注册悟空云。悟空CRM免费试用。
客户端下载