企业微信
悟空CRM  >   公司新闻  >  如何估计大模型所需要的显存大小?HuggingFace发布Model Memory Calculator

如何估计大模型所需要的显存大小?HuggingFace发布Model Memory Calculator

悟空软件 阅读次数:3655 次浏览

大模型对显卡资源的消耗是很大的。但是,具体每个模型消耗多少显存,需要多少资源大模型才能比较好的运行是很多人关心的问题。

此前,DataLearner曾经从理论上给出了大模型显存需求的估算逻辑,详细说明了大模型在预训练阶段、微调阶段和推理阶段所需的显存资源估计(参考:需要多少GPU显存才能运行预训练大语言模型?大语言模型参数规模与显存大小的关系估算方法~:http://https//www.datalearner.com/blog/1051692326904222)。

而HuggingFace的官方库Accelerate直接推出了一个在线大模型显存消耗资源估算工具Model Memory Calculator,直接可以估算在HuggingFace上托管的模型的显存需求。

大模型显存计算工具Model Memory Calculator简介

使用Model Memory Calculator估算大模型显存的实测

大模型显存估计工具Model Memory Calculator的本地部署

大模型显存估计工具Model Memory Calculator的在线演示地址和其它注意

大模型显存计算工具Model Memory Calculator简介

Model Memory Calculator是HuggingFace的Accelerate推出的一个网页工具,你可以直接输入HuggingFace上某个模型地址,它就会估计这个模型运行所需要的显存大小,包括推理和使用Adam进行训练的显存估计。

这个工具估算大模型最小推荐显存资源的方式是用最大层的大小(the minimum recommended vRAM)来表示的。而训练这个模型所需的训练的显存大小,则是这个推理大小的4倍左右。

在许多深度学习模型中,尤其是Transformer类模型,层与层之间的操作往往需要在vRAM中存储中间计算结果,这些结果可能包括激活值、权重等。最大的一层可能需要最大的vRAM空间来存储这些中间结果,以进行前向和反向传播。

考虑到模型的反向传播需要存储前向传播中的激活值以计算梯度,这意味着在训练过程中需要为模型的每一层都存储其激活值。最大的层的激活值可能会占用最多的vRAM。因此,这样估计相对比较保险。

但是根据这样的计算应该也不是简单的直接拿最大层参数来计算。根据官方的说法,最准确的时候,这个工具估算出来的显存大小与实际估计的误差可能也就50MB左右(例如,bert-base-cased模型实际运行需要413.68MB,而这个工具估算的结果是413.18MB)。

使用Model Memory Calculator估算大模型显存的实测

这个工具的使用非常简单,如下图所示,你只需要找到对应的模型所在的HuggingFace地址,直接输入到下面就可以计算了。还可以根据float32、float16、int8、int4量化结果估算。

下面我们使用这个工具估算一下清华大学ChatGLM-6B模型的结果(第一代的ChatGLM-6B模型信息卡地址:https://www.datalearner.com/ai-models/pretrained-models/ChatGLM-6B )。

可以看到,该工具估算的ChatGLM-6B模型在不同精度下的训练和推理的显存需求结果如下:

上图的第三列上图的第三列表示推理显存乘以1.2的结果。原因在于EleutherAI在曾经的技术分析中提到推理所需的实际显存可能要比计算结果高20%左右。下面我们看一下官方给的结果:

如何估计大模型所需要的显存大小?HuggingFace发布Model Memory Calculator

可以看到,该工具估算的显存大小与实际官方推荐的差别还是比较大的。但是,我们再估算一下MetaAI发布的LLaMA2-7B的结果,LaMA2-7B模型在不同精度下的训练和推理的显存需求结果如下:

而根据网络上大家讨论的内容, llama-2-7b-chat载入大概需要15GB显存,这个应该是float16版本,与预估结果十分相似!

可以看到,不同的模型很多结果差异还是挺大的。但是,总体来说,还是很有参考价值的!

大模型显存估计工具Model Memory Calculator的本地部署

这个库也可以本地使用,使用过程应该还是需要联网才能估算(需要访问HuggingFace的模型配置文件)。

Model Memory Calculator的安装很简单。首先安装依赖的accelerate库:

pip install git+https://github.com/huggingface/accelerate.git

  1. pip install jaxlib

如果提示jaxlib版本问题你可能要升级。

接下来先在本地输入自己的HuggingFace的密钥,首先需要在页面生成token:https://huggingface.co/settings/tokens

然后复制token后,运行如下命令配置:

  1. huggingface-cli login

如下图所示:

运行到这里的时候Token:输入上面你复制的token即可。接下来就可以直接运行了。

估算MetaAI的LLaMA2-7B-HF模型的显存大小:

accelerate estimate-memory meta-llama/Llama-2-7b-hf

 

结果如下所示:

在线演示地址和其它注意事项

大模型显存估计工具Model Memory Calculator的使用地址参考原文末尾。

 

需要注意的是,该工具如果访问的是需要授权的页面,如上图所示的llama2-7b,是需要先用huggingface账户获取授权,然后获得你的token才能访问的。虽然上面演示页面提供了API Token的输入,但是是有问题的,这个部署不好。但是我们可以自己本地部署方式。

 

悟空CRM产品更多介绍:www.5kcrm.com

相关内容

什么是CRM系统平台?基本概念、功能、使用方法、价格、价值与部署流程

 引言嘿,大家好!今天咱们聊聊一个在现代商业环境中超级重要的工具——CRM系统平台。说白了啊,这个东西就是帮公司更好地了解和处理跟客户的各种互动,从而提高销售效率、提升服务质量的一种神器。著名的CRM系统平台为什么我们要谈论它呢?那可太有道理啦!在这个竞争激烈的时代,企业要想脱颖而出,光靠产品或服务本身是不够的,还得懂得如何用心经营与客户的每一段关系。而CRM就像是企业的私人助手一样,在
相关文章

销售CRM管理系统如何提升团队执行力?

嘿,大家好!今天咱们来聊聊一个特别实用的话题——销售CRM管理系统怎么帮助提升团队的执行力。说到这个,我得先提一提悟空CRM,这可是个挺不错的工具,用起来方便又高效,很多企业都靠它解决了不少头疼的问题呢。首先,咱们得明白一件事,就是现在的市场竞争有多激烈啊。每个公司都在想方设法提高效率、增强竞争力,而销售团队作为直接面对客户的前线部队,他们的表现直接影响着公司的业绩。这时候,一个好的CRM系统就显
相关文章

如何选择适合的CRM客户管理系统?

开始之前,咱们先聊聊CRM嗨,大家好!今天想跟你们聊聊一个在商业世界里越来越火的话题——CRM客户管理系统。你可能已经听说过这个词了,但还不太清楚它具体是干嘛的。简单来说,CRM就是帮助企业更好地管理与客户之间的关系的一种工具。听起来挺专业的吧?其实用起来还挺方便的!选择CRM时要考虑什么?那么问题来了,市面上这么多CRM系统,到底哪个比较好呢?这得看你最关心哪些方面了。首先,得看这个系统是否容易
相关文章

CRM系统的核心价值是什么?如何提升企业效率?

大家好,今天咱们聊聊一个在企业管理中越来越重要的工具——CRM系统。如果你是一个企业管理者,或者正在考虑如何优化团队效率,那你一定听说过“客户关系管理”这个词。但很多人可能还停留在“听起来很高级”的阶段,不知道它到底能带来什么价值。其实,CRM系统的核心价值并不复杂,它就像是一个“客户管家”,帮你把客户信息、销售流程、团队协作全都管起来,让企业运转更高效。而说到具体怎么选,我必须推荐一下悟空CRM
相关文章

一篇文章告诉你哪家CRM客户关系管理系统开发定制公司最好?建议收藏

一篇文章告诉你哪家CRM客户关系管理系统开发定制公司最好?在当今这个竞争激烈的商业环境中,选择一个合适的CRM(客户关系管理)系统对企业的成长至关重要。一个好的CRM不仅能帮助你更好地了解和管理你的客户,还能提高工作效率、优化业务流程,并最终推动业绩增长。那么,在众多的选择中,哪一家CRM客户关系管理系统开发定制公司是最好的呢?为什么越来越多的企业选择了悟空CRM作为他们的首选解决方案呢?一、为什
相关文章

企业客户管理系统软件:商业原理、功能与优势介绍

企业客户管理系统软件:商业原理、功能与优势介绍大家好!今天咱们来聊聊一个对现代企业发展至关重要的工具——企业客户管理系统(CRM)。在商海沉浮中,谁能更好地理解并满足客户需求,谁就能走得更远。那么,CRM系统是如何帮助我们做到这一点的呢?让我们一起来看看。商业原理:连接你我他首先得说说CRM背后的商业逻辑。简单来说,它就是一个桥梁,让企业和客户之间建立了更加紧密的联系。通过收集和分析客户的各种信息
相关文章

什么是CRM系统?它有哪些优势?

《什么是CRM系统?它有哪些优势?》嘿!各位小伙伴们大家好!在商业世界里,“客户就是上帝”,这句话你们一定不陌生吧。今天呢,咱们就来聊聊企业用来“伺候”这些“上帝”的利器——客户关系管理系统(Customer Relationship Management System),简称CRM。一、什么是CRM?在开始之前,我们得先弄清楚啥是CRM系统。其实呢,这玩意儿就像是个超级贴心的小秘书,帮着公司管理
相关文章

使用CRM系统时可能会遇到的问题及解答

使用CRM系统时可能会遇到的问题及解答嘿!大家好,我是你们的老朋友——“智慧助手”。在数字化转型的大潮下,客户关系管理系统(CRM)成为了众多企业的宠儿,它帮助企业更好地管理与客户的每一次互动,从而提高销售业绩和顾客满意度。但是,在实际操作中,难免会碰到一些棘手问题,今天咱们就来聊聊那些关于CRM系统的烦恼以及解决办法。一、如何选择合适的CRM系统?选择一款适合自己的CRM产品就像找对象一样,不能
相关文章

企业销售人员如何通过线索营销获取潜在客户?

通过线索营销获取潜在客户的策略与技巧引言:解锁销售新境界的关键钥匙——线索营销在商业竞争日益激烈的今天,如何精准地定位并吸引潜在客户成为了每个企业成功路上不可或缺的一环。线索营销,作为这一过程中的核心工具,不仅能够帮助企业识别目标市场,还能有效提高转化率和客户满意度。本文将深入探讨线索营销的基本概念、实施步骤以及关键技巧,助您解锁销售的新境界。1. 线索营销:定义与重要性△悟空CRM产品截图定义:
相关文章

推荐几款好用的客户管理软件

推荐几款好用的客户管理软件在这个数字化的时代里,选择一款合适的客户关系管理系统(CRM)对于企业来说至关重要。它不仅能够帮助你更好地了解你的客户,还能提升工作效率和业务成果。今天,我们就来聊聊几款市场上评价较高的CRM系统,并特别谈谈为什么“悟空CRM”值得被关注。悟空CRM:移动优先的设计理念首先介绍的是悟空CRM。作为国内知名的SaaS CRM厂商之一,销售易最突出的特点就是其出色的移动端体验
相关文章
最新文章

什么是CRM系统平台?基本概念、功能、使用方法、价格、价值与部署流程

 引言嘿,大家好!今天咱们聊聊一个在现代商业环境中超级重要的工具——CRM系统平台。说白了啊,这个东西就是帮公司更好地了解和处理跟客户的各种互动,从而提高销售效率、提升服务质量的一种神器。著名的CRM系统平台为什么我们要谈论它呢?那可太有道理啦!在这个竞争激烈的时代,企业要想脱颖而出,光靠产品或服务本身是不够的,还得懂得如何用心经营与客户的每一段关系。而CRM就像是企业的私人助手一样,在
最新文章

销售CRM管理系统如何提升团队执行力?

嘿,大家好!今天咱们来聊聊一个特别实用的话题——销售CRM管理系统怎么帮助提升团队的执行力。说到这个,我得先提一提悟空CRM,这可是个挺不错的工具,用起来方便又高效,很多企业都靠它解决了不少头疼的问题呢。首先,咱们得明白一件事,就是现在的市场竞争有多激烈啊。每个公司都在想方设法提高效率、增强竞争力,而销售团队作为直接面对客户的前线部队,他们的表现直接影响着公司的业绩。这时候,一个好的CRM系统就显
最新文章

如何选择适合的CRM客户管理系统?

开始之前,咱们先聊聊CRM嗨,大家好!今天想跟你们聊聊一个在商业世界里越来越火的话题——CRM客户管理系统。你可能已经听说过这个词了,但还不太清楚它具体是干嘛的。简单来说,CRM就是帮助企业更好地管理与客户之间的关系的一种工具。听起来挺专业的吧?其实用起来还挺方便的!选择CRM时要考虑什么?那么问题来了,市面上这么多CRM系统,到底哪个比较好呢?这得看你最关心哪些方面了。首先,得看这个系统是否容易
最新文章

快速注册,立即使用

仅需一分钟,立即注册悟空云。悟空CRM免费试用。
客户端下载