Article Focus

内容阅读与观点延展

以清晰阅读路径承载正文、上下篇与推荐内容,让深度文章浏览更加专注自然。

3210亿参数塞进单张显卡,26 token每秒跑起来了内容展示

当前位置为资讯正文页面,可继续阅读上下篇或进入推荐阅读区域。

3210亿参数塞进单张显卡,26 token每秒跑起来了

以下内容由v66体育整理:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

about image

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

v66体育将持续关注后续动态。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
‍台民调专家:台北输、新北输,嘉义输、彰化输,新竹县也输,国民党六都只能守台中桃园,国民党准备找战犯
‍台民调专家:台北输、新北输,嘉义输、彰化输,新竹县也输,国民党六都只能守台中桃园,国民党准备找战犯

台湾资深媒体人谢寒冰在政论节目上放了一段话,说是听某位民调专家讲的,国民党在六都这块,恐怕只能守住台中市和桃园市。 台北市很危险了,新北市挂掉了。非六都那边更难看,嘉义市、彰化县输定了,新竹县也输了,云林县还被追近。 他特意补了一句,那位民调专家不姓戴,本身没有任何政治色彩。这句话一出口,意思就很明白了,不是蓝营自己人在唱衰。 可按这套说法推下去,台中、桃园的守得住又凭什么?如果台北、新北、嘉义、

知情人士称“腾讯裁员50%”系误读,管理层强调要重新调度公司资源
知情人士称“腾讯裁员50%”系误读,管理层强调要重新调度公司资源

11月12日,有网传消息称,腾讯要裁员50%。接近腾讯的知情人士向第一财经记者表示,实际上是腾讯管理层在11月11日腾讯28周年的Linktime线上直播表达了要加快组织变革的信号,“裁员50%”系误读,说法不属实。 还有网传消息称,腾讯管理层在直播中提到“已经是生死存亡的时候,上岸的人还不是很紧张”,以及“之前对人太宽松”“对人的要求不够高”“老同志要让路,给懂行的年轻人放权”。有知情人士称,在

俄罗斯上校遇刺身亡,乌克兰再遭星链限制
俄罗斯上校遇刺身亡,乌克兰再遭星链限制

11月13日,乌克兰总参谋部公布过去24小时俄军战损: 损失2590俄兵,被摧毁44门火炮、1辆坦克和11辆装甲车等重装备 。 大家还记得我前几天说的“俄军日损失两千人将成为常态”吧? 俄罗斯当地时间11月12日上午起点左右,俄军第六航空与防空军参谋长德米特里·洛博金上校在圣彼得堡苏沙里斯拉维扬卡区的汽车爆炸中身亡。 洛博金上校直接参与了该集团军对乌克兰作战行动的规划、航线和空袭领航方案,早就被乌

第三届CBA俱乐部杯开赛 山东、辽宁险胜过关
第三届CBA俱乐部杯开赛 山东、辽宁险胜过关

新华社北京11月18日电 第三届CBA(中国男子篮球职业联赛)俱乐部杯小组赛18日在山东烟台、湖北武汉、宁夏银川、海南琼海四个赛区同时开赛。首个比赛日共进行8场较量,山东队69:65力克广东队,辽宁队102:97险胜宁波队。 11月18日,在湖北武汉举行的第三届CBA俱乐部杯篮球赛B组比赛中,北控队97比67战胜江西队。图为北控队球员邹雨宸(左)在比赛中上篮。新华社记者 肖艺九 摄 在琼海赛区进行

建议国际足联严查!南美裁判坑惨国足,放任犯规+胡乱判点球,国少0-5惨败收场
建议国际足联严查!南美裁判坑惨国足,放任犯规+胡乱判点球,国少0-5惨败收场

国足U17迎来了U17世界杯的小组赛首战,对手是西班牙U17。从实力上来看,国足U17肯定是不如对手的,因为人家一名球员的身价就远超整个国足U17。但是,国足U17也有自身的优势,对于西班牙U17来说他们就是一支神秘之师,之前双方从未交过手。而且,中国足球的这一支国字号球队在之前的表现还是蛮不错的,比如连续击败澳大利亚U17,比如战胜过阿森纳U17,等等。 本场比赛,国足U17的主帅浮嶋敏‌派上了