可并行运行128个LLaMA 2 7B流，开发者测试M2 Ultra模型推理表现
IT之家
2023-10-13 18:05:33
0次

原标题：可并行运行128个LLaMA 2 7B流，开发者测试M2 Ultra模型推理表现

IT之家 10 月 13 日消息，据 Y Combinator 论坛消息，名为 Georgi Gerganov 开发者日前使用苹果 M2 Ultra 芯片，进行了一系列 LLaMA 模型推理测试，测试显示该芯片在并行运行 128 个 Llama 2 7B 流时，效果较佳。

▲ 图源 Georgi Gerganov 在 GitHub 披露的测试表现

据悉，LLaMA 模型推理测试强调内存带宽，而非计算能力，而苹果的 M2 Ultra 芯片号称“内存带宽达 800GB/s”，因此推理时效果良好。

▲ 图源 Georgi Gerganov 在 GitHub 披露的测试表现

不过虽然 M2 Ultra 芯片的内存带宽具有优势，但用户最多只能获得 192 GB RAM，用户花费 5600 美元（IT之家注：国行 44999 人民币）购买搭载 M2 Ultra 芯片及 192GB 运行内存的 Mac Studio，价格足够买一台“拥有 1TB RAM、搭载 RTX 4090 的 PC”。

▲ 图源 Y Combinator

▲ 图源 苹果官网

Georgi Gerganov 据此认为，如果用户的工作负载（如推理）不需要超过 192 GB，那么选择相关机器时可以更重视“内存带宽”表现，但如果用户有其他工作需求，则可以看看相对应价格的 PC。

参考

用户 推理 模型 测试 Georgi 芯片 内存 Ultra 带宽 运行 GitHub

上一篇：荣耀第3季度市场份额第一 苹果挑战者头衔已坐实

下一篇：索尼PS5游戏主机开卖：218元 可拆卸光驱 新外壳

相关内容

热门资讯

我来教你牛牛房卡是在哪里买的，... O97b苹果的秋季新品发布会已经定档于北京时间的9月13日。这次发布会上“官宣"的产品中，不仅有热度...
带你了解牛牛房卡怎么充值，九天... Wtewee这款OPPO Reno10新机内置了一块5500mAh大容量电池，支持150w超级快充，...
重大来袭金花房卡平台购买联系方... 4Ig苹果手机虽然备受消费者的欢迎，同时也搭载的是自研的iOS系统，但是在很多方面，苹果也借鉴和参考...
科技通报金花房卡怎么买游戏，卡... l从外观屏幕来看，这款OPPO Reno10新机采用了一块6.79英寸的三星AMOLED曲面屏设计，...
重大通报牛牛科技房卡多少钱一张... o最近，外网就将苹果公司为用户准备的惊喜曝光了，那就是iPhone 14Pro的全新配色，官方叫法是...
带你了解斗牛房卡购买联系电话，... 11vC和iPhone13相比少了mini版本，毕竟小屏手机在市场的销量确实并不怎么好，为了适应市场...
一分钟揭秘正版金花房卡批发，牛... OIidUN此次华为旗舰新品发布会不仅有三款华为P60系列旗舰，而且还有华为折叠屏新机华为Mate ...
推荐一款正版游戏大厅房卡如何购... 7等到A16系列处理器采用增强版工艺之后，iPhone14系列的性能应该会和安卓手机的处理器拉开更大...
重大发现牛牛房卡哪家便宜，微信... ghD0HLy不仅影像能力再度突破，还都适配了鸿蒙OS3.1，甚至原本单向的北斗卫星消息如今也升级为...
重大通报如何找房卡平台，牛魔王... QqIhq你可以“持币”等待iPhone14，听说它依然搭载A15，屏幕升级到了90Hz，后置双摄还...
我来教你牛牛房卡哪里有卖，樱花... 9wMg更高档的一款华为P60 Pro其实配置相比华为P60的区别不大，绝大多数配置都一模一样，包括...
我来告诉你微信金花房卡充值，金... P5v在核心硬件方面，据悉这款realme GT3采用了高通骁龙8 Gen3移动平台，作为高通下一代...
我来告诉你金花房卡购买联系方式... oeIh0y2oiPhone13配备6.1英寸超视网膜XDR显示屏，虽说屏幕没有高刷新率，但60Hz...
重大来袭微信大厅房卡充值，樱花... GqKCePJk在摄像头方面，这款realme GT3采用了后置三摄的设计，后置三摄布局在手机背部中...
实测分享金花牛牛房卡批发，牛牛... j日前iPhone 14曝光了各种版本，包括多张iPhone 14真机的外观渲染图，但对于网传的可信...
一分钟揭秘微信金花房卡购买，蓝... jiPhone 14沿袭了iPhone 13设计风格，搭配了一块刘海屏风格的6.1英寸OLED屏，支...
玩家实测正版房卡批发大厅，葫芦... dMto今年的手机将采用具有触觉反馈的新型固态按钮，类似于 iPhone 7 中引入的主屏幕按钮。这...
一分钟揭秘牛牛卖房卡多少钱一张... DIvQpC0今年的手机将采用具有触觉反馈的新型固态按钮，类似于 iPhone 7 中引入的主屏幕按...
玩家实测金花房卡怎么购买，牛牛... 5qAXJeaF苹果iPhone 14手机即将进入量产阶段。有消息称，富士康最大的iPhone手机代...
带你了解正规房卡链接在哪购买，... OIxqg此次华为旗舰新品发布会不仅有三款华为P60系列旗舰，而且还有华为折叠屏新机华为Mate X...