2023-10-14 06:41:14 作者:姚立伟
近日,开发者Georgi Gerganov使用苹果M2 Ultra芯片进行了一系列LLaMA模型推理测试。测试结果显示,该芯片在并行运行128个Llama 2 7B流时效果显著。
据了解,LLaMA模型推理测试主要强调内存带宽而非计算能力。而苹果M2 Ultra芯片号称具有“内存带宽达800GB/s”的特点,在推理过程中表现出色。
然而,尽管M2 Ultra芯片具备出色的内存带宽优势,但用户最多只能获得192GB RAM(即192GB运行内存)。如果用户购买搭载M2 Ultra芯片和192GB运行内存的Mac Studio,价格相当于一台拥有1TB RAM和RTX 4090显卡的PC。
Georgi Gerganov认为,在选择相关机器时,如果用户的负载(如推理)不需要超过192GB,则可以更重视“内存带宽”表现。然而,如果用户有其他工作需求,则可以考虑相对应价格的PC产品。
参考:
- Y Combinator论坛
- 苹果官网
[#zolsplit_eca_zolecjd电商推广区域分隔符开始#]
[经销商]
[产品售价]
[#zolsplit_ecb电商推广区域分隔符结束#]
[#zolsplit_eca_zolecjd电商推广区域分隔符开始#]
[经销商]
[产品售价]
[#zolsplit_ecb电商推广区域分隔符结束#]