Cerebras 推出全球最快AI推理解决方案，速度是英伟达方案的20倍
创始人
2024-08-28 11:20:33
0次

IT之家 8 月 28 日消息，Cerebras Systems 今日宣布推出 Cerebras Inference，官方称这是全球最快的 AI 推理解决方案。该新解决方案为 Llama 3.1 8B 提供每秒 1800 个 token，为 Llama 3.1 70B 提供每秒 450 个 token，速度是微软 Azure 等超大规模云中提供的基于英伟达 GPU 的 AI 推理解决方案的 20 倍。

除了令人难以置信的性能之外，这款新型推理解决方案的定价也比流行的 GPU 云低得多，起价仅为每百万个 token 10 美分，从而为 AI 工作负载提供 100 倍更高的性价比。

该方案将允许 AI 应用程序开发人员构建下一代 AI 应用程序，而不会影响速度或成本。该方案使用了 Cerebras CS-3 系统及其 Wafer Scale Engine 3（WSE-3）AI 处理器，其中 CS-3 的内存带宽是 Nvidia H100 的 7000 倍，解决了生成式 AI 的内存带宽技术挑战。

据IT之家了解，Cerebras Inference 提供以下三个层级：

  • 免费层为登录的任何人提供免费的 API 访问和慷慨的使用限制。
  • 开发者层专为灵活的无服务器部署而设计，为用户提供一个 API 端点，其成本只是市场上替代方案的一小部分，Llama 3.1 8B 和 70B 模型的定价分别为每百万 token 10 美分和 60 美分。
  • 企业层提供微调模型、定制服务级别协议和专门支持。企业可以通过 Cerebras 管理的私有云或客户场所访问 Cerebras Inference，非常适合持续的工作负载。

Cerebras 团队称：“凭借创纪录的性能、业界领先的定价和开放的 API 访问，Cerebras Inference 为开放的 LLM 开发和部署设定了新标准。作为唯一能够同时提供高速训练和推理的解决方案，Cerebras 为 AI 开辟了全新的可能性。”

AI 领域正在迅速发展，虽然英伟达目前在 AI 市场占据主导地位，但 Cerebras 和 Groq 等公司的出现预示着行业动态可能发生变化。随着对更快、更具成本效益的 AI 推理解决方案需求的不断增加，这些挑战者在颠覆英伟达的霸主地位，尤其是在推理领域方面。

上一篇：AI智能让用户可以实现个性化定制智能家居产品

下一篇：elexcon2024深圳国际电子展开幕

相关内容

热门资讯

长宁这条河道装了个“水上垃圾桶... 日前，长宁区河道管理所在新泾港试点投放2.0版水面垃圾收集器，其容量和功能同步升级，可实现远程监控和...
欧盟警告苹果：六个月内开放iP... 来源：创业者李孟 欧盟警告苹果「六个月内开放 iPhone 系统，否则处以全球年营业额 10% 的罚...
阿里云的AI“野心” 【编者按】AI宛如一辆高速行驶列车在时代中呼啸前行，对于抢着上车的科技企业而言，算力的车票攥在云厂商...
“固态电池”概念低价王者，随时... 亲爱的投资探险家们，准备好迎接九月的惊喜了吗？这不是普通的惊喜，而是一场即将席卷全球的科技风暴——固...
以网易云音乐为例，教你撰写规范... 在产品管理和数据分析领域，数据埋点扮演着至关重要的角色。通过在应用程序中嵌入代码，我们可以在用户与产...
餐饮行业的AI未来：智能化、个... 文| 新餐考作者 · 明华锋 编辑 · 陈尘 AI推动餐饮行业智能化革命，机器人正取代厨师、制茶师...
抢购的卷纸还没手掌大！到底是谁... 青 春 英 雄 城 我 们 再 出 发 9.9元秒杀高端耳机、19.9元带走一箱零食……在一些电商平...
学者倡导多方赋能科创事业 实现... 中新网上海9月22日电 “科创是我们的未来，而且是没有第二个选择的未来。我们要用学校的力量、专业的力...
以《三体》IP为启发 全球首个... 封面新闻记者 张杰图片由三体宇宙提供 《三体》小说从在《科幻世界》杂志上连载开始，至今已18年。从8...
科技巨头联名致信欧盟，能否叩动... 来源：第一财经 欧盟对人工智能（AI）的“碎片化”监管正在阻碍自身的发展？ 近日，社交平台Faceb...
叮咚！您点的海鲜正在“飞”来的... 这是全国首条海岛低空公共物流航线，这条航线的开通，将陆岛物流时间缩短为半个小时以内，像医疗物资、包裹...
青春华章丨人民网评：让青春在创... 从天宫、北斗、嫦娥到天和、天问、羲和，中国航天不断创造新的历史。这背后，有一大批航天青年挑大梁、担重...
RDSA产业联盟在珠海成立 中新网珠海9月20日电 (记者 邓媛雯)RDSA产业联盟(RDSA Industry Allianc...
索尼WF-C510真无线耳机在... 【CNMO科技消息】近日，CNMO了解到，索尼在印度市场推出了其全新真无线耳机——WF-C510，售...
原创 研... 土星环是太阳系最壮观的天体结构之一，它由一系列同心的、但密度和亮度上都不同的小环组成。 土星©NA...
苹果：人近中年 来源：36氪 编者按：苹果每年的产品发布会越来越乏善可陈，苹果在服务上的收入正在逐渐逼近产品收入。曾...
助力国产化替代 行星滚柱丝杠让... 行星滚柱丝杠 行星滚柱丝杠 大众网记者 邢晨 烟台报道 “我们的目标是成为精密线性传动市场国产化替...
小红书图文矩阵可行吗？知乎自媒... 小红书图文矩阵可行吗？知乎自媒体如何管理？ 随着互联网的快速发展，内容创业成为越来越多人的选择。小红...
成都未来医学城首个院士科技成果... 9月22日，成都未来医学城首个院士科技成果转化项目——安可兴先进医美材料生产基地正式投入使用，这不仅...
原创 6... 9月22日，iQOO公布了Z9 Turbo+的更多配置和细节：除了天玑9300+以外，还有自研电竞芯...