肖彬:大模型推理框架升级之路
创始人
2024-12-23 13:41:27
0

今天分享的是:肖彬:大模型推理框架升级之路

报告共计:26页

本文主要介绍了百川智能在大模型推理框架性能优化方面的工作,包括量化、投机采样、TTFT与TPOT优化、通信优化四个方面。

1. 量化

量化是大模型性能优化的重要手段,可降低显存占用和访存量,充分利用计算资源。百川智能在大模型计算流程中,对Weight和KV_cache进行了不同程度的量化,从最早的Weight-int8 + KV_cache-int8,到Activation int8,再到Weight-int4 + kv_cache-int4,逐步降低显存占用,提升模型性能。目前Attention QKV int8正在开发中,将gemm计算全线转为int8计算。

2. 投机采样

投机采样利用decode过程算力冗余,生成多个候选token并行验证,提升命中率和推理速度。百川智能通过不断尝试不同的模型结构设计路线,如使用transformer block前几层信息预测、单独建一层可学习的transformer block收集全局信息、尝试attention结构等,最终在命中率和端到端推理速度上取得了显著提升。

3. TTFT与TPOT优化

TTFT与TPOT优化旨在平衡首token耗时与decode每个token间耗时,提升用户体验。百川智能采用了Chunk prefillchunk prefill技术,将单次prefill计算拆分为多段计算,降低decode间隔时间;同时采用Split fused技术,将chunk prefill与decode计算整合,提升计算利用率。此外,通过算子优化和PD分离等手段,进一步优化了推理过程。目前PD分离还在开发测试中。

4. 通信优化

通信优化主要针对4090卡等通信能力较弱的情况,减少通信耗时,提高gpu算力利用率。百川智能通过计算通信overlap技术,根据计算通信占比的不同情况进行针对性优化,如在4090卡上进行8bit通信量化,在A800卡上采用gemm切块策略等。最终在不同卡型和模型上取得了显著的prefill阶段耗时降低收益。

以下为报告节选内容

报告共计: 26页

中小未来圈,你需要的资料,我这里都有!

相关内容

热门资讯

正版新悠悠大厅怎么买房卡牛牛房... 说对14系列不满意的朋友来说,是完全足够用的无需打开直接搜索微信:474330444 其支持6倍光学...
正版新七喜大厅怎么买房卡九五至... 正版新七喜大厅怎么买房卡九五至尊拼三张房卡联系方式 无需点开直接加微【474330444】援引自韩国...
新速度大厅怎么买房卡青鸟大厅金... 说对14系列不满意的朋友来说,是完全足够用的无需打开直接搜索微信:474330444 其支持6倍光学...
新超稳大厅怎么买房卡(青鸟大厅... 新超稳大厅怎么买房卡(青鸟大厅牛牛房卡联系方式) 炸金花房卡购买加:微(474330444)炸 金...
新悠悠金花房卡购买渠道九五至尊... 新悠悠金花房卡购买渠道九五至尊拼三张房卡联系方式【要素一】(KK)微信链接各大厅/房卡介绍微/474...
道游大厅怎么买房卡好游大厅房卡... HfHt虽然距离传感器的位置改变,不过对于iPhone15系列手机来说灵动岛几乎没有变化,这种调整对...
官方新超稳大厅怎么买房卡卡卡大... 4tTCmy说对14系列不满意的朋友来说,是完全足够用的无需打开直接搜索微信:474330444 其...
正版新神兽金花房卡购买渠道上游... HfHt虽然距离传感器的位置改变,不过对于iPhone15系列手机来说灵动岛几乎没有变化,这种调整对...
新大圣大厅怎么买房卡火星大厅房... 新大圣大厅怎么买房卡火星大厅房卡链接购买【无需打开直接搜索微信;【474330444】 操作使用教程...
正版新神兽大厅怎么买房卡牛牛房... 说对14系列不满意的朋友来说,是完全足够用的无需打开直接搜索微信:474330444 其支持6倍光学...
正版官方新悠悠大厅怎么买房卡乐... 牛牛是一款非常受欢迎的棋牌游戏,咨询房/卡添加微信:474330444许多玩家在游戏中会购买房卡来享...
正版老神兽大厅怎么买房卡人海大... 正版老神兽大厅怎么买房卡人海大厅金花平台(今日/知乎)无需打开直接搜索微信【474330444】据卫...
新人海大厅平台房卡怎么购买飞鹰... 新人海大厅平台房卡怎么购买飞鹰大厅房卡链接【无需打开直接搜索微信;【474330444】 操作使用教...
正版飞鹰互娱大厅怎么买房卡新鸿... 正版飞鹰互娱大厅怎么买房卡新鸿运房卡官网是一款非常受欢迎的游戏,咨询房/卡添加微信:47433044...
新道游大厅怎么买房卡金花房卡软... 新道游大厅怎么买房卡金花房卡软件联系微信电话是一款非常受欢迎的游戏,咨询房/卡添加微信:474330...
正版新道游金花房卡购买渠道欢喜... 正版新道游金花房卡购买渠道欢喜大厅斗牛平台房卡怎么购买【无需打开直接搜索微信;【474330444】...
正版新悠悠大厅怎么买房卡新天地... vy苹果手机目前发展的情况并不是特别好,一方面是有消息称iOS16可能不会带来特别多的改变,另一方面...
正版新牛魔王大厅怎么买房卡新财... 正版新牛魔王大厅怎么买房卡新财神牛牛房卡如何购买 炸金花房卡购买加:微(474330444)炸 金...
新荣耀大厅房卡价格亲友圈房卡怎... 新荣耀大厅房卡价格亲友圈房卡怎么充值【要素一】(KK)微信链接各大厅/房卡介绍微/474330444...
官方新神兽大厅怎么买房卡旺旺大... 官方新神兽大厅怎么买房卡旺旺大厅房卡怎么购买 炸金花房卡购买加:微(474330444)炸 金花链...