腾讯混元最新进展：内部超180个业务接入，新增“文生图”
10月26日，腾讯混元大模型正式对外开放了“文生图”功能，用户可以在微信小程序“腾讯混元助手”里体验自然语言直接生成图片的能力。除此之外，腾讯混元大模型整体也迎来了新的升级，包括在代码生成、中文理解等能力上。
腾讯机器学习平台算法负责人康战辉透露，超过180个腾讯内部业务已接入腾讯混元，包括腾讯会议、腾讯文档、企业微信、腾讯广告和微信搜一搜等。最近，QQ浏览器也基于腾讯混元推出了“PDF阅读助手”，具备智能摘要、智能问答和多轮提问等功能。
“升级后的腾讯混元中文能力整体超过GPT3.5，代码能力大幅提升20%，达到业界领先水平。”康战辉说。
另外，为了加快大模型的应用落地，除了千亿参数的基础大模型，腾讯也首次对外亮相了面向垂直领域的7B和13B两个模型。它们的特点是需要的tokens较少，而且训练效率更高，中英文效果整体优于国内外开源模型，能够以更高的性价比和效率支持应用落地，满足各种垂直场景和业务需求。据数智前线获悉，腾讯内部也在进行端侧大模型的研发。
01、腾讯混元文生图已在广告场景中应用
文生图是AIGC领域的核心技术之一，也是体现通用大模型能力的试金石，对模型算法、训练平台、算力设施都有较高的要求。
目前，大模型文生图的难点在于对提示词的语义理解、生成内容的合理性以及生成图片的效果。针对这三个技术难点，腾讯进行了优化。
在语义理解方面，腾讯混元采用了中英文双语细粒度的模型。模型同时建模中英文实现双语理解，并通过优化算法提升了模型对细节的感知能力与生成效果，有效避免多文化差异下的理解错误。
在内容合理性方面，AI生成人体结构和手部经常容易变形。混元文生图通过增强算法模型的图像二维空间位置感知能力，并将人体骨架和人手结构等先验信息引入到生成过程中，让生成的图像结构更合理，减少错误率。
在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了30%，场景模型，包含草木、波纹等细节的效果提升了25%。
腾讯透露，腾讯混元文生图能力已经被用于素材创作、商品合成、游戏出图等多项业务中。而在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和26%。
相比Midjourney更强调图片的美感，腾讯混元的文生图应用的特点是更在意真实与美的统一。腾讯混元大模型文生图技术负责人芦清林认为，一味强调图片如何更美，而忽视了真实的呈现，会带来诸多问题。
02、代码生成已在内部应用，效果超ChatGPT
除了文生图，代码生成也是腾讯混元大模型近期的一大升级亮点。
经过对32种主流语言代码文件、各类计算机书籍和博客的学习增训，腾讯混元代码处理水平提升超过20%，代码处理效果胜出ChatGPT 6.34%，在HumanEval公开测试集指标上全面超过Starcoder、Codellama等业界头部开源代码大模型。
康战辉在现场演示了这一应用。他输入了“帮我用前端语言实现一个贪吃蛇”的指令，腾讯混元便能自动生成可运行的代码，快速制作出一个贪吃蛇小游戏。此外，腾讯混元还支持Python、C++、Java、Javascript等多种语言的指令生成，比如输入“用Python画红色的心形线”，腾讯混元会提供代码库选择、安装命令、绘制代码等具体操作步骤的指引。
据悉，腾讯内部目前已经有多个开发平台接入了腾讯混元大模型，工程师们可以使用腾讯混元来进行代码生成、代码补全、代码漏洞检测和修复、表格数据处理、数据库查询等工作。
比如，在IDE编程场景中，腾讯工蜂Copilot通过接入混元大模型，可根据注释生成对应代码，或基于上下文智能补全代码，大大提高了编程效率。混元大模型还可以帮助用户进行代码漏洞检测和修复，保障软件开发过程中的安全性。
腾讯混元大模型持续升级背后，离不开腾讯自研一站式机器学习平台Angel的支撑。自研AngelPTM训练框架可提供高效的分布式训练解决方案，具备业界领先的内存利用率和训练吞吐效率，训练速度相比业界主流框架提升1 倍；自研AngelHCF训练框架，具备从蒸馏、微调、压缩到模型加速的完整能力，支持多种模型并行，保证模型的最小化部署及最大化吞吐，推理速度相比业界主流框架FasterTransformer快1.3倍。
多模态交互被认为是大模型的核心能力之一。2023年9月，混元大模型首次在腾讯数字生态大会上亮相，当时还只支持文字和代码生成，如今随着文生图功能的实现，腾讯混元大模型在多模态上的能力得到了进一步升级。据悉，腾讯混元大模型也在研发视频、3D生成。