新范式 | iRAG让百度终于真正领先了行业一回
创始人
2024-11-15 11:40:57
0

百度的最新技术iRAG,就像是给AI开了挂,让图片生成不再是“睁眼说瞎话”。这篇文章带你一探究竟,看看百度是如何用iRAG技术让AI变得更加靠谱,甚至可能颠覆我们对AI绘图的认知。

就个人而言,我对百度并没有多少好感,百度给我的印象是:啥都爱争第一的营销型公司,不管是AI、元宇宙概念还是这波大模型革命,百度始终是中国科技风向的领跑者,从2017年提出[All in AI]的口号,到元宇宙产品[息壤]、大模型产品[文心一言]的发布,总是遥遥领先于其他公司,这点腾讯、阿里、字节也得甘拜下风,所以百度身上有很多“国内第一”的标签,但“第一”并非等于“最好”,单论国产大模型的使用体验,个人首推阿里[通义]、月之暗面的[kimi],至于百度的[文心一言]的使用效果实在难以评价,所以跑得快的百度在技术上我一直看不太上。

不过最近看了李彦宏在百度世界2024大会上的演讲,让我对百度的态度有了些许改观。在李彦宏[应用来了]的演讲中,提到了一个检索增强的文生图技术(iRAG),这个技术解决了大模型在图片生成上的幻觉问题,极大提升实用性,由于之前这个技术名词在行业里较少提及,所以本文主要想对这块内容进行科普;至于演讲的其他部分诸如百度文心大模型的日均调用量超15亿次、发布无代码工具“秒哒”等,这些属于对外宣发和行业跟进内容,没有很大的参考价值,大家感兴趣可自行了解。

01. 什么是RAG?

讲iRAG之前,我们先看看什么是RAG?

两年前ChatGPT横空出世,尽管其能力已经足够让人惊艳,但“一本正经地胡说八道”仍然时有出现。这种现象被称为“幻觉”,如果不能把“幻觉”出现的概率降到足够低,大模型就无法真正从[好用]变成[有用]。

所以行业为了解决幻觉问题,通用的解决方案是增加RAG(Retrieval-Augmented Generation,检索增强生成)。

RAG的基本思想是通过从外部知识库中检索相关信息,并将这些信息作为额外的上下文提供给语言模型,从而增强模型生成文本的能力。

RAG的工作流程通常包括以下几个步骤:

  1. 检索:当用户提出一个问题或请求时,RAG首先从一个预先构建的知识库中检索相关信息。这个知识库可以是结构化的数据库、非结构化的文档集合或其他形式的数据源。检索过程通常使用向量搜索技术,如FAISS或Milvus,将文本转化为向量,并在向量空间中找到最相似的条目。

增强:检索到的信息会被整合到一个上下文模板中,这个模板通常包含用户的原始查询。这样,检索到的信息就成为了生成模型的一部分输入,增强了模型对问题的理解和回答能力。

生成:最后,增强后的上下文被输入到大语言模型中,模型根据这些信息生成最终的响应。生成的响应不仅基于模型自身的知识,还结合了检索到的外部信息,从而更加准确和丰富。

举个更容易理解的例子,没有RAG之前的大模型是闭卷考试的学生,难免会出现差错,而RAG让大模型带上各种参考资料,答题的同时可以翻阅与题目有关的材料,这样回答的结果肯定是更准确。

02. iRAG为什么很重要?

了解了RAG,那么iRAG(image based RAG)就可以理解是大模型在图像领域的RAG。

回顾过去两年,不管是AI搜索还是AI客服,本质都是检索增强生成(RAG)的延伸,目前在文字层面的RAG已经做得很好,基本让大模型消除了幻觉;但在图像等多模态方面,和RAG的结合还不够。

各种基于大语言模型的文生图还有比较严重的幻觉,尤其是针对现实生活中特定地点、物品和人物的描述和绘画,常常会出现张冠李戴的幻觉问题,让生成的图片“一眼假”,极大地影响了AI的实用性。

百度文心一言旧模型:唐伯虎点秋香

所以不管是Midjouney、Stable Diffusion,还是前段时间很好的Flux等各类 AI 绘画模型,它们的本质都是在培养一个抽象的、超现实主义的艺术家,对于现实世界了解不足,生产炫酷、天马行空的画作是它们的特长,但是艺术这个东西往往和实用存在矛盾,我相信很多朋友应该和我一样都对非写实的画作很难鉴赏。

不过人在物质需求极大满足后才会追求精神需求,所以对于大众来说,AI能帮我们提升生产力和生产效率才是最关键的,这点我认同李彦宏的看法:iRAG技术极大地提高了AI生成图片的可用性。比如在品牌宣传上,以前拍一组海报动辄大几十万,但现在的创作成本接近于0。此外,在影视作品、漫画作品、连续画本、海报制作等应用场景中,iRAG都可以大幅降低创作成本。

新文心大模型生成的大众揽巡汽车飞跃长城的图片。车型车标、长城,均未出错

所以,带有iRAG的图像大模型就从艺术家变成了人类美工,结合现实世界的知识,消除了大模型的幻觉,这也是AI应用爆发的基础。

03. iRAG可能是新的文生图范式

虽然AI绘画领域以往流量最大、噱头最多的那些超现实的效果图,人们往往对特效流的东西着迷,但这部分也容易昙花一现,无法体现AI的真正价值,准确和可控才是文生图领域一直以来最大的难题。

对于这个难题,百度目前是提出了自己的解决方案:根据文本RAG的原理,我猜测百度的iRAG可能是,利用百度搜索的亿级图片资源,在语义理解和视觉表现的转换上下功夫,把用户的文本需求和图像先进行对齐,避免了张冠李戴,然后再根据prompt中的其他要求对已检索到的图像进行重绘和组合,这样就能实现精准的要求。

有朋友说,iRAG的原理看起来是抠图然后拼接,这点我不是很赞同,比如:马斯克在房间吃蛋糕,如果只是简单的抠图,那当前的要求在互联网图像上并没有对应的资源怎么办呢?所以百度肯定还是做了很多工程化的处理,我能看见至少图像重绘的环节是一定存在的,并非简单抠图。当然这部分的工程应该是iRAG的重中之重,这里的细节百度并未公布,所以我才说很可能百度会引领新的文生图范式。

相关内容

热门资讯

重大通报牛牛房卡哪里有最低价,... 2cw6GKG此次华为旗舰新品发布会不仅有三款华为P60系列旗舰,而且还有华为折叠屏新机华为Mate...
带你了解牛牛房卡批发平台,怎么... izewMby20W有线快充速度的确比安卓手机慢,但回想一下,我们有几次充电是将手机电量完全耗尽的?...
科技通报正规房卡出售平台,金牛... pzx不管怎么进行调整,应该都要比iPhone13标准版的性能更强,不然也就很难让用户产生换机的欲望...
我来告诉你正规房卡链接在哪购买... G8W在摄像头方面,这款realme GT3采用了后置三摄的设计,后置三摄布局在手机背部中间靠顶部的...
带你了解微信金花房卡链接,正版... LyGO4K苹果手机如今基本已经成为了高端旗舰机型的代名词了,在全新的iPhone 14系列即将到来...
我来教你牛牛卖房卡多少钱一张,... qa6zo作为一名iPhone 13用户,我非常期待接下来要发布的iPhone 14 Max。说实话...
我来告诉你金花房卡怎么买游戏,... M在摄像头方面,这款realme GT3采用了后置三摄的设计,后置三摄布局在手机背部中间靠顶部的唯一...
带你了解牛牛房卡房间怎么开,久... c苹果手机目前发展的情况并不是特别好,一方面是有消息称iOS16可能不会带来特别多的改变,另一方面则...
带你了解正版游戏大厅房卡如何购... eaiaTr不仅影像能力再度突破,还都适配了鸿蒙OS3.1,甚至原本单向的北斗卫星消息如今也升级为了...
我来告诉你牛牛房卡最低价格,6... 7RXE3c其实,苹果之所以能走到今天,就是因为它的技术和创新能力,除了系统和芯片之外,细节方面也在...
玩家实测牛牛可以建房间吗,九酷... 6ULcdiPhone13后置1200万广角+1200万超广角,广角升级了传感器位移式光学防抖,使得...
重大通报牛牛房卡充值链接,战皇... QKjEP20W有线快充速度的确比安卓手机慢,但回想一下,我们有几次充电是将手机电量完全耗尽的?基本...
推荐一款微信金花房卡充值,超圣... AhBI其实,苹果之所以能走到今天,就是因为它的技术和创新能力,除了系统和芯片之外,细节方面也在逐渐...
玩家实测斗牛游戏在哪里找,怎么... wST3hLkW现在离iPhone14发布还有一段时间,对于迫切想要入手iphone手机的用户,iP...
玩家实测正版房卡批发大厅,大圣... MPG而且有消息称iPhone14系列中的标准版和新增的Max版本都将搭载A15处理器,又或者是A1...
重大通报牛牛房卡多少钱,九天大... uWYaE现在离iPhone14发布还有一段时间,对于迫切想要入手iphone手机的用户,iPhon...
一分钟揭秘正规房卡链接在哪购买... ZMk在核心硬件方面,据悉这款realme GT3采用了高通骁龙8 Gen3移动平台,作为高通下一代...
科技通报全游大厅房卡怎么购买,... x6对于库克引以为傲的第二个设计,就是相机镜头数量的增加,虽然当前主流的手机,后置相机镜头的数量维持...
带你了解如何找房卡平台,最便宜... 12比如说iPhone 14Pro版的两款机型将采用全新的ID设计,即网友所说的“感叹号”打孔,屏幕...
重大发现微信怎么充值金花房卡,... FuC能够打败“阉割版”A15芯片的只有“满血版”A15,所以如果你在意性能,那么iPhone13绝...