Adobe展示AI大模型,可5秒内实现2D转3D
VR陀螺
2023-11-13 18:43:39

原标题:Adobe展示AI大模型,可5秒内实现2D转3D

编译/VR陀螺

近日,Adobe Research与澳大利亚国立大学研究人员合作开发了一个新的AI大模型LRM,它只需5秒即可将2D图像转化为高质量的3D模型。

与以往以特定类别的方式在小型数据集上进行训练的方法不同,LRM采用高度可扩展的基于Transformer的神经网络架构,具有超过5亿个参数。它以端到端的方式对来自Objaverse和MVImgNet数据集的约100万个3D对象进行训练,直接从输入图像预测神经辐射场 (NeRF)。

图源:yiconghong.me/LRM/

《LRM: LARGE RECONSTRUCTION MODEL FOR SINGLE IMAGE TO 3D》论文中指出,“大容量模型和大规模训练数据的结合使我们的模型具有高度通用性,并根据各种测试输入(包括真实世界的捕获和生成模型的图像)生成高质量的3D重建。”

实验表明,LRM可以根据真实世界图像以及DALL-E和Stable Diffusio等AI生成模型创建的图像重建高保真3D模型,系统可生成详细的几何形状并保留木纹等复杂的纹理。不过LRM在遮挡区域的纹理生成方面依旧具有一定的局限性。

在应用方面,LRM具有广阔的前景,其中涵盖了从工业设计到游戏娱乐等各种场景,此外,在AR/VR中,LRM可以通过从2D图像实时生成详细的3D环境来增强用户体验。

来源:venturebeat

相关内容

热门资讯

方斌:让机器人指尖如人手,可感... 【“科协十一大”精神学习进行时】 近日,国家科学技术奖励大会、两院院士大会、中国科协第十一次全国代表...
财经深一度|当AI帮人决策“买... 新华社北京8月28日电题:当AI帮人决策“买单”,如何筑牢支付安全底线 新华社记者吴雨 “帮我订张机...
台风“沙德尔”过后农业复产指南... 今年第18号台风“沙德尔”(台风级)的中心已于今天(28日)8时05分前后在浙江台州玉环市坎门街道沿...
IG零封TT晋级,女明星都来给... LPL骑士之路精彩赛事依旧在火热进行中,今天的两场骑士之路对决都结束了,像是约好了一样,结果都是相同...
欧洲给AI数据中心配电源,中国... AI数据中心的电力焦虑,正在欧洲催生一种过去并不存在的产业政策。 8月25日,西班牙政府公布了一份新...