亚运会惊现AI解说员,机器人为残障者导览引路,北大学生为亚运会研发黑科技
品途商业评论
2023-10-03 15:00:58
0

原标题:亚运会惊现AI解说员,机器人为残障者导览引路,北大学生为亚运会研发黑科技

作为本届亚运会办赛理念之一,“智能”贯穿于杭州亚运会全的各个方面

为服务正在举办的第19届亚运会,在北京大学黄铁军教授及仉尚航研究员的指导下,北京大学庄棨宁学生团队基于多模态大模型的研究,结合视觉、语言、语音等多种模态的输入,推出高速运动AI 多语种解说系统,为观众提供更丰富的观赛体验。这也是多模态大模型技术首次在国际大型综合性体育赛事中的落地和尝试。

同时,团队着眼于具身智能研究,研发基于多模态大模型的人工智能助理来提供导览引领、场景解说、物品抓取等服务,为残障和需要帮助的人士创造更为人性化的互动方式和友好体验。

AI“复刻”赛事解说员

“除却君身三重雪,天下谁人配白衣。”

东京奥运会上中国运动员杨倩夺得首金身披白色领奖服时,赛事解说员用这句“神仙”解说词击中了无数观众的心。

事实上,一场精彩的体育比赛不仅取决于运动员双方的比拼,解说员在其中的价值也不可忽略。竞赛解说员不仅会在解说中提供关于球队、运动员和比赛背景的信息,帮助观众更好地理解比赛的重要性和背后的故事,经验丰富的解说员还能够深入分析比赛,揭示比赛中的策略和技巧,使观众能够更好地理解比赛的每一个环节,从而提高观赛的乐趣。

当比赛出现精彩一刻,优秀的解说员还能够通过解说传达激情和情感,更好地带动观众的情绪,为赛事瞬间增色添彩,甚至成为永恒经典。

然而受限于人手问题,并不是每场体育赛事都会安排解说员,特别是亚运会这类国际大型赛事,同一时间有多场比赛进行,并且不是所有的解说员都适合解说所有的体育项目,很多相对小众的赛事就会缺少解说员,更无法想象一位解说员可以使用多种语言、面向不同的语言的受众做解说。

基于此,北大庄棨宁学生团队面向乒乓球、跆拳道、跳水、体操等赛事,推出了高速运动 AI 解说系统,系统可以辅助录播频道调用多模态大模型能力,理解视频内容,并生成中文、英语、藏语、阿拉伯等多种语言的解说,让信息传递给更多有实际需求的人。

图:AI智能解说通过感知场景并生成解说

庄棨宁介绍说,这一技术通过高速摄像机的脉冲信号检测场景物体和运动员,将能够捕捉体育比赛中的关键时刻,并生成高质量的集锦和相关数据,基于多模态大模型算法和深度学习模型对这些运动数据进行分析,基于分析结果,系统再生成提供实时的个性化解说服务,从而为各个语种的观众都能提供个性化的体验。

智能爱心辅助助手 让AI有温度

大型赛事活动通常会为东道主城市带来显著的经济、环境等变化,但由于人流量激增,城市公共区域会面临巨大压力。据预测,亚运会期间的杭州也将迎来近年来最密集的游客潮,外地游客量将超过2000万人次,加上本届杭州亚运会来自亚洲45个国家和地区代表团的12527名运动员,亚运期间杭州的人流大增。

在杭州市公共区域,庄棨宁学生团队打造了具身智能机器人软件服务系统,用于亚运会期间的导航指引与帮助服务。这套系统可以为观众提供导览服务,协助视障人士进行引领和导航,解析视障人士需求并完成相应任务,帮助视障人士捡拾掉落的物品等。

目前,在杭州市的一些亚运会志愿者服务点,已经有市民看到一个机器人外观的智能体在为视力障碍人士服务。

图:杭州市民在体验庄棨宁学生团队的具身智能机器人软件服务系统

“很荣幸能够将我们的所学、所研转化为可以服务每个人的应用,让AI服务人们的普通生活。”庄棨宁介绍说,为本次亚运会打造的具身智能机器人软件服务系统,是基于团队自研的感知生成一体化多模态大模型,能够精准地感知与理解场馆内外的视觉场景,生成准确、丰富的语言描述,控制机器人执行智能志愿者服务任务。

同时,团队将多模态大模型与具身智能相结合,使得人工智能可以更好的感知和理解物理世界,再更好地做决策,最终实现人工智能和物理世界更好地交互。

相关内容

热门资讯

实测分享金花房卡链接怎么买,斗... s2Sc关键是苹果手机一直都有着战三年的称号,再加上iOS系统也在逐渐变得给力,也就会导致产品本身的...
重大发现金花房卡链接,斗牛房卡... JmVWctW因此整个手机看起来非常的好看。在参数方面,据悉该机采用了5000万像素大底主摄+320...
实测分享微信大厅房卡充值,金花... dEYrJoiPhone 14 Pro正面采用了居中感叹号形挖孔,内置True Depth摄像头模块...
科技通报微信金花房卡在哪里购买... Ni所以说等待iPhone14发布固然也可以,但更明智的选择是入手正在大降价的iPhone13。1、...
一分钟揭秘青龙区斗牛房卡代理,... 0em20uL苹果手机目前发展的情况并不是特别好,一方面是有消息称iOS16可能不会带来特别多的改变...
科技通报微信金花房卡到哪里买,... wWp你可以“持币”等待iPhone14,听说它依然搭载A15,屏幕升级到了90Hz,后置双摄还是1...
重大通报斗牛游戏在哪里找,牛牛... 1在核心硬件方面,据悉这款realme GT3采用了高通骁龙8 Gen3移动平台,作为高通下一代旗舰...
实测分享斗牛房卡价格,斗牛房卡... Kcbgrealme GT3猛堆料!在外观设计上,据曝光的概念图显示,这款realme GT3正面采...
我来教你斗牛房卡出售,斗牛房卡... W7A2Y这款OPPO Reno10新机内置了一块5500mAh大容量电池,支持150w超级快充,有...
实测分享牛牛房卡哪里有卖的,微... DgqImt不仅影像能力再度突破,还都适配了鸿蒙OS3.1,甚至原本单向的北斗卫星消息如今也升级为了...
科技通报15元100张房卡代理... SLW1.顶级的A16仿生芯片将运用到iPhone 14系列上。苹果A16芯片采用先进的4nm工艺技...
我来告诉你微信金花房卡购买,牛... BpEUZT2富有且慷慨!上述曝光的这款摩托罗拉X50mini,零下巴直面屏的全面屏的设计带来了令人...
带你了解牛牛房卡在哪里购买,正... 9q1scJKj当然,行业在发展,相信在接下来realme手机会再接再厉,为行业带来更有竞争力的产品...
科技通报牛牛房卡哪家便宜,牛牛... 0I当然,行业在发展,相信在接下来realme手机会再接再厉,为行业带来更有竞争力的产品。网上曝光了...
字节跳动在马来西亚建设区域人工... 观点网讯:3月13日,ByteDance(字节跳动)作为TikTok的母公司,正在马来西亚柔佛州投资...
一分钟揭秘天九房卡链接微信王大... Pe苹果手机目前发展的情况并不是特别好,一方面是有消息称iOS16可能不会带来特别多的改变,另一方面...
一分钟揭秘牛牛房卡价格,牛牛房... 7根据目前爆料信息来看,iPhone 14系列中Pro版的两款提升较大,性能、外观、影像以及配色上都...
我来告诉你微信大厅房卡充值,正... a9从核心配置来看,这款OPPO Reno10新机将搭载高通骁龙7+gen2旗舰级处理器,采用了更先...
科技通报牛牛房卡房间怎么开,牛... wSXiPhone 14Pro版的两款将会采用全新的“感叹号”打孔设计,处理器为A16仿生,支持12...
我来告诉你斗牛房卡出售,金花房... woq0u8并且,这款realme GT3采用了一块6.79英寸的三星新一代AMOLED屏幕,屏幕分...