Google Research的原生自适应界面(NAI)通过嵌入多模态AI工具重新定义通用设计,这些工具能够适应用户的独特需求,并与可访问性社区共同开发。
在Google,我们相信为所有人构建产品,而可访问性是其中的关键部分。我们的团队与社区合作,与残障人士共同构建产品,从开发过程的一开始就融入可访问性。如今,生成式AI为我们提供了让工具更加个性化和自适应的机会。
残障人士占世界人口的16%。借助生成式AI的自适应能力,我们有机会通过采用"没有我们的参与就没有关于我们的决定"的方法来更好地服务全球13亿人。我们相信技术应该像使用它的人一样独特。我们正在创造一个世界,每个界面都能根据你的偏好塑造自己,与你和谐协作,完全按照你本来的样子。
在这篇博客中,我们自豪地介绍原生自适应界面(NAI),这是一个通过多模态AI工具创建更具可访问性应用程序的框架。通过NAI,用户界面设计可以从一刀切转向基于上下文的明智决策。NAI用动态的、智能体驱动的模块替代静态导航,将数字架构从被动工具转变为主动协作者。
经过严格的原型验证来验证这个框架,我们找到了通向通用设计的新兴路径。我们的目标是创造对残障人士更具内在可访问性的环境。
基于"没有我们的参与就没有关于我们的决定"这一长期倡导原则,我们继续将社区主导的共同设计整合到我们自己的开发生命周期中。
通过从一开始就与残障社区的个人合作并让他们作为共同设计师参与,我们可以确保他们的生活经验和专业知识成为所构建解决方案的核心。在Google.org的支持下,罗彻斯特理工学院国家聋人技术学院(RIT/NTID)、美国弧形组织、RNID和Team Gleason等组织正在构建自适应AI工具,解决其社区的现实摩擦点。这些组织认识到,能够原生流畅地处理人类多样化交流方式的AI工具具有变革性的影响潜力。
此外,这种共同设计方法推动了经济赋权,并在残障社区内培育就业机会,确保为技术提供信息的人们也能从其成功中获得回报。
在我们的早期研究中,我们发现数字公平的一个重大障碍是"可访问性差距",即新功能发布与为其创建辅助层之间的延迟。为了缩小这一差距,我们正在从反应性工具转向原生于界面的智能体系统。
多模态AI工具为构建可访问界面提供了最有前景的路径之一。在特定的原型中,比如我们在网页可读性方面的工作,我们测试了一个模型,其中中央编排器充当战略阅读管理器。
用户不需要在复杂的菜单迷宫中导航,编排器维护共享上下文——理解文档并通过将任务委派给专家子智能体来使其更具可访问性。
通过测试这种模块化方法,我们的研究显示用户可以更直观地与系统交互,确保专门任务总是由正确的专家处理,而用户无需寻找"正确"的按钮。
我们的研究还专注于超越基本的文本转语音,转向多模态流畅性。通过利用Gemini同时处理语音、视觉和文本的能力,我们构建了能够将实时视频转换为即时交互式音频描述的原型。
这不仅仅是描述场景;而是关于情境感知。在我们的共同设计会议中,我们观察到允许用户交互式查询他们的环境——在事情发生时询问具体的视觉细节——可以减少认知负荷,将被动体验转变为主动的对话式探索。
我们通过严格的原型制作验证了这种架构,旨在解决复杂的交互挑战并寻找改进机会。在这些"顶点"时刻,我们的研究表明多模态AI工具可以准确解释和响应用户细致入微的特定需求。
利用NAI框架的应用程序经常体验到强烈的"路缘切割效应"——为极端约束设计的功能使更广泛群体受益的现象。正如人行道坡道最初是为轮椅用户设计的,但改善了推婴儿车的父母和携带行李的旅行者的生活一样,使用NAI框架构建的AI工具为许多人创造了优越的体验。
我们正在进入AI可访问性可能性的"黄金时代"。借助多模态AI的自适应能力,我们有机会构建能够实时调整以适应人类能力巨大差异的用户界面。
这个时代不仅仅是关于使用设备;它是关于直接与使用这些技术的社区合作。通过与残障社区共同构建技术,我们可以点燃一个有用性循环,通过创造来扩展可能性的视野。
我们的工作得以实现要感谢Google.org的慷慨支持,他们对我们愿景的承诺具有变革性意义。我们很荣幸与来自Google Research AI、Product For All(P4A)、BBCWorks、罗彻斯特理工学院国家聋人技术学院(RIT/NTID)、美国弧形组织、RNID和Team Gleason的专业团队并肩作战。
Q&A
Q1:什么是原生自适应界面(NAI)?
A:原生自适应界面(NAI)是Google Research开发的一个框架,通过多模态AI工具创建更具可访问性的应用程序。NAI能够将用户界面设计从一刀切转向基于上下文的明智决策,用动态的智能体驱动模块替代静态导航。
Q2:多模态AI工具如何提升可访问性?
A:多模态AI工具可以同时处理语音、视觉和文本,将实时视频转换为即时交互式音频描述。这不仅仅是描述场景,更提供情境感知,允许用户交互式查询环境,减少认知负荷,将被动体验转变为主动的对话式探索。
Q3:什么是"路缘切割效应"?
A:路缘切割效应是指为极端约束或特殊需求设计的功能最终使更广泛群体受益的现象。就像人行道坡道最初为轮椅用户设计,但也改善了推婴儿车的父母和携带行李旅行者的生活一样,使用NAI框架构建的AI工具为许多人创造了优越体验。