2023-11-16 16:41:40 作者:姚立伟
近日,美国国家超级计算中心和诸多AI领域龙头公司联合组建了万亿参数联盟(TPC)。该联盟由来自全球的科学家组成,目标是共同推进用于科学发现的AI模型,特别关注一万亿或更多参数的巨型模型。目前,TPC正在开发可扩展模型架构和训练策略,并组织整理用于模型训练的科学数据,以优化当前和未来的百万兆次级计算平台的AI库。
自成立以来,TPC已经建立了多个工作组来解决构建大规模人工智能模型的复杂性。培训所需的百万兆次级计算资源将由美国能源部(DOE)下属几个国家实验室以及日本、欧洲和其他国家/地区的一些初始合作伙伴提供。即使有这些资源,培训也需要数月时间。
阿贡国家实验室计算、环境和生命科学副主任、芝加哥大学计算机科学教授里克·史蒂文斯表示:“在我们的实验室和世界各地越来越多的合作机构中,团队开始开发用于科学用途的前沿人工智能模型,并正在准备大量以前未开发的科学数据进行训练。”