2023-10-28 05:42:12 作者:姚立伟
OpenAI宣布成立Preparedness团队,评估通用人工智能(AGI)可能带来的灾难性风险。该团队由麻省理工学院的可部署机器学习中心主任Aleksander Madry主导。
OpenAI表示,尽管未来的AI模型拥有造福全人类的潜力,但也存在严重的风险。因此需要建立一个强大的框架来监控、评估、预测和防范这些AI模型所带来的一系列问题。
据悉,OpenAI设立了Preparedness团队,将对各种类型的AI模型进行能力评估和红队测试,以跟踪、预测和防止各类别灾难性风险的发生。
目前来看,OpenAI宣称的相关风险主要分为以下三大类:第一是说服人类的能力;第二是生成不当内容;最后则是自主复制与适应能力(Autonomous Replication and Adaptation,ARA)。