OpenAI安全副总裁离职
创始人
2024-11-10 00:22:03
0

三言科技11月9日消息,今日,OpenAI安全研究副总裁Liian Weng宣布离职。她回顾了自己在OpenAI工作的经历,同时表示在公司七年后,感觉“是时候重新出发”。

以下是其离职信全文:

亲爱的朋友们,我做出了一个极其艰难的决定,那就是离开OpenAI。11月15日将是我在办公室的最后一天。

OpenAI是我作为科学家和领导者成长的地方,我将永远珍惜与每一位共事过和结识的同事在一起的时光。OpenAI团队一直是我的知己、良师益友,也是我个人身份的重要组成部分。

我依然清晰地记得2017年时,我对OpenAI的使命是多么着迷。那时,我们这群人梦想着一个看似不可能、宛如科幻的未来。

开始,我在这里研究的是全栈机器人挑战——从深度强化学习算法,到感知,再到固件——目标是教会单只机械手如何解开魔方。整个团队花了整整两年时间,但我们最终成功了。

当OpenAI进入GPT范式,我们开始探索如何将最佳AI模型部署到现实世界时,我建立了第一个「应用研究团队」(Applied Research team)。团队推出了微调API、嵌入API和审核端点的初始版本,为应用安全工作奠定了基础,并为许多早期API客户提供了创新解决方案。

在GPT-4发布后,我被赋予了一项新的使命:重新思考OpenAI安全系统的愿景,并将工作集中在一个掌控完整安全堆栈的团队之下。这是我做过的最困难、最有压力,同时也是最令人兴奋的事情之一。

如今,安全系统团队拥有80多名出色的科学家、工程师、产品经理和政策专家,我为我们团队取得的一切感到无比自豪。我们共同成为每次重大发布的基石——从GPT-4及其视觉和turbo版本,到GPT商店、语音功能和01。

在训练这些模型既强大又负责任方面的工作上,我们树立了新的行业标准。我特别为我们最新的成就——o1-preview模型感到自豪,它是我们迄今为止最安全的模型,在保持其实用性的同时,表现出对「越狱」攻击的卓越抵抗力。

我们取得的成功,十分令人瞩目:

  • 我们训练模型如何处理敏感或不安全的请求,包括何时拒绝或接受,通过遵循一套明确定义的模型安全行为政策,在安全性和实用性之间取得了良好的平衡。

  • 我们在每次模型发布中都提高了对抗性鲁棒性,包括防御越狱、指令层级,并通过推理能力大大提高了模型的鲁棒性。

  • 我们设计了严格而创新的评估方法,与准备框架保持一致,并为每个前沿模型进行了全面的安全测试和红队测试。我们对透明度的承诺体现在我们详细的模型系统卡中。

  • 我们开发了业界领先的具有多模态能力的审核模型,并免费与公众分享。我们目前在更通用的监控框架和增强的安全推理能力方面的工作将为更多安全工作流程提供支持。

  • 我们为安全数据日志记录、指标、仪表板、主动学习管道、分类器部署、推理时过滤和新型快速响应系统奠定了工程基础。

回顾我们取得的成就,我为安全系统团队的每个成员感到无比自豪,我坚信团队将继续蓬勃发展。我由衷地感谢你们,你们是最棒的!

现在,在OpenAI工作了七年之后,我感觉是时候重新出发,探索新的领域了。OpenAI正处于火箭般的轨道上,我衷心祝愿这里的每个人一切顺利。

PS:我的博客仍然活跃,并将继续更新。我可能很快就有更多时间来更频繁地更新博客,或许还能抽出更多时间来编码。

相关内容

热门资讯

首届世界古典学大会:共筑古今之... 中新社北京11月8日电 (记者 高凯)这是关于古典文明的一次世界级大会,包括中国在内共30多个国家和...
江苏中来取得铝带覆膜装置专利,... 金融界2024年11月9日消息,国家知识产权局信息显示,江苏中来能源科技开发集团有限公司取得一项名为...
山东恒科园取得一种抗高温集装袋... 金融界2024年11月9日消息,国家知识产权局信息显示,山东恒科园塑料制品有限公司取得一项名为“一种...
人工智能助跨境电商更好发展 人工智能能够重新构建跨境电商的系统模块,从市场洞察、客服场景、用户体验等多个维度实现飞跃,推动更多中...
苏州玖物智能申请挂棒机器人专利... 金融界2024年11月8日消息,国家知识产权局信息显示,苏州玖物智能科技股份有限公司申请一项名为“一...
富佳股份不断加大新产品研发投入... 本报讯 (记者李春莲)11月6日,富佳股份(603219)在互动平台表示,公司控股子公司宁波益佳电子...
扬州阔图制冷设备申请空调热交换... 金融界2024年11月9日消息,国家知识产权局信息显示,扬州阔图制冷设备有限公司申请一项名为“一种冷...
海德曼申请料仓专利,能够减少机... 金融界2024年11月9日消息,国家知识产权局信息显示,海德曼(上海)自动化技术有限公司申请一项名为...
青云科技连年亏损,押注智能算力... 文 | 智能相对论 作者 | 冷不丁 作为曾经的“混合云第一股”,青云科技也有过高光,2021年登陆...
国网能源院发布《新型储能发展分... 2024年10月27日,由国网能源研究院主办的2024年新型储能发展分析报告发布会在京召开。国网能源...
打造“大健康”格局、构建立体安... 人民城市人民建,人民城市为人民。健康的人民是人民城市的活力之源,安全的生活环境是人民城市的发展之基。...
郓城:纺织产业设备换新 焕出产... 作为山东省传统棉纺织大县,郓城县大力实施“百企百亿技改工程”,有效促进工业经济高质量发展,推动纺织这...
探访“九天”,首次展出的这款大... 今天,在十五届中国航展静展区,看航空记者探访了首次参展的“九天”无人机。 现场可以看到,在“九天”...
移起趣探场:上海移动打造四叶草... 今年是5G-A商用元年,5G-A迸发的创新活力在进博舞台激越澎湃。 “5G+”棋至中盘,“AI+”加...
性价比之王?小米15用骁龙8至... 大家好,今天要向大家推荐一款备受好评的小米15手机。这款手机自发布以来,凭借其出色的性能、丰富的配置...
史上最强Mate旗舰!华为Ma... 快科技11月9日消息,今日晚间,Mate之父李小龙用新手机发了一条微博,网友纷纷猜测,李小龙使用的是...
火箭如何突破音速与热浪?流体力... 在我们仰望星空、梦想探索宇宙的时刻,火箭的发射和飞行过程无疑是最令人激动和神秘的工程奇迹之一。然而,...
Intel二代锐炫显卡发布在即... 快科技11月8日消息,NVIDIARTX 50系列、AMDRX 8000系列都蓄势待发,而距离初代锐...
原创 v... 当众多主打线上市场的机型发布完成之后,一些主攻线下市场的机型也开始进行发力了,其中就包括了vivo旗...
两项突破性成果!尧山实验室科研... 大象新闻记者 许继彬 平顶山台记者 徐艳丽 方浩锋 文图 11月9日,尧山实验室科研成果发布会在平...