开放AI发布安全计划以确保AI的未来

OpenAI推出一种新的框架,实现管理层与董事会之间的制衡机制

OpenAI引入了一项新的安全策略,以确保先进AI模型的未来。它对未来进展的影响。

萨姆·阿尔特曼身后的“未来”文字。

OpenAI作为生成式AI竞赛中的领先竞争者,凭借其开创性的ChatGPT在世界范围内引起了轰动。在全球目光聚焦的同时,OpenAI通过发布一项新的安全计划迈出了重要的一步,为未来的AI发展树立了先例。

OpenAI的准备框架:确保AI模型的安全性

本周,OpenAI公布了其准备框架的初始测试版,该框架概述了该公司采取的各项预防措施,以确保其前沿AI模型的安全性。该框架由几个关键要素组成,共同评估风险并确定安全水平。

突破极限:持续评估

在该框架的第一个要素中,OpenAI承诺对其前沿模型进行持续评估,推动其极限。这些评估有助于评估模型所带来的风险,并评估建议的缓解措施的效果。从这些评估中得出的结论将用于创建反映不同风险阈值的风险“评分卡”。

风险阈值和安全级别

OpenAI的风险评分卡将风险阈值分类为四个安全级别:低、中、高和紧急。事后缓解评分决定了如何处理这些模型。事后缓解评分为“中”或以下的模型可以部署,而事后缓解评分为“高”或以下的模型可以进一步开发。

重组决策与问责

为了增强决策和问责能力,OpenAI引入了对内部团队的新结构。一支专门的准备团队负责评估前沿模型的能力,包括进行评估和综合报告。这些报告然后由跨职能安全咨询小组进行审核,并转交给领导层和董事会。虽然领导层仍然是主要的决策者,但董事会有权力撤销决策,确保制衡。

这种重组解决了OpenAI内部的以前动荡不安,CEO萨姆·阿尔特曼曾被董事会暂时解职的问题。现在,在决策过程中董事会参与其中,增加了透明度和问责制。

协议、合作和开创性研究

OpenAI的准备框架还包括制定增加安全性和外部问责的协议。该公司与外部方和内部团队合作,跟踪现实世界的误用并从中吸取教训。此外,OpenAI在衡量模型扩展的风险如何演变方面开展了新的研究,积极主动地解决潜在风险。

OpenAI安全计划的影响和未来

OpenAI的安全计划为AI开发的未来奠定了基础,建立了一个优先评估和缓解风险的框架。通过推动模型的极限并持续评估其安全性,OpenAI确保AI的进步与道德和安全考虑保持一致。这种方法不仅巩固了OpenAI作为行业领导者的角色,而且还激励其他组织采用类似做法。

对于OpenAI来说,未来持有令人兴奋的可能性,因为它不断努力实现更安全、更可靠的AI模型。该公司致力于透明、问责和持续评估,无疑将塑造AI技术的发展,促进该领域的信任和信心。

参考资料

1. 纽约时报希望OpenAI和微软为训练数据付费(TechCrunch)

2. OpenAI发布带有数据泄漏补丁的ChatGPT

3. 借助AI升级,Salesforce的Einstein Copilot将处理非结构化数据

<a href=”https://www.kjcj.cn/ai-adds-new-fuel-autonomous-enterprises-write-humans.html”>4. AI Adds New Fuel to Autonomous Enterprises, But Don’t Write Off Humans</a>

<a href=”/?s=5.+Briefly+Ousted:+Sam+Altman’s+Turmoil+with+OpenAI”>5. Briefly Ousted: Sam Altman’s Turmoil with OpenAI</a>

Don’t forget to share your thoughts and opinions on OpenAI’s safety plan in the comments below! Let’s keep the conversation going. 👇🔥