负责创建ChatGPT的公司OpenAI最近宣布公开征集OpenAI红队网络。这一举措是该组织不断努力提高其人工智能模型安全性的重要一步。红队网络是OpenAI迭代部署过程的重要组成部分,主要关注的是开发和实施AI系统的风险评估方法。
红队网络自成立以来经历了重大演变。最初,它主要用于内部对抗性测试。然而,认识到不同观点和专业知识的价值,OpenAI已经扩大了网络,包括外部专家。这些专家与OpenAI合作开发特定领域的风险分类法,并评估新系统中的潜在有害功能。
OpenAI 红队网络
为了加深和扩大与外部专家的合作,OpenAI正在发起一项更正式的努力。目标是通过利用可信赖专家社区的知识和经验,使他们的模型更安全。这些组成红队网络的专家根据他们的专业知识被要求在模型和产品开发的各个阶段提供帮助。
红队网络不仅仅是个人的贡献。它还为成员提供了一个平台,让他们就一般的红队实践和调查结果相互交流。这种协作方法促进了思想和见解的丰富交流,进一步提高了网络的有效性。
寻求多样化的专业知识
OpenAI正在积极为红队网络寻求来自世界各地的各种专业知识。该组织正在优先考虑地理和领域的多样性,以确保广泛的观点和见解。感兴趣的领域包括但不限于认知科学、计算机科学、政治学、医疗保健和网络安全。
红队网络的所有成员在参与红队项目时都将获得报酬。这不仅承认了他们的专业知识的价值,而且鼓励积极参与网络的活动。
重要的是,网络成员资格并不限制成员发表他们的研究或寻求其他机会。但是,鉴于某些工作的敏感性,参与红队项目可能会受到保密协议 (NDA) 的约束。
红队网络为专家提供了一个独特的机会来塑造更安全的人工智能技术和政策的发展。通过参与该网络,成员可以为人工智能安全实践和标准的持续发展做出贡献
会员
这种方法确保了新观点和专门知识的不断涌入,进一步提高了网络的有效性。
红队网络补充了OpenAI提供的其他协作AI安全机会。其中包括研究人员访问计划和开源评估,这两者都为专家提供了额外的途径,为人工智能系统的安全性做出贡献。
OpenAI 红队网络代表了该组织在努力提高其 AI 模型安全性方面向前迈出的重要一步。通过利用多元化专家社区的专业知识,OpenAI有能力应对与AI安全相关的复杂挑战。