OPENAI宣布招募多种学科的专家加盟红队 帮助开发团队提升AI安全性 – 蓝点网

作者:休闲 来源:娱乐 浏览: 【 】 发布时间:2024-12-12 14:45:31 评论数:

OPENAI 今天宣布面向全球广泛招募各种学科的宣布学科专家,这些专家加盟 OPENAI 红队帮助开发团队在 AI 模型训练时提高安全性。招募助开

在安全领域,多种的专队帮队提红队一般指的家加是发起攻击的一方,包括寻找安全漏洞或利用其他手段进行攻击;蓝队则是盟红防守方,要抵御红队发起的发团攻击。

在 OPENAI 这个案例中开发团队就是全性蓝队,专家组就是蓝点红队,专家组要利用自己的宣布学科专业知识对 AI 模型进行攻击,例如诱导 AI 模型进行一些违规行为。招募助开

OPENAI宣布招募多种学科的多种的专队帮队提专家加盟红队 帮助开发团队提升AI安全性

需要提醒的是红队专家都不是全职,按照 OPENAI 的家加说法,在 AI 模型开发和训练的盟红不同阶段,公司会评估并选择一部分红队专家参与进来,发团并非每个成员都会参与到新模型或产品中,全性有时候一年里红队专家可能只需要花费 5~10 小时。

至于报酬,OPENAI 会给参与实际的红队专家发放报酬,OPENAI 也不会限制专家成员在参与之后发表学术研究成果,但参与时成员需要签署保密协议,有的保密协议是长期的,那么就不能发布研究成果了、不能向任何人透露这些训练内容。

OPENAI 对诸多领域感兴趣,包括但不限于以下领域:

认知科学、化学、生物学、物理、计算机科学、隐写术、政治学、心理学、劝说、经济学、人类学、社会学、人机交互、公平与偏见、结盟、教育、卫生保健、法律、儿童安全、网络安全、金融、错误 / 虚假信息、政治用途、隐私、生物识别技术、语言和语言学。

可以看到 OPENAI 感兴趣的不仅是一些学科,还包括一些非学科但在人类世界中确实存在且需要的东西,毕竟 AI 模型面向所有人,这么多人可能有无数种想法,所以各个领域都需要进行红蓝对抗。

更多信息请访问:https://openai.com/blog/red-teaming-network