革命性AI防御:麻省理工新技术让聊天机器人远离有害言论|TodayAI

本文主要是介绍革命性AI防御:麻省理工新技术让聊天机器人远离有害言论|TodayAI,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为了防止AI聊天机器人给出有害回应,研究者们开发了一种新的机器学习模型。这种模型能够找到更多样化的训练聊天机器人的提示,以避免令人讨厌或有害的输出。用户可能会要求AI聊天机器人编写计算机程序或总结一篇文章,而该聊天机器人很可能能够生成有用的代码或撰写出清晰的概要。然而,也有可能被请求提供制造炸弹的指导,聊天机器人也可能应对得来。

为了防止这种及其他安全问题,构建大型语言模型的组织通常会采用一种称为红队测试的过程来进行保护。人类测试团队会编写旨在引发不安全或有毒文本的提示,用于训练聊天机器人避免这类回答。

然而,这种方法只有在工程师知道哪些提示可能有害时才有效。如果测试人员漏掉了某些提示,这是很可能发生的,一个被认为是安全的聊天机器人仍然有可能产生不安全的回答。

来自麻省理工学院不可能实验室和麻省理工学院-IBM沃森人工智能实验室的研究小组利用机器学习技术改进了红队测试。他们开发了一种技术,可以训练一个专门的大型语言模型,自动生成多样化的提示,以触发被测试聊天机器人更广泛范围的不良反应。

他们通过指导专门模型在编写提示时保持好奇心,并专注于那些能引发目标模型有害反应的新颖提示来实现这一点。

这项技术在生成更多独特提示和引发更有害反应方面,超过了人类测试者和其他机器学习方法。这种方法不仅显著提高了与其他自动化方法相比被测试输入的覆盖面,而且还能够从已经加入了人类专家设置的安全防护措施的聊天机器人中引出有害反应。

目前,每个大型语言模型都需要经过长时间的红队测试以确保其安全。如果希望在快速变化的环境中更新这些模型,这种方法将不可持续。该研究团队提供了一种更快、更有效的质量保障方法。

该团队还包括一群研究生、研究科学家以及来自计算机科学与人工智能实验室(CSAIL)的高级研究科学家和负责人。这项研究将在国际学习表征会议上展示。

自动化红队测试

像那些支撑AI聊天机器人的大型语言模型通常通过展示来自数十亿公共网站的大量文本进行训练。因此,它们不仅能学会生成有害内容或描述非法活动,这些模型还可能泄露它们可能收集的个人信息。

人类红队测试的繁琐和高成本本质,以及在生成足够多样化的提示以完全保护模型方面的低效性,促使研究者们寻求通过机器学习来自动化这一过程。

这些技术通常通过使用强化学习训练专门模型。这种试错过程奖励专门模型生成触发被测试聊天机器人产生有害反应的提示。

但由于强化学习的工作机制,专门模型往往会重复生成少数几个相似且高度有害的提示,以最大化其奖励。

该研究小组采用了一种名为好奇心驱动探索的技术。这种方法激励专门模型对每个生成的提示的后果保持好奇,因此它会尝试使用不同的词汇、句子结构或含义的提示。

当专门模型已经遇到过特定提示时,重复使用不会激发其好奇心,因此它会被激励创造新的提示。

在其训练过程中,专门模型生成一个提示并与聊天机器人交互。聊天机器人响应,安全分类器根据其回应的有害程度进行评分,根据这个评分奖励专门模型。

奖励好奇心

专门模型的目标是通过引发更有害的回应来最大化其奖励。研究团队通过修改强化学习设置中的奖励信号来激发专门模型的好奇心。

首先,他们增加了一个熵奖励,鼓励专门模型在探索不同提示时变得更加随机。其次,为了使代理更加好奇,他们引入了两种新颖奖励。一种基于提示中词汇的相似性,另一种基于语义相似性。(相似性较低的奖励更高。)

为了防止专门模型生成随机的、无意义的文本,这可能会误导分类器授予高有害评分,研究团队还在训练目标中加入了自然语言奖励。

通过这些调整,研究团队比较了他们的专门模型生成的反应的有害性和多样性与其他自动化技术。他们的模型在这两个指标上都超过了基线。

他们还使用专门模型测试了一个经过人类反馈调整的聊天机器人,使其不产生有害回应。他们的好奇心驱动方法能够迅速产生196个引发这个“安全”聊天机器人有害反应的提示。

模型的激增是一个趋势,预计只会增加。可以想象成千上万的模型,以及公司/实验室频繁推出模型更新。这些模型将成为我们生活中不可或缺的一部分,确保在公开发布前进行验证非常重要。手动验证模型根本不具备可扩展性,该团队的工作旨在减少人力,确保一个更安全、更值得信赖的人工智能未来。

未来,研究团队希望使专门模型能够生成涵盖更广泛主题的提示。他们还希望探索使用大型语言模型作为有害性分类器。这样,用户可以使用公司政策文件来训练有害性分类器,使专门模型能够针对公司政策违规测试聊天机器人。

如果您正准备发布一个新的AI模型,并担心它是否会按预期行为,那么请考虑使用好奇心驱动的红队测试方法。

这篇关于革命性AI防御:麻省理工新技术让聊天机器人远离有害言论|TodayAI的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/892632

相关文章

Java中的登录技术保姆级详细教程

《Java中的登录技术保姆级详细教程》:本文主要介绍Java中登录技术保姆级详细教程的相关资料,在Java中我们可以使用各种技术和框架来实现这些功能,文中通过代码介绍的非常详细,需要的朋友可以参考... 目录1.登录思路2.登录标记1.会话技术2.会话跟踪1.Cookie技术2.Session技术3.令牌技

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》:本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.

Spring AI 实现 STDIO和SSE MCP Server的过程详解

《SpringAI实现STDIO和SSEMCPServer的过程详解》STDIO方式是基于进程间通信,MCPClient和MCPServer运行在同一主机,主要用于本地集成、命令行工具等场景... 目录Spring AI 实现 STDIO和SSE MCP Server1.新建Spring Boot项目2.a

Java使用WebView实现桌面程序的技术指南

《Java使用WebView实现桌面程序的技术指南》在现代软件开发中,许多应用需要在桌面程序中嵌入Web页面,例如,你可能需要在Java桌面应用中嵌入一部分Web前端,或者加载一个HTML5界面以增强... 目录1、简述2、WebView 特点3、搭建 WebView 示例3.1 添加 JavaFX 依赖3

在React聊天应用中实现图片上传功能

《在React聊天应用中实现图片上传功能》在现代聊天应用中,除了文字和表情,图片分享也是一个重要的功能,本文将详细介绍如何在基于React的聊天应用中实现图片上传和预览功能,感兴趣的小伙伴跟着小编一起... 目录技术栈实现步骤1. 消息组件改造2. 图片预览组件3. 聊天输入组件改造功能特点使用说明注意事项

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的