AI蠕虫病毒威胁升级,揭示AI安全新危机

2024-03-03 12:20

本文主要是介绍AI蠕虫病毒威胁升级,揭示AI安全新危机,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一组研究人员成功研发出首个能够通过电子邮件客户端窃取数据、传播恶意软件以及向他人发送垃圾邮件的AI蠕虫,并在使用流行的大规模语言模型(LLMs)的测试环境中展示了其按设计功能运作的能力。基于他们的研究成果,研究人员向生成式AI开发者提出警告,关注此类恶意编程可能带来的潜在危险。研究团队分享了研究论文并发布了一段视频,展示如何通过两种方法来窃取数据和影响其他电子邮件客户端。

该蠕虫由来自康奈尔科技学院的Ben Nassi、以色列理工学院的Stav Cohen以及英特尔公司的Ron Bitton共同创建,并将其命名为“Morris II”,以纪念1988年首次引发全球网络问题的计算机蠕虫“莫里斯”。这种蠕虫专门针对生成式AI应用,甚至可以影响具备AI功能的邮件助手,利用诸如Gemini Pro、ChatGPT 4.0及LLaVA等AI模型生成文本和图像。

蠕虫的运行机制类似于越狱攻击,利用对抗性自复制提示来对付其自身模型。研究人员通过构建一个包含这些生成式AI引擎的电子邮件系统,并利用文本形式或嵌入在图像文件中的自复制提示进行演示。其中,文本提示会利用LLM从系统外部获取额外数据,将这些数据发送至GPT-4或Gemini Pro以生成文本内容,从而突破GenAI服务的安全限制并成功窃取数据。而图像提示方式则是将自复制提示编码在图像中,使得邮件助手将含有宣传和滥用信息的消息转发给所有人,进而感染新的邮件客户端并将受感染邮件继续转发。在这两个过程中,研究人员都能够挖掘包括但不限于信用卡详细信息和社会保障号码在内的敏感信息。

即使在受控环境下,这种功能性的蠕虫也证明了它已不再是理论上的威胁,而是需要严肃对待并采取有效解决方案的问题,一旦发现此类恶意提示就应立即部署防护措施。因此,类似这样的研究论文被分享给了受影响的各方以及其他可模拟验证的研究者。

针对这一情况,生成式AI领域的领军企业给出了回应并计划部署防御措施。如同所有负责任的研究人员那样,该团队将他们的发现报告给了Google和OpenAI。《连线》杂志就此联系了这两家公司,虽然Google拒绝就该研究发表评论,但OpenAI的发言人回应称:“他们似乎找到了一种利用未经检查或过滤的用户输入来利用提示注入类漏洞的方法。”同时,OpenAI保证正在使其系统更具韧性,并建议开发者应采用确保不与有害输入打交道的方法。

鉴于此类方法能够感染生成式AI应用程序并危及用户系统,在PC、智能手机、汽车和电子邮件服务等领域广泛应用AI和神经处理单元(NPUs)之际,这一发现显得尤为关键。尽管在某些情况下,融入AI技术的固态硬盘(SSDs)能够识别并消除勒索软件,但在另一面,我们又面临着能创造恶意软件的蠕虫和定制LLMs。

在此背景下,行业必须保持警惕并为每款面向公众发布的基于genAI的产品准备好对抗措施或部署有效的解决方案。新的解决方案和创新可能会带来新的问题。随着此类研究在AI应用早期阶段就揭示了这些问题,保护有可能造成危害的GenAI引擎已成为优先考虑事项。

这篇关于AI蠕虫病毒威胁升级,揭示AI安全新危机的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/769604

相关文章

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

苹果macOS 26 Tahoe主题功能大升级:可定制图标/高亮文本/文件夹颜色

《苹果macOS26Tahoe主题功能大升级:可定制图标/高亮文本/文件夹颜色》在整体系统设计方面,macOS26采用了全新的玻璃质感视觉风格,应用于Dock栏、应用图标以及桌面小部件等多个界面... 科技媒体 MACRumors 昨日(6 月 13 日)发布博文,报道称在 macOS 26 Tahoe 中

华为鸿蒙HarmonyOS 5.1官宣7月开启升级! 首批支持名单公布

《华为鸿蒙HarmonyOS5.1官宣7月开启升级!首批支持名单公布》在刚刚结束的华为Pura80系列及全场景新品发布会上,除了众多新品的发布,还有一个消息也点燃了所有鸿蒙用户的期待,那就是Ha... 在今日的华为 Pura 80 系列及全场景新品发布会上,华为宣布鸿蒙 HarmonyOS 5.1 将于 7

Java中常见队列举例详解(非线程安全)

《Java中常见队列举例详解(非线程安全)》队列用于模拟队列这种数据结构,队列通常是指先进先出的容器,:本文主要介绍Java中常见队列(非线程安全)的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一.队列定义 二.常见接口 三.常见实现类3.1 ArrayDeque3.1.1 实现原理3.1.2

Spring AI 实现 STDIO和SSE MCP Server的过程详解

《SpringAI实现STDIO和SSEMCPServer的过程详解》STDIO方式是基于进程间通信,MCPClient和MCPServer运行在同一主机,主要用于本地集成、命令行工具等场景... 目录Spring AI 实现 STDIO和SSE MCP Server1.新建Spring Boot项目2.a

ubuntu系统使用官方操作命令升级Dify指南

《ubuntu系统使用官方操作命令升级Dify指南》Dify支持自动化执行、日志记录和结果管理,适用于数据处理、模型训练和部署等场景,今天我们就来看看ubuntu系统中使用官方操作命令升级Dify的方... Dify 是一个基于 docker 的工作流管理工具,旨在简化机器学习和数据科学领域的多步骤工作流。

JAVA保证HashMap线程安全的几种方式

《JAVA保证HashMap线程安全的几种方式》HashMap是线程不安全的,这意味着如果多个线程并发地访问和修改同一个HashMap实例,可能会导致数据不一致和其他线程安全问题,本文主要介绍了JAV... 目录1. 使用 Collections.synchronizedMap2. 使用 Concurren

Python从零打造高安全密码管理器

《Python从零打造高安全密码管理器》在数字化时代,每人平均需要管理近百个账号密码,本文将带大家深入剖析一个基于Python的高安全性密码管理器实现方案,感兴趣的小伙伴可以参考一下... 目录一、前言:为什么我们需要专属密码管理器二、系统架构设计2.1 安全加密体系2.2 密码强度策略三、核心功能实现详解

将Mybatis升级为Mybatis-Plus的详细过程

《将Mybatis升级为Mybatis-Plus的详细过程》本文详细介绍了在若依管理系统(v3.8.8)中将MyBatis升级为MyBatis-Plus的过程,旨在提升开发效率,通过本文,开发者可实现... 目录说明流程增加依赖修改配置文件注释掉MyBATisConfig里面的Bean代码生成使用IDEA生

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应