机器学习中对抗性攻击的介绍和示例

2024-04-13 19:38

本文主要是介绍机器学习中对抗性攻击的介绍和示例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

35bdd8a4c732924cc8d943a39fe4eebc.png

来源:DeepHub IMBA
本文约1000字,建议阅读5分钟
本文为你展示微小的变化如何导致灾难性的影响。


概念

对抗样本是专门设计的输入,旨在欺骗机器学习 (ML) 模型,从而导致高置信度的错误分类。有趣的是这种方式对图像所做的修改虽然温和,但足以欺骗 ML 模型。在这篇文章中,我想展示微小的变化如何导致灾难性的影响。下图总结了对抗性攻击的过程:

9946f1a8de68cbbd53f8d13573068b83.png

考虑上面的猫的图像,我们添加了一个小的扰动,经过计算使图像被高置信度地识别为柠檬。更具体地说,我们将获取图像并计算相对于所需标签的损失(在本例中为“柠檬”)。我们获得输入图像计算的梯度,并将其乘以一些小的常数 epsilon。经过多次这样的迭代,我们的模型被欺骗了,虽然肉眼看到是猫的图像,但是这这使得我们的 ML 模型可以高度自信地将它归类为柠檬。

这种方法非常健壮,而且简单易懂。这使得对抗样本可能非常危险。例如,攻击者可能让我的 AI 柠檬水制作机器人挤压我的猫并制作另一个柠檬水。😂

实际操作示例

例如,我将在Imagenet上接受ResNet50的预训练。列表中总共有1000个类,我使用Siamese Cat作为初始输入,我想要的标签是柠檬。

ef47b42d9835f03a940636ab4360928b.png

正如所见,模特正确地将我的形象归类为“暹罗猫”。由于图像的大小大于用于训练的图像,置信度很低。现在我们试着愚弄我们的模型,把它归类为柠檬。

 
def predict_on_image(input):model.eval()show(input)input = image2tensor(input)pred = model(input)pred = F.softmax(pred, dim=-1)[0]prob, clss = torch.max(pred, 0)clss = image_net_ids[clss.item()]print(f'PREDICTION: `{clss}` @ {prob.item()}')

这是我做预测的辅助函数。输入的是我的猫的图像。它获取我的输入并打印出预测的类及其概率。

 
from tqdm import trangelosses = []def attack(image, model, target, epsilon=1e-6):input = image2tensor(image)input.requires_grad = Truepred = model(input)loss = nn.CrossEntropyLoss()(pred, target)loss.backward()losses.append(loss.mean().item())output = input - epsilon * input.grad.sign()print(input.grad.sign())output = tensor2image(output)del inputreturn output.detach()modified_images = []desired_targets = ['lemon']for target in desired_targets:target = torch.tensor([image_net_classes[target]])image_to_attack = original_image.clone()for _ in trange(10):image_to_attack = attack(image_to_attack, model, target)modified_images.append(image_to_attack)

正如我已经描述过的,我如何攻击的过程被概括为“attack”方法。我运行这个函数10次,这足以使我们的ResNet50错误地将它分类为柠檬。注意我们只取梯度的sign,也就是1或-1,然后乘以,也就是1e-6。

e43231fa24fc5c09c543dc75f5f26ece.png

我实现了我们的目标。这个模型现在把我们的猫归类为柠檬的概率非常高,但我们可以清楚地看到图像在视觉上仍然是一只猫。

最后总结

如你所见,对抗性攻击非常简单和有趣。通过这个例子,我们在使用公开发布的模型时一定要小心,这可能有潜在的危险并可能质疑人工智能的可靠性。因为这是最近的一个主要研究领域。强化学习代理也可以被对抗性的例子操纵。

如果你对对抗性攻击感兴趣,请查看OpenAI的这篇博客,有更详细的介绍:

https://openai.com/blog/adversarial-example-research/

编辑:于腾凯

9ba1dc11af023b93fdf8d6f3bf7e1a63.png

这篇关于机器学习中对抗性攻击的介绍和示例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/901042

相关文章

使用Java将各种数据写入Excel表格的操作示例

《使用Java将各种数据写入Excel表格的操作示例》在数据处理与管理领域,Excel凭借其强大的功能和广泛的应用,成为了数据存储与展示的重要工具,在Java开发过程中,常常需要将不同类型的数据,本文... 目录前言安装免费Java库1. 写入文本、或数值到 Excel单元格2. 写入数组到 Excel表格

Python中的Walrus运算符分析示例详解

《Python中的Walrus运算符分析示例详解》Python中的Walrus运算符(:=)是Python3.8引入的一个新特性,允许在表达式中同时赋值和返回值,它的核心作用是减少重复计算,提升代码简... 目录1. 在循环中避免重复计算2. 在条件判断中同时赋值变量3. 在列表推导式或字典推导式中简化逻辑

Python位移操作和位运算的实现示例

《Python位移操作和位运算的实现示例》本文主要介绍了Python位移操作和位运算的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 位移操作1.1 左移操作 (<<)1.2 右移操作 (>>)注意事项:2. 位运算2.1

C#使用StackExchange.Redis实现分布式锁的两种方式介绍

《C#使用StackExchange.Redis实现分布式锁的两种方式介绍》分布式锁在集群的架构中发挥着重要的作用,:本文主要介绍C#使用StackExchange.Redis实现分布式锁的... 目录自定义分布式锁获取锁释放锁自动续期StackExchange.Redis分布式锁获取锁释放锁自动续期分布式

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

利用Python调试串口的示例代码

《利用Python调试串口的示例代码》在嵌入式开发、物联网设备调试过程中,串口通信是最基础的调试手段本文将带你用Python+ttkbootstrap打造一款高颜值、多功能的串口调试助手,需要的可以了... 目录概述:为什么需要专业的串口调试工具项目架构设计1.1 技术栈选型1.2 关键类说明1.3 线程模

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

redis过期key的删除策略介绍

《redis过期key的删除策略介绍》:本文主要介绍redis过期key的删除策略,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录第一种策略:被动删除第二种策略:定期删除第三种策略:强制删除关于big key的清理UNLINK命令FLUSHALL/FLUSHDB命