基于OpenVINO实现无监督异常检测

2024-06-09 06:52
文章标签 实现 异常 检测 监督 openvino

本文主要是介绍基于OpenVINO实现无监督异常检测，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

    异常检测(AD) 在欺诈检测、网络安全和医疗诊断等关键任务应用中至关重要。由于数据的高维性和底层模式的复杂性，图像、视频和卫星图像等视觉数据中的异常检测尤其具有挑战性。然而，视觉异常检测对于检测制造中的缺陷、识别监控录像中的可疑活动以及检测医学图像中的异常至关重要。

    在本文中，您将学习如何使用OpenVINO 工具包中的FiftyOne和Anomalib对视觉数据执行异常检测。为了演示，我们将使用MVTec AD 数据集，其中包含具有划痕、凹痕和孔洞等异常的各种物体的图像。

    它涵盖以下内容：

    • 在 FiftyOne 中加载 MVTec AD 数据集

    • 使用 Anomalib 训练异常检测模型

    • 评估 FiftyOne 中的异常检测模型

安装依赖项

    确保你在虚拟环境中运行它python=3.10。Anomalib 需要 Python 3.10，因此请确保你安装了正确的版本。

conda create -n anomalib_env python=3.10conda activate anomalib_env

    此后，按照Anomalib README中的说明从源代码安装 Anomalib及其依赖项。这些在 Google Colab 上可能需要一些时间，但对于本地安装应该很快：

pip install -U torchvision einops FrEIA timm open_clip_torch imgaug lightning kornia openvino git+https://github.com/openvinotoolkit/anomalib.git

    我们准备安装更多软件包。现在您可以明白为什么我们建议为该项目使用虚拟环境！

    • huggingface_hub用于加载 MVTec AD 数据集

    • clip用于计算图像嵌入

    • umap-learn用于降维

pip install -U huggingface_hub umap-learn git+https://github.com/openai/CLIP.git

加载和可视化 MVTec AD 数据集

    现在，让我们从FiftyOne导入我们需要的所有相关模块：​​​​​​​

import fiftyone as fo # 基础库和应用程序import fiftyone.brain as fob # ML 方法import fiftyone.zoo as foz # zoo 数据集和模型from fiftyone import ViewField as F # 定义视图的助手import fiftyone.utils.huggingface as fouh # Hugging Face 集成

    并从 Hugging Face Hub 加载 MVTec AD 数据集：

dataset = fouh.load_from_hub("Voxel51/mvtec-ad", persistent=True, overwrite=True)

    在继续之前，让我们看一下FiftyOne 应用程序中的数据集：

session = fo.launch_app(dataset)

图片

    该数据集包含 12 个对象类别的 5354 张图像。每个类别都有“良好”和“异常”图像，这些图像存在划痕、凹痕和孔洞等缺陷。每个异常样本还带有一个掩模，用于定位图像中的缺陷区域。

    缺陷标签因类别而异，这在现实世界的异常检测场景中很常见。在这些场景中，您会为每个类别训练不同的模型。在这里，我们将介绍一个类别的流程，您可以将相同的步骤应用于其他类别。

    还有一点需要注意的是，数据集被分为训练集和测试集。训练集只包含“良好”图像，而测试集则包含“良好”和“异常”图像。

    在训练模型之前，让我们深入研究数据集。通过计算图像嵌入并在低维空间中可视化它们，我们可以了解数据中隐藏的结构和模式。首先，我们将使用 CLIP 模型计算数据集中所有图像的嵌入：​​​​​​​

model = foz.load_zoo_model( "clip-vit-base32-torch" )   # 从 zoo 加载 CLIP 模型
# 计算数据集的嵌入dataset.compute_embeddings(     model=model, embeddings_field= "clip_embeddings" , batch_size= 64 ) 
# 使用 UMAP 对嵌入进行降维fob.compute_visualization(     dataset, embeddings= "clip_embeddings" , method= "umap" , brain_key= "clip_vis" )

    刷新 FiftyOne 应用程序，单击“+”选项卡，然后选择“Embeddings”。从下拉菜单中选择“all_clip_vis”。您将看到 2D 空间中图像嵌入的散点图，其中每个点对应于数据集中的一个样本。

图片

    使用颜色下拉菜单，注意嵌入如何根据对象类别进行聚类。这是因为 CLIP 对图像的语义信息进行编码。此外，CLIP 嵌入不会根据缺陷类型在类别内进行聚类。

训练异常检测模型

    现在我们对数据集有了了解，我们准备使用 Anomalib 训练异常检测模型。

    任务：Anomalib 支持图像的分类、检测和分割任务。我们将重点关注分割，其中模型预测图像中的每个像素是否异常，并创建一个定位缺陷的掩码。

    模型：Anomalib 支持多种异常检测算法。在本演练中，我们将使用两种算法：

    • PaDiM：用于异常检测和定位的补丁分布建模框架

    • PatchCore：迈向工业异常检测的全面召回

    预处理：在训练模型之前，我们将在本演练中将图像大小调整为 256x256 像素。通过 Torchvision 的 Resize 类将其添加为转换，我们可以在训练和推理过程中动态调整图像大小。

    从Anomalib 和辅助模块导入处理图像和路径所需的模块：

​​​​​​​

import numpy as npimport osfrom pathlib import Pathfrom PIL import Imagefrom torchvision.transforms.v2 import Resize
from anomalib import TaskTypefrom anomalib.data.image.folder import Folderfrom anomalib.deploy import ExportType, OpenVINOInferencerfrom anomalib.engine import Enginefrom anomalib.models import Padim, Patchcore

    现在，定义一些在整个笔记本中使用的常量。

    • OBJECT：我们将重点关注的对象类别。在本演练中，我们将使用“瓶子”。如果您想要循环遍历类别，可以使用 dataset.distinct("category.label") 从数据集中获取类别列表。

    • ROOT_DIR：Anomalib 将在其中查找图像和掩码的根目录。我们的数据已存储在磁盘上，因此我们只需将文件符号链接到 Anomalib 所需的目录即可。

    • TASK：我们正在执行的任务。我们将在本演练中使用“分段”。

    • IMAGE_SIZE：在训练模型之前调整图像的大小。我们将使用 256x 256 像素。

OBJECT = "bottle"  ## 要训练的对象ROOT_DIR = Path( "/tmp/mvtec_ad" ) ## 用于存储 anomalib 数据的根目录TASK = TaskType.SEGMENTATION ## 模型的任务类型IMAGE_SIZE = ( 256 , 256 ) ## 预处理图像大小以保证均匀性

    对于给定的对象类型（类别），create_datamodule()下面的函数会创建一个 AnomalibDataModule对象。这将被传递到我们引擎的fit()方法来训练模型，并用于实例化数据加载器以进行训练和验证。

    代码可能看起来很复杂，所以让我们分解一下发生了什么：

    • 我们创建的数据子集仅包含“良好”的训练图像和“异常”图像以供验证。

    • 我们将图像和掩码符号链接到 Anomalib 期望的目录。

    • 我们从 Anomalib 实例化并设置一个数据模块Folder，它是自定义数据集的通用类。

    💡 也可以DataLoader从头开始创建一个 torch 并将其传递给引擎的fit()方法。这可以让你更好地控制数据加载过程。这留给读者练习 😉。

def create_datamodule(object_type, transform=None):    ## Build transform    if transform is None:        transform = Resize(IMAGE_SIZE, antialias=True)
    normal_data = dataset.match(F("category.label") == object_type).match(        F("split") == "train"    )    abnormal_data = (        dataset.match(F("category.label") == object_type)        .match(F("split") == "test")        .match(F("defect.label") != "good")    )
    normal_dir = Path(ROOT_DIR) / object_type / "normal"    abnormal_dir = ROOT_DIR / object_type / "abnormal"    mask_dir = ROOT_DIR / object_type / "mask"
    # create directories if they do not exist    os.makedirs(normal_dir, exist_ok=True)    os.makedirs(abnormal_dir, exist_ok=True)    os.makedirs(mask_dir, exist_ok=True)
    if not os.path.exists(str(normal_dir)):        normal_data.export(            export_dir=str(normal_dir),            dataset_type=fo.types.ImageDirectory,            export_media="symlink",        )
    for sample in abnormal_data.iter_samples():        base_filename = sample.filename        dir_name = os.path.dirname(sample.filepath).split("/")[-1]        new_filename = f"{dir_name}_{base_filename}"        if not os.path.exists(str(abnormal_dir / new_filename)):            ## symlink anomalous image into Anomalib abnormal dir            os.symlink(sample.filepath, str(abnormal_dir / new_filename))        if not os.path.exists(str(mask_dir / new_filename)):            ## symlink mask into Anomalib mask dir            os.symlink(sample.defect_mask.mask_path, str(mask_dir / new_filename))    ## Create a DataModule in Anomalib    datamodule = Folder(        name=object_type,        root=ROOT_DIR,        normal_dir=normal_dir,        abnormal_dir=abnormal_dir,        mask_dir=mask_dir,        task=TASK,        transform=transform    )    datamodule.setup()    return datamodule

    现在，我们可以将所有内容整合在一起。train_and_export_model()下面的函数使用 Anomalib 的类训练异常检测模型Engine，将模型导出到 OpenVINO，并返回模型“推理器”对象。推理器对象用于对新图像进行预测。

def  train_and_export_model ( object_type, model, transform= None ):     ## 在我们的数据上训练模型    datamodule = create_datamodule(object_type, transform=transform)     engine = Engine(task=TASK)     engine.fit(model=model, datamodule=datamodule) 
    ## 将模型导出为 OpenVINO 格式以进行快速推理    engine.export(         model=model,         export_type=ExportType.OPENVINO,     )     output_path = Path(engine.trainer.default_root_dir) 
    openvino_model_path = output_path / "weights" / "openvino" / "model.bin"     metadata = output_path / "weights" / "openvino" / "metadata.json"     ## 从导出加载推理对象 inferencer     = OpenVINOInferencer(         path=openvino_model_path,         metadata=metadata,         device= "CPU" ,     )     return inferencer

    我们先尝试PaDiM一下。训练过程应该不到一分钟：

model = Padim()
inferencer = train_and_export_model(OBJECT, model)

    就这样，我们就有了一个针对“瓶子”类别进行训练的异常检测模型。让我们在单个图像上运行推理器并检查结果：

## get the test split of the datasettest_split = dataset.match(F("category.label") == OBJECT).match(F("split") == "test")
## get the first sample from the test splittest_image = Image.open(test_split.first().filepath)
output = inferencer.predict(image=test_image)print(output)
ImageResult(image=[[[255 255 255]  [255 255 255]  [255 255 255]  ...  [255 255 255]  [255 255 255]  [255 255 255]]
  ...  [255 255 255]  [255 255 255]  [255 255 255]]], pred_score=0.7751642969087686, pred_label=1, anomaly_map=[[0.32784402 0.32784402 0.32784414 ... 0.3314721  0.33147204 0.33147204] [0.32784402 0.32784402 0.32784414 ... 0.3314721  0.33147204 0.33147204] [0.32784408 0.32784408 0.3278442  ... 0.33147222 0.33147216 0.33147216] ... [0.32959    0.32959    0.32959005 ... 0.3336093  0.3336093  0.3336093 ] [0.3295899  0.3295899  0.32958996 ... 0.33360928 0.33360928 0.33360928] [0.3295899  0.3295899  0.32958996 ... 0.33360928 0.33360928 0.33360928]], gt_mask=None, gt_boxes=None, pred_boxes=None, box_labels=None, pred_mask=[[0 0 0 ... 0 0 0] [0 0 0 ... 0 0 0] [0 0 0 ... 0 0 0] ... [0 0 0 ... 0 0 0] [0 0 0 ... 0 0 0] [0 0 0 ... 0 0 0]], heat_map=[[[153 235 255]  [153 235 255]  [153 235 255]  ...  [153 236 255]  [153 236 255]  [153 236 255]]  ...  [153 238 255]  [153 238 255]  [153 238 255]]], segmentations=[[[255 255 255]  [255 255 255]  [255 255 255]  ...  [255 255 255]  [255 255 255]  [255 255 255]]  ...  [255 255 255]  [255 255 255]  [255 255 255]]])

    输出包含一个标量异常分数pred_score、一个pred_mask表示预测异常区域的和一个显示每个像素异常分数的热图 anomaly_map。这些都是理解模型预测的宝贵信息。

    下面的函数run_inference()将以 FiftyOne 样本集合（例如我们的测试集）作为输入，以及推理器对象和用于将结果存储在样本中的键。它将对集合中的每个样本运行模型并存储结果。阈值参数充当异常分数的截止值。如果分数高于阈值，则样本被视为异常。在此示例中，我们将使用 0.5 的阈值，但您可以尝试使用不同的值。

def run_inference(sample_collection, inferencer, key, threshold=0.5):    for sample in sample_collection.iter_samples(autosave=True, progress=True):        output = inferencer.predict(image=Image.open(sample.filepath))
        conf = output.pred_score        anomaly = "normal" if conf < threshold else "anomaly"
        sample[f"pred_anomaly_score_{key}"] = conf        sample[f"pred_anomaly_{key}"] = fo.Classification(label=anomaly)        sample[f"pred_anomaly_map_{key}"] = fo.Heatmap(map=output.anomaly_map)        sample[f"pred_defect_mask_{key}"] = fo.Segmentation(mask=output.pred_mask)

    让我们对测试分割进行推理，并在 FiftyOne 应用程序中可视化结果：

run_inference(test_split, inferencer, "padim")session = fo.launch_app(view=test_split)

图片

评估异常检测模型

    我们有一个异常检测模型，但我们如何知道它是否好用？首先，我们可以使用精度、召回率和 F1 分数指标来评估模型。FiftyOne 的评估 API使这变得简单。我们将评估模型的全图像分类性能以及分割性能。

    我们需要准备评估数据。首先，我们需要为“正常”图像添加空掩码，以确保评估公平：

for sample in test_split.iter_samples(autosave=True, progress=True):    if sample["defect"].label == "good":        sample["defect_mask"] = fo.Segmentation(            mask=np.zeros_like(sample["pred_defect_mask_padim"].mask)        )

    我们还需要确保真实值和预测值之间的命名/标签的一致性。我们将所有“良好”图像重命名为“正常”，并将每种类型的异常重命名为“异常”：

old_labels = test_split.distinct("defect.label")label_map = {label:"anomaly" for label in old_labels if label != "good"}label_map["good"] = "normal"mapped_view = test_split.map_labels("defect", label_map)session.view = mapped_view.view()

图片

    对于分类，我们将使用二元评估，其中“正常”为负类，“异常”为正类：

eval_classif_padim = mapped_view.evaluate_classifications(    "pred_anomaly_padim",    gt_field="defect",    eval_key="eval_classif_padim",    method="binary",    classes=["normal", "anomaly"],)eval_classif_padim.print_report()
               precision    recall  f1-score   support
      normal       0.95      0.90      0.92        20     anomaly       0.97      0.98      0.98        63
    accuracy                           0.96        83   macro avg       0.96      0.94      0.95        83weighted avg       0.96      0.96      0.96        83

比较异常检测模型

    虽然异常检测是无监督的，但这并不意味着我们不能比较模型并选择最适合我们用例的模型。我们可以在同一数据上训练多个模型，并使用 F1 分数、准确率和召回率等指标比较它们的性能。我们还可以通过检查它们生成的掩码和热图来直观地比较模型。

    我们重复一下PatchCore模型的训练过程，并比较一下这两个模型：

## 训练 Patchcore 模型并运行推理
model = Patchcore() 
## 这将需要更长的时间来训练，但仍应少于 5 分钟inferencer = train_and_export_model(OBJECT, model) 
run_inference(mapped_view, inferencer, "patchcore" ) 
## 在分类任务上评估 Patchcore 模型eval_classif_patchcore = tagged_view.evaluate_classifications(     "pred_anomaly_patchcore" ,     gt_field= "defect" ,     eval_key= "eval_classif_patchcore" ,     method= "binary" ,     classes=[ "normal" , "anomaly" ], ) 
eval_classif_patchcore.print_report()
              precision    recall  f1-score   support
      normal       0.95      1.00      0.98        20     anomaly       1.00      0.98      0.99        63
    accuracy                           0.99        83   macro avg       0.98      0.99      0.98        83weighted avg       0.99      0.99      0.99        83
eval_seg_patchcore = mapped_view.match(F("defect.label") == "anomaly").evaluate_segmentations(    "pred_defect_mask_patchcore",    gt_field="defect_mask",    eval_key="eval_seg_patchcore",)eval_seg_patchcore.print_report(classes=[0, 255])session.view = mapped_view.shuffle().view()
      precision    recall  f1-score   support
           0       0.99      0.95      0.97 47143269.0         255       0.60      0.85      0.70 3886731.0
   micro avg       0.95      0.95      0.95 51030000.0   macro avg       0.80      0.90      0.84 51030000.0weighted avg       0.96      0.95      0.95 51030000.0

    这些指标支持了我们在应用程序中看到的结果：PatchCore 对“异常”类别的召回率更高，但准确率较低。这意味着它更有可能发现异常，但也更有可能做出误报预测。毕竟，PatchCore 是为工业异常检测中的“全面召回”而设计的。

图片

    通过查看热图，我们还可以看到每个模型更擅长检测哪些类型的异常。两个模型的集合可能对不同类型的异常更具鲁棒性。

下一步是什么

    在本演练中，我们学习了如何使用 FiftyOne 和 Anomalib 对视觉数据执行异常检测。虽然我们训练了两个模型，但我们只触及了视觉异常检测的皮毛。

    如果你想提高性能，还有许多其他方法可以改变：

    • 算法：我们仅使用了 PaDiM 和 PatchCore。Anomalib 目前支持 13 种算法！

    • Backbone：用于特征提取的模型架构

    • 超参数：异常检测算法特有的参数。对于 PatchCore，这包括coreset_sampling_ratio和num_neighbors。

    • 数据增强：人为增加训练集的大小并提高模型泛化的技术。

    • 定制解决方案：引入新算法/技术永远不会太晚！

—THE END—

这篇关于基于OpenVINO实现无监督异常检测的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1044466。

相关文章

python生成随机唯一id的几种实现方法

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1：使用 UUID 模块（推荐）方法 2：使用 Secrets 模块（安全敏感场景）方法
阅读更多...
Spring StateMachine实现状态机使用示例详解

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​，用于描述对象在其生命
阅读更多...
Spring Boot 结合 WxJava 实现文章上传微信公众号草稿箱与群发

Spring Boot 结合 WxJava 实现文章上传微信公众号草稿箱与群发

《SpringBoot结合WxJava实现文章上传微信公众号草稿箱与群发》本文将详细介绍如何使用SpringBoot框架结合WxJava开发工具包,实现文章上传到微信公众号草稿箱以及群发功能,... 目录一、项目环境准备1.1 开发环境1.2 微信公众号准备二、Spring Boot 项目搭建2.1 创建
阅读更多...
IntelliJ IDEA2025创建SpringBoot项目的实现步骤

IntelliJ IDEA2025创建SpringBoot项目的实现步骤

《IntelliJIDEA2025创建SpringBoot项目的实现步骤》本文主要介绍了IntelliJIDEA2025创建SpringBoot项目的实现步骤,文中通过示例代码介绍的非常详细,对大家... 目录一、创建 Spring Boot 项目1. 新建项目2. 基础配置3. 选择依赖4. 生成项目5.
阅读更多...
Linux下删除乱码文件和目录的实现方式

Linux下删除乱码文件和目录的实现方式

《Linux下删除乱码文件和目录的实现方式》：本文主要介绍Linux下删除乱码文件和目录的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux下删除乱码文件和目录方法1方法2总结Linux下删除乱码文件和目录方法1使用ls -i命令找到文件或目录
阅读更多...
SpringBoot+EasyExcel实现自定义复杂样式导入导出

SpringBoot+EasyExcel实现自定义复杂样式导入导出

《SpringBoot+EasyExcel实现自定义复杂样式导入导出》这篇文章主要为大家详细介绍了SpringBoot如何结果EasyExcel实现自定义复杂样式导入导出功能,文中的示例代码讲解详细,... 目录安装处理自定义导出复杂场景1、列不固定，动态列2、动态下拉3、自定义锁定行/列，添加密码4、合并
阅读更多...
mybatis执行insert返回id实现详解

mybatis执行insert返回id实现详解

《mybatis执行insert返回id实现详解》MyBatis插入操作默认返回受影响行数,需通过useGeneratedKeys+keyProperty或selectKey获取主键ID,确保主键为自... 目录 两种方式获取自增 ID：1. ​​useGeneratedKeys+keyProperty（推
阅读更多...
Spring Boot集成Druid实现数据源管理与监控的详细步骤

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控
阅读更多...
Linux在线解压jar包的实现方式

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》：本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u
阅读更多...
Linux系统性能检测命令详解

Linux系统性能检测命令详解

《Linux系统性能检测命令详解》本文介绍了Linux系统常用的监控命令（如top、vmstat、iostat、htop等）及其参数功能,涵盖进程状态、内存使用、磁盘I/O、系统负载等多维度资源监控,... 目录toppsuptimevmstatIOStatiotopslabtophtopdstatnmon
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2