【推荐算法系列五】DeepFM 模型

2024-02-28 05:44

本文主要是介绍【推荐算法系列五】DeepFM 模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 参考资料
    • Sparse Features
    • Dense Embeddings
    • FM Layer
    • Hidden Layer
    • Output Units
  • 优缺点
    • DeepFM 的优点
    • DeepFM 自身的缺点。

参考资料

DeepFM 中关于 整个发展过程, FM, PNN, wide&deep 的描述很给力。
所以FM在其中的含义就是low-order, deep 就是所谓的 high-order 么?

DeepFM 是一种基于深度学习和 FM 模型的混合模型,它包含两个部分,一部分是 FM 模型,用来捕捉特征之间的交互效应;另一部分是一个深度神经网络,用来学习更高阶的特征交互和特征表达。

由于 DeepFM 算法有效地结合了 FM 和神经网络算法的优点,能够同时对低阶组合特征和高阶组合特征进行提取,因此被广泛使用。

在 DeepFM 中,FM 部分用来处理低阶特征交互,包括一阶特征和二阶特征交互。FM 模型能够捕捉到特征之间的线性关系和二次关系,对于数据稀疏的情况,FM 模型以几乎线性的时间和空间复杂度快速地学习特征交互,这对于处理高维离散特征非常有优势。

而 DNN 部分用来处理高阶特征交互,包括三阶特征和更高阶的特征交互。DNN 对输入的 Embedding 向量进行深度处理,从而能够挖掘到更为复杂的高阶交互模式。同时,DNN 可以对未知的特征进行插值和泛化,因此在数据不完整的情况下也能够保持较好的预测准确率。

在这里插入图片描述
在这个模型中从下往上看,一共分成五个部分,分别是 Sparse Features、Dense Embeddings、FM Layer、Hidden Layer 以及 Output Units。

Sparse Features

这一层的主要作用是对特征进行处理。在做特征处理时,需要对每一个离散型的数据来做 One-Hot 编码。经过 One-Hot 编码后,一个特征会用很多列来表示,这时整个特征就会变得非常稀疏。因此就需要去记录 One-Hot 之前的特征(即图中的 Field),我们可以暂且理解为原始输入的特征。这样做就是为了在存储矩阵时,可以把一个大的稀疏矩阵转换成两个小的矩阵和一个字典进行存储。

Dense Embeddings

DeepFM 模型中的 Dense Embeddings 层(稠密嵌入层)用于将稀疏高维的数据压缩成稠密的实数向量表示。

我们在上一步(也就是通过 Sparse Features 层的处理后)得到的是一个高维度的稀疏向量,这个高维度的稀疏向量实际上在计算时无法得到特征之间的相互关系。那么我们就可以通过 Dense Embeddings 层,将稀疏的 01 向量做一个 Embedding,将其转化成低维稠密的向量。

根据上面的结构图可以看到,实际上每一个高维稀疏向量都有自己所对应的 Embedding 向量,不同的向量之间的 Embedding 实际上是相互独立的,我们把每一个稠密向量进行横向的拼接,使其变成一个长度很长的稠密向量,然后再拼接上原始的数值特征,统一作为 Deep 与 FM 的输入。

一般来说在 DeepFM 模型中,Sparse Features 层和 Dense Embeddings 层是紧密结合的。我们所做的就是提取稀疏特征,再划分 Field 做 Dense Embeddings,将这些原始的特征转化为低维稠密的向量,方便 input 到之后的模型中。而这些 input 共同构成了一个特征嵌入的整体,旨在为数据提供更好的特征表达能力和更强的预测性能。

FM Layer

DeepFM 中的 FM 层由线性部分和交叉部分两部分组成。
线性部分指输入特征的线性组合,可以类比于 LR 模型的线性部分。它可以得到输入特征的权重,从而学习输入特征的重要程度。

交叉部分是指捕获二阶交互特征的部分,它会将所有特征向量的每个元素分别相乘,得到所有可能的二阶交互项,然后,对这些二阶交互项进行加权求和,得到交叉部分的输出。

值得注意的是,FM 层的线性和交叉部分可以共享特征向量的 Embedding 参数,有助于节省模型的参数量,提高模型训练效率。

在这里插入图片描述

Hidden Layer

Hidden Layer 是一个简单的前馈神经网络,由于原始特征向量中大多数都是高维度的稀疏向量、连续的特征和类别特征混合。为了能够更好地发挥 DNN 模型的特性,设计了一套子网络来将原始的系数特征转换成稠密的特征向量,也就是下面这张图中的部分。

Output Units

Output Units 实际上就是将 FM 的预训练向量 V 作为网络权重,初始化替换为 FM 和 DNN 进行联合训练,从而得到一个端到端的模型。在这一层中,会对 FM Layer 的结果与 Hidden Layer 的结果进行累加,这样做的好处是将低阶与高阶的特征交互融合,然后将得到的结果进行一个 sigmoid 操作,得到预测的概率输出。

优缺点

DeepFM 的优点

  • 考虑了高阶交叉特征:DeepFM 可以对各种交叉特征进行编码,包括高阶交叉特征,从而提高了模型的表达能力。
  • 既考虑了线性特征又考虑了非线性特征:DeepFM 同时考虑了线性模型和因子分解机模型,可以对线性特征和非线性特征进行学习和推断。
  • 适用于稀疏特征:DeepFM 可以处理具有稀疏结构的特征,例如在推荐系统中常见的用户 - 物品交互。
  • 可以通过高效的 Embedding 实现对离散特征的编码:DeepFM 基于 Embedding 层实现了对离散特征的编码,这种方法可以高效地处理海量的离散特征。

DeepFM 自身的缺点。

  • 模型训练较慢:DeepFM 中的深度模块导致了训练过程的时间和计算复杂度的增加。
  • 特征选取和处理的要求较高:DeepFM 需要对原始数据进行一定的预处理,同时对于不同的数据集,需要结合实际场景设计合适的特征。
  • 对于连续特征的处理较为有限:DeepFM 采用了 Embedding 层来处理离散特征,虽然它也支持连续特征,但是处理连续特征的方法较为简单并且直接。

这篇关于【推荐算法系列五】DeepFM 模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/754523

相关文章

Spring Boot spring-boot-maven-plugin 参数配置详解(最新推荐)

《SpringBootspring-boot-maven-plugin参数配置详解(最新推荐)》文章介绍了SpringBootMaven插件的5个核心目标(repackage、run、start... 目录一 spring-boot-maven-plugin 插件的5个Goals二 应用场景1 重新打包应用

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

Qt QCustomPlot库简介(最新推荐)

《QtQCustomPlot库简介(最新推荐)》QCustomPlot是一款基于Qt的高性能C++绘图库,专为二维数据可视化设计,它具有轻量级、实时处理百万级数据和多图层支持等特点,适用于科学计算、... 目录核心特性概览核心组件解析1.绘图核心 (QCustomPlot类)2.数据容器 (QCPDataC

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.

Go语言中nil判断的注意事项(最新推荐)

《Go语言中nil判断的注意事项(最新推荐)》本文给大家介绍Go语言中nil判断的注意事项,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.接口变量的特殊行为2.nil的合法类型3.nil值的实用行为4.自定义类型与nil5.反射判断nil6.函数返回的

python 常见数学公式函数使用详解(最新推荐)

《python常见数学公式函数使用详解(最新推荐)》文章介绍了Python的数学计算工具,涵盖内置函数、math/cmath标准库及numpy/scipy/sympy第三方库,支持从基础算术到复杂数... 目录python 数学公式与函数大全1. 基本数学运算1.1 算术运算1.2 分数与小数2. 数学函数

Python Pillow 库详解文档(最新推荐)

《PythonPillow库详解文档(最新推荐)》Pillow是Python中最流行的图像处理库,它是PythonImagingLibrary(PIL)的现代分支和继承者,本文给大家介绍Pytho... 目录python Pillow 库详解文档简介安装核心模块架构Image 模块 - 核心图像处理基本导入

CSS Anchor Positioning重新定义锚点定位的时代来临(最新推荐)

《CSSAnchorPositioning重新定义锚点定位的时代来临(最新推荐)》CSSAnchorPositioning是一项仍在草案中的新特性,由Chrome125开始提供原生支持需... 目录 css Anchor Positioning:重新定义「锚定定位」的时代来了! 什么是 Anchor Pos