如何系统性的学习推荐系统?

2024-03-01 22:04
文章标签 系统 学习 推荐 系统性

本文主要是介绍如何系统性的学习推荐系统?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

推荐一本适合推荐系统、计算广告、个性化搜索领域的从业人员阅读的书:《互联网大厂推荐算法实战》。快手公司算法专家10余年的实战经验总结。涵盖一线互联网公司当前采用的主流推荐算法,凸显可用性、实用性提供从算法基本原理,到技术框架再到核心源码的解决方案。

本书是一本讲述推荐算法、推荐模型的书。本书总计10章,内容涵盖了推荐系统的基础知识、推荐系统中的特征工程、推荐系统中的Embedding、推荐系统的各组成模块(包括召回、粗排、精排与重排)所使用的算法技术、推荐算法实践中经常会遇到 的难题以及应对之道(其中涉及多任务推荐、多场景推荐、新用户冷启动、新物料冷启动、评估模型效果、定位并解决问题等),最后还用一章的篇幅介绍了推荐算法工程师在工作、学习、面试时应该采取的做法。

推荐理由:

本书所讲的都是各互联网大厂当下主流的推荐算法。本书不会讲述协调过滤、矩阵分解这 类“经典但过时”的算法,尽管它们当下仍可能有用武之地,但绝非互联网大厂的主力算 法,也不是面试时的考察重点。另外,针对一些著名的前沿算法,由于其实现相当复杂, 复现效果也比较有争议,且不是业界主流算法,因此本书也没有在它们身上浪费笔墨。

■本书除了讲解最基本的算法原理,还聚焦于算法工程师的工作实际,关注他们日常遇到 的实际难题。比如,新用户与新物料怎么冷启动?如何打开模型的黑盒,以排查问题或 找到下一步升级改进的方向?线下AUC 涨了,但是线上AB 实验的指标却不涨!这到底 是什么原因造成的? ……

■由于算法工程师也属于广义上的程序员,所以源代码才是最清晰直接的说明文档。为此, 本书针对核心算法都提供了相应的源代码。同时,限于篇幅,书中仅对核心代码进行了 展示,而且给出了相应的注释,以帮助读者彻底理解算法的重要细节。

本书特点:

本书将重心放在了帮助读者梳理算法的发展脉 络方面,指导读者由“术”入“道”,达到“举一反三”的目的。举例如下。

■本书梳理了推荐算法有别于普通机器学习算法的特殊性在哪里。充分认识这一特殊性, 是正确、深刻理解推荐算法的前提,否则外行将无法理解很多推荐算法的精髓。

■Embedding 是深度学习推荐算法的基石,本书用“无中生有”来形容这一技术。本书由 评分卡自然推导出 Embedding, 指出引入 Embedding 是推荐系统增强扩展性的必然结果。

■本书提出了理解深度学习推荐算法的5个维度,可帮助读者加深对推荐算法的理解。

本书为所有向量化召回算法提炼出统一的模型框架,以帮助读者充分理解向量化召回算 法的本质。借助这个框架,读者可以从不同算法中各取所长,构建出适合自己业务场景 的向量化召回算法。

■双塔模型是大厂进行召回、粗排的不二主力。本书指出“改进双塔模型的重点在于减少 信息在塔内流动时的损失”,并总结出了改进双塔模型的4条道路。

■元学习可以助力冷启动问题。但是元学习的经典算法在应用于推荐系统时,必须加以改 造,本书梳理出了三大改造方向。

■对比学习在形式上与向量化召回很相似,因此有很多文章“挂羊头卖狗肉”,将普通的向 量化召回包装成时髦的对比学习来蹭热度。本书辨析了这两个技术的异同,并指出对比 学习应用于推荐系统的本质在于“纠偏”。

《互联网大厂推荐算法实战》目录

第 1章 推荐系统简介 1

1.1 推荐系统的意义 2

1.2 推荐系统是如何运行的 3

1.3 推荐系统架构 5

1.3.1 功能架构 5

1.3.2 数据架构 8

1.4 推广搜的区别与联系 10

1.4.1 三驾马车的相同点 10

1.4.2 推荐与搜索 11

1.4.3 推搜与广告 12

1.5 小结 12

第 2章 推荐系统中的特征工程 14

2.1 批判“特征工程过时”的错误论调 15

2.2 特征提取 16

2.2.1 物料画像 16

2.2.2 用户画像 18

2.2.3 交叉特征 21

2.2.4 偏差特征 22

2.3 数值特征的处理 25

2.3.1 处理缺失值 25

2.3.2 标准化 25

2.3.3 数据平滑与消偏 26

2.3.4 分桶离散化 27

2.4 类别特征的处理 28

2.4.1 类别特征更受欢迎 28

2.4.2 类别特征享受VIP服务 29

2.4.3 映射 30

2.4.4 特征哈希 31

2.5 小结 32

第3章 推荐系统中的Embedding 33

3.1 无中生有:推荐算法中的Embedding 33

3.1.1 传统推荐算法:博闻强识 33

3.1.2 推荐算法的刚需:扩展性 35

3.1.3 深度学习的核心思想:无中生有的Embedding 36

3.1.4 Embedding的实现细节 37

3.2 共享Embedding还是独占Embedding 42

3.2.1 共享Embedding 42

3.2.2 独占Embedding 43

3.3 Parameter Server:推荐算法的训练加速器 46

3.3.1 传统分布式计算的不足 46

3.3.2 基于PS的分布式训练范式 47

3.3.3 PS中的并行策略 49

3.3.4 基于ps-lite实现分布式算法 51

3.3.5 更先进的PS 57

3.4 小结 60

第4章 精排 61

4.1 推荐算法的5个维度 61

4.2 交叉结构 62

4.2.1 FTRL:传统时代的记忆大师 62

4.2.2 FM:半只脚迈入DNN的门槛 69

4.2.3 Wide & Deep:兼顾记忆与扩展 71

4.2.4 DeepFM:融合二阶交叉 74

4.2.5 DCN:不再执着于DNN 76

4.2.6 AutoInt:变形金刚做交叉 79

4.3 用户行为序列建模 86

4.3.1 行为序列信息的构成 86

4.3.2 简单Pooling 86

4.3.3 用户建模要“千物千面” 87

4.3.4 建模序列内的依赖关系 89

4.3.5 多多益善:建模长序列 91

4.4 小结 96

第5章 召回 97

5.1 传统召回算法 97

5.1.1 基于物料属性的倒排索引 98

5.1.2 基于统计的协同过滤算法 99

5.1.3 矩阵分解算法 99

5.1.4 如何合并多路召回 100

5.2 向量化召回统一建模框架 101

5.2.1 如何定义正样本 102

5.2.2 重点关注负样本 103

5.2.3 解耦生成Embedding 105

5.2.4 如何定义优化目标 106

5.3 借助Word2Vec 111

5.3.1 最简单的Item2Vec 112

5.3.2 Airbnb召回算法 116

5.3.3 阿里巴巴的EGES召回 118

5.4 “瑞士军刀”FM的召回功能 120

5.4.1 打压热门物料 121

5.4.2 增广Embedding 122

5.5 大厂主力:双塔模型 124

5.5.1 不同场景下的正样本 124

5.5.2 简化负采样 124

5.5.3 双塔结构特点 126

5.5.4 Sampled Softmax Loss的技巧 127

5.5.5 双塔模型实现举例 129

5.6 邻里互助:GCN召回 131

5.6.1 GCN基础 131

5.6.2 PinSage:大规模图卷积的经典案例 134

5.6.3 异构图上的GCN 142

5.7 小结 143

第6章 粗排与重排 145

6.1 粗排 146

6.1.1 模型:双塔仍然是主力 146

6.1.2 目标:拜精排为师 154

6.1.3 数据:纠正曝光偏差 158

6.1.4 模型:轻量级全连接 159

6.2 重排 161

6.2.1 基于启发式规则 162

6.2.2 基于行列式点过程 165

6.2.3 基于上下文感知的排序学习 174

6.3 小结 180

第7章 多任务与多场景 181

7.1 多任务推荐 181

7.1.1 多任务建模的误区 182

7.1.2 并发建模 182

7.1.3 串行建模 193

7.1.4 多个损失的融合 202

7.1.5 多个打分的融合 206

7.2 多场景推荐 209

7.2.1 特征位置 210

7.2.2 模型结构 211

7.2.3 模型参数 215

7.3 小结 217

第8章 冷启动 219

8.1 Bandit算法 219

8.1.1 多臂老虎机问题 220

8.1.2 Epsilon Greedy 221

8.1.3 UCB 222

8.1.4 概率匹配 223

8.1.5 Bayesian Bandit 223

8.1.6 上下文Bandit 225

8.2 元学习 228

8.2.1 什么是元学习 228

8.2.2 什么是MAML 230

8.2.3 MAML针对推荐场景的改造 233

8.2.4 Meta-Embedding 236

8.3 对比学习 242

8.3.1 对比学习简介 242

8.3.2 对比学习在推荐系统中的作用与使用方式 244

8.3.3 辨析对比学习与向量化召回 246

8.3.4 纠偏长尾物料的实践 247

8.3.5 纠偏小众用户的实践 249

8.4 其他算法 251

8.4.1 迁移学习 251

8.4.2 预测物料消费指标 252

8.4.3 以群体代替个体 253

8.4.4 借鉴多场景推荐 254

8.5 小结 255

第9章 评估与调试 256

9.1 离线评估 256

9.1.1 评估排序算法 257

9.1.2 评估召回算法 261

9.1.3 人工评测 266

9.1.4 持续评估 267

9.2 在线评估:A/B实验 267

9.2.1 线上:流量划分 268

9.2.2 线下:统计分析 273

9.3 打开模型的黑盒 276

9.3.1 外部观察 276

9.3.2 内部剖析 277

9.4 线下涨了,线上没效果 280

9.4.1 特征穿越 280

9.4.2 老汤模型 282

9.4.3 冰山:系统的内在缺陷 284

9.4.4 链路一致性问题 285

9.5 小结 286

第 10章 推荐算法工程师的自我修养 287

10.1 工作 287

10.1.1 重视代码的规范性 287

10.1.2 重视离线评测 288

10.1.3 重视使用工具 289

10.2 学习 290

10.2.1 坚持问题导向 290

10.2.2 重在举一反三 291

10.2.3 敢于怀疑 292

10.2.4 落实代码细节 293

10.3 面试 293

10.3.1 社招 294

10.3.2 校招 296

10.4 小结 297

这篇关于如何系统性的学习推荐系统?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/763974

相关文章

Windows系统宽带限制如何解除?

《Windows系统宽带限制如何解除?》有不少用户反映电脑网速慢得情况,可能是宽带速度被限制的原因,只需解除限制即可,具体该如何操作呢?本文就跟大家一起来看看Windows系统解除网络限制的操作方法吧... 有不少用户反映电脑网速慢得情况,可能是宽带速度被限制的原因,只需解除限制即可,具体该如何操作呢?本文

CentOS和Ubuntu系统使用shell脚本创建用户和设置密码

《CentOS和Ubuntu系统使用shell脚本创建用户和设置密码》在Linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设置密码,本文写了一个shell... 在linux系统中,你可以使用useradd命令来创建新用户,使用echo和chpasswd命令来设

电脑找不到mfc90u.dll文件怎么办? 系统报错mfc90u.dll丢失修复的5种方案

《电脑找不到mfc90u.dll文件怎么办?系统报错mfc90u.dll丢失修复的5种方案》在我们日常使用电脑的过程中,可能会遇到一些软件或系统错误,其中之一就是mfc90u.dll丢失,那么,mf... 在大部分情况下出现我们运行或安装软件,游戏出现提示丢失某些DLL文件或OCX文件的原因可能是原始安装包

电脑显示mfc100u.dll丢失怎么办?系统报错mfc90u.dll丢失5种修复方案

《电脑显示mfc100u.dll丢失怎么办?系统报错mfc90u.dll丢失5种修复方案》最近有不少兄弟反映,电脑突然弹出“mfc100u.dll已加载,但找不到入口点”的错误提示,导致一些程序无法正... 在计算机使用过程中,我们经常会遇到一些错误提示,其中最常见的就是“找不到指定的模块”或“缺少某个DL

Maven中引入 springboot 相关依赖的方式(最新推荐)

《Maven中引入springboot相关依赖的方式(最新推荐)》:本文主要介绍Maven中引入springboot相关依赖的方式(最新推荐),本文给大家介绍的非常详细,对大家的学习或工作具有... 目录Maven中引入 springboot 相关依赖的方式1. 不使用版本管理(不推荐)2、使用版本管理(推

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

mysql的基础语句和外键查询及其语句详解(推荐)

《mysql的基础语句和外键查询及其语句详解(推荐)》:本文主要介绍mysql的基础语句和外键查询及其语句详解(推荐),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录一、mysql 基础语句1. 数据库操作 创建数据库2. 表操作 创建表3. CRUD 操作二、外键

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1