本文收录在推荐系统专栏，专栏系统化的整理推荐系统相关的算法和框架，并记录了相关实践经验，所有代码都已整理至推荐算法实战集合(hub-recsys)。 1.背景 何谓多任务，即在一个模型中考虑多个目标。在推荐系统中，往往需要同时优化多个业务目标，承担起更多的业务收益。如电商场景：希望能够同时优化点击率和转换率，使得平台具备更加的目标；信息流场景，希望提高用户点击率的基础上提高用户关注，点赞

MMOE MMOE是指Multi-gate Mixture-of-Experts 注意看Expert后面加了s，说明了有多个专家。 而在MMOE中专家是指用来对输入特征计算的神经网络，每个神经网络根据输入计算出来的向量都会有所不同。 MMOE的低层 MMOE的上一层 通过MMOE的低层算出的向量和权重系数，进一步通过多个神经网络分别算出多个指标。 MMOE的问题——极化现象 在

文章目录 总结细节实验 总结 每个task分开emb，每个task分开attention 细节 现有的方法对任务间的relationship敏感 MTL 改进1: 不使用shared-bottom，使用单独的参数，但是加一个多个task参数之间的L2正则 shared-bottom，共用emb，每个任务上再套一个tower network。这种做法可以降低overf

目录 一.引言 二.摘要 Abstract 三.介绍 Introduction 四.相关工作 RELATED WORK 1.DNN 中的多任务学习 2.SubNet 集成与 Expert 混合 3.多任务学习应用 五.建模方法 MODELING APPROACHES 1.Shared-bottom Multi-task Model 2.Mixture-of-Experts 3

1. 概述 在工业界经常会面对多个学习目标的场景，如在推荐系统中，除了要给用户推荐刚兴趣的物品之外，一些细化的指标，包括点击率，转化率，浏览时长等等，都会作为评判推荐系统效果好坏的重要指标，不同的是在不同的场景下对不同指标的要求不一样而已。在面对这种多任务的场景，最简单最直接的方法是针对每一个任务训练一个模型，显而易见，这种方式带来了巨大的成本开销，包括了计算成本和存储成本。多任务学习（Mult