本文主要是介绍推荐系统|排序_MMOE,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
MMOE
MMOE是指Multi-gate Mixture-of-Experts
注意看Expert后面加了s,说明了有多个专家。
而在MMOE中专家是指用来对输入特征计算的神经网络,每个神经网络根据输入计算出来的向量都会有所不同。
MMOE的低层
MMOE的上一层
通过MMOE的低层算出的向量和权重系数,进一步通过多个神经网络分别算出多个指标。
MMOE的问题——极化现象
在MME中OSoftmax是在估价某种指标时各专家的权重,如果权重为0,说明该专家系统将会失效,某种指标并未用到该专家系统,甚至有可能出现某个专家系统未被任何指标使用过的情况。(也就相当于该专家系统存在和不存在是相同的作用。)
如何解决极化现象
这篇关于推荐系统|排序_MMOE的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!