中国互联网技术联盟正式成立 京东、美团、 58到家现场分享推荐系统核心技术

本文主要是介绍中国互联网技术联盟正式成立 京东、美团、 58到家现场分享推荐系统核心技术,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

12月19日,中国技术开放日暨中国互联网技术联盟(ITA)启动仪式在北京国家会议中心举行。京东技术学院院长阿朱(原明源软件CTO)、美团技术学院院长刘江(原CSDN总编)及来自联盟企业的多位CTO共同见证了这一刻。

中国互联网技术联盟(ITA)正式启动 


京东技术学院院长阿朱(原明源软件CTO)

京东技术学院院长阿朱,作为中国互联网技术联盟的发起人之一,在启动仪式上讲述了该联盟成立的背后故事。他表示中国互联网技术联盟致力于打造中国更具实效价值的技术研讨、技术推广、技术创新,帮助联盟成员提升在业内的核心技术竞争力和影响力。其主要特色在于免费,且聚焦精英企业。同时他还发布了该联盟未来众多的行动计划。

 

作为联盟的另一位发起人,美团技术学院院长刘江在发言中,通过回顾美团在千团大战中胜利突围的故事,表达了技术对企业成功的重要性。该联盟将十分重视行业技术交流,带来更高层次的技术分享。

 

中国互联网技术联盟运营秘书长谢工介绍了联盟成员的加入及退出机制,及联盟成员的义务。

接下来来自58到家、京东、美团的多位技术专家给参会技术人员分享了各自企业以数据为驱动的个性化推荐的最佳实践。

首先,58到家数据部数据挖掘组负责人王洪权带来了《58到家的推荐系统与推荐技术》主题演讲,分享了推荐系统的选型经验。他表示个性化推荐并不等同于协调过滤,在实际应用中往往可将多种推荐方式结合使用。它被广泛采用因为其有着不依赖产品属性的优势,但同时面临着数据稀疏性、冷启动带来的问题、挑战。同时他还提出了企业在做推荐时可能会遇到诸多问题,如数据量大且动态变化、推荐的精确性和多样性往往难以兼得等。


58到家数据部数据挖掘组负责人 王洪权 

接着,京东推荐平台在线算法组负责人王志勇在演讲中介绍了京东个性化推荐整体框架。个性化推荐离不开在线数据的获取与存储,他详细介绍了京东存储架构所经历的1.0至3.0的演变过程,及每个阶段使用的主要技术。存储1.0,采用Hbase集群作为底层模型数据据存储;Redis集群作为Hot数据的高速缓存;部分关键业务数据pre-load至Redis集群。但因它存在一定的局限,京东自主研发了更好性能的存储系统,即存储2.0,它采用Jim(Jingdong In Memory DB)为内存中心,全管理服务化的数据库,推出故障检测和自动的Failover,支持re-sharding,同时利用RAM+SSD做混合的两级存储。现在京东的存储架构已发展至存储3.0,其Lucene Index使用开源的Stratio Cassandra-Licene-index,将索引服务和特征存储服务融合在相同集群中,同时减少PRC调用次数据,提升召回性能,使服务器资源利用率提高。数据获取后需进行排序,接着他重点介绍了在线Rank架构。

 

京东推荐平台在线算法组负责人 王志勇 

随后,美团高级技术专家曹浩在《O2O领域个性化精准推荐》主题演讲中展示了美团推荐系统的全景图,并从实时推荐,用户、场景建模,Learning to Rank,Interleaving小流量实验机制四个方面介绍了美图推荐核心技术。

 

美团高级技术专家 曹浩 

他表示美团做实时推荐面临着多方面的挑战,如10亿级别推荐系统调用,要求实时计算等,为了解决这些难题,美团采用了负载均衡、并行计算、实时流数据处理等技术手段。接着他介绍了什么是排序学习方法(Learn to Rank)及美团排序模型。他表示美团排序模型经历了人工规则排序、线性模型排序、非线性模型排序三个阶段,非线性模型排序具有自动特征处理、拟合能力更强、适合于多个分数融合的优点,同时它的缺点是训练和预测要慢于线性模型。现在美团采用的是组合模型,利用Tree Model进行未来学习,通过LR进行实时更新。

最后一个演讲来自京东资深技术专家杨骥,他的演讲主要包括京东个性化推荐算法框架、基于矩阵分解的召回、基于图像引擎的召回、排序学习实践四个方面的内容。他表示基于矩阵分解的召回可分六步走,即(1)收集用户行为,包括点击、加购、关注、下单等;(2)对行为进行过滤,比如join(白名单),统计截断,多次加/删购等处理;(3)制定行为评分规则,生成评分矩阵;(4)训练矩阵分解模型;(5)场景过滤;(6)导入缓存。

 

京东资深技术专家 杨骥 

针对基于图像引擎的召回模型,他表示它的数据来源为全站主图,可采用提取特征,图与图之间进行匹配的处理方式,其优点在于只考虑商品的“颜值”,降低了热销影响,同时增加了推荐结果的多样性。每讲一个技术方向,他都结合了具体案例进行现场分析。

这篇关于中国互联网技术联盟正式成立 京东、美团、 58到家现场分享推荐系统核心技术的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/690372

相关文章

Java中的Schema校验技术与实践示例详解

《Java中的Schema校验技术与实践示例详解》本主题详细介绍了在Java环境下进行XMLSchema和JSONSchema校验的方法,包括使用JAXP、JAXB以及专门的JSON校验库等技术,本文... 目录1. XML和jsON的Schema校验概念1.1 XML和JSON校验的必要性1.2 Sche

macOS彻底卸载Python的超完整指南(推荐!)

《macOS彻底卸载Python的超完整指南(推荐!)》随着python解释器的不断更新升级和项目开发需要,有时候会需要升级或者降级系统中的python的版本,系统中留存的Pytho版本如果没有卸载干... 目录MACOS 彻底卸载 python 的完整指南重要警告卸载前检查卸载方法(按安装方式)1. 卸载

Python内存优化的实战技巧分享

《Python内存优化的实战技巧分享》Python作为一门解释型语言,虽然在开发效率上有着显著优势,但在执行效率方面往往被诟病,然而,通过合理的内存优化策略,我们可以让Python程序的运行速度提升3... 目录前言python内存管理机制引用计数机制垃圾回收机制内存泄漏的常见原因1. 循环引用2. 全局变

Python中高级文本模式匹配与查找技术指南

《Python中高级文本模式匹配与查找技术指南》文本处理是编程世界的永恒主题,而模式匹配则是文本处理的基石,本文将深度剖析PythonCookbook中的核心匹配技术,并结合实际工程案例展示其应用,希... 目录引言一、基础工具:字符串方法与序列匹配二、正则表达式:模式匹配的瑞士军刀2.1 re模块核心AP

Python利用GeoPandas打造一个交互式中国地图选择器

《Python利用GeoPandas打造一个交互式中国地图选择器》在数据分析和可视化领域,地图是展示地理信息的强大工具,被将使用Python、wxPython和GeoPandas构建的交互式中国地图行... 目录技术栈概览代码结构分析1. __init__ 方法:初始化与状态管理2. init_ui 方法:

Linux从文件中提取特定内容的实用技巧分享

《Linux从文件中提取特定内容的实用技巧分享》在日常数据处理和配置文件管理中,我们经常需要从大型文件中提取特定内容,本文介绍的提取特定行技术正是这些高级操作的基础,以提取含有1的简单需求为例,我们可... 目录引言1、方法一:使用 grep 命令1.1 grep 命令基础1.2 命令详解1.3 高级用法2

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程:创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do

springboot自定义注解RateLimiter限流注解技术文档详解

《springboot自定义注解RateLimiter限流注解技术文档详解》文章介绍了限流技术的概念、作用及实现方式,通过SpringAOP拦截方法、缓存存储计数器,结合注解、枚举、异常类等核心组件,... 目录什么是限流系统架构核心组件详解1. 限流注解 (@RateLimiter)2. 限流类型枚举 (

OpenCV在Java中的完整集成指南分享

《OpenCV在Java中的完整集成指南分享》本文详解了在Java中集成OpenCV的方法,涵盖jar包导入、dll配置、JNI路径设置及跨平台兼容性处理,提供了图像处理、特征检测、实时视频分析等应用... 目录1. OpenCV简介与应用领域1.1 OpenCV的诞生与发展1.2 OpenCV的应用领域2

Python实现PDF按页分割的技术指南

《Python实现PDF按页分割的技术指南》PDF文件处理是日常工作中的常见需求,特别是当我们需要将大型PDF文档拆分为多个部分时,下面我们就来看看如何使用Python创建一个灵活的PDF分割工具吧... 目录需求分析技术方案工具选择安装依赖完整代码实现使用说明基本用法示例命令输出示例技术亮点实际应用场景扩