直播预告: NeurlPS 2020 专场三| AI TIME PhD

2024-03-22 08:10

本文主要是介绍直播预告: NeurlPS 2020 专场三| AI TIME PhD,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入!

12月16日晚7:30-9:00

AI TIME特别邀请了3位优秀的讲者跟大家共同开启NeurIPS 2020专场三!

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号

观看直播

链接:https://live.bilibili.com/21813994

★ 邀请嘉宾 ★

王振楠:深圳大学在读博士研究生(即将毕业),导师为徐晨教授,指导老师为邹文斌副教授。研究兴趣聚焦于深度学习的基础研究,如正则化、归一化等。

报告题目:

MMA正则化:神经网络去相关性的正则化

摘要:

神经元或卷积核之间的强相关性会大幅削弱神经网络的泛化能力。本文提出使归一化后的权重向量在单位超球面上尽可能分布均匀,从而减弱其相关性。而著名的Tammes Problem是均匀分布的评判标准之一。

本文从分析Tammes Problem出发,提出一种针对任意维度d和任意点数n的Tammes Problem的数值求解方法。进而将该方法应用到神经网络中,提出了一种新颖的神经网络正则化方法,减弱神经元或卷积核之间的相关性。

由于该方法使同层中的权重向量之间的最小夹角最大化(Maximizing the MinimalAngle),因此简称为MMA。MMA正则化形式简单、计算复杂度低、效果明显,因此,可以作为神经网络模型的基本正则化策略。本文通过大量的实验,证实了MMA正则化的有效性和广泛适用性。

谢雨佳:本科毕业于中国科学技术大学少年班学院,现为佐治亚理工学院CSE系第五年博士生,导师为查宏远教授和赵拓教授。她的研究方向主要为最优传输理论和端到端学习。

报告题目:

当Top-k遇到深度学习

摘要:

top-k操作(即从分数集合中找到k个最大或最小元素)是一个重要的机器学习模型组件,被广泛用于信息检索和数据挖掘中。但是,如果top-k操作是通过算法方式(例如使用冒泡算法)实施的,则无法使用流行的梯度下降算法以端到端的方式训练所得模型。这是因为这些实现通常涉及交换索引,无法计算其梯度。此外,从输入数据到该元素是否属于前k个集合的指标向量的对应映射是不连续的。

为了解决这个问题,我们提出了一个平滑的近似操作,即SOFT top-k运算符。具体来说,我们的SOFT top-k运算符将top-k运算的输出近似为最优传输(OT)问题的解。然后,我们基于OT问题的KKT条件快速地估算SOFT运算符的梯度。我们将提出的算子应用于k最近邻分类和波束搜索算法,并通过实验展示了性能的提高。

白绍杰:本科毕业于美国卡内基梅隆大学(CMU)计算机系和应用数学系(双学士),目前是CMU机器学习系四年级博士生,导师为J.Zico Kolter教授。他的研究方向主要集中在深度时间序列模型,以及融合数学优化模型和深度学习结构,并从而构建稳定、低内存、易于分析的隐性深度学习(implicit deep learning)方法。

报告题目:

多尺度的(隐性)深度平衡模型

摘要:

尽管绝大多数深度网络都是基于一个核心的概念---神经“层”的叠加,我们提出一种只有一层、但是却可以代表无限层叠加的隐性深度模型(implicit-depth model):深度平衡模型(DEQ)。

这类模型有三大特征:

1)任何传统的神经网络都可以被表示成一层DEQ;

2)DEQ只定义、也只使用一个层;

3)其正向和反向传播是两个互相独立的不动点(fixed-point)优化过程。

基于这一设计,我们进一步提出了*多尺度的*深度平衡模型(multiscale DEQ,或MDEQ),并讨论MDEQ是如何同步驱动多个特征流来达到并行的特征平衡点(synchronized feature equilibria)。MDEQ的设计修正了诸如DEQ和Neural ODEs等隐性深度模型一个核心的问题:对特征结构的不充分解析;并使得我们能够在隐性深度模型上进行比以往灵活得多的训练模式,比如多任务学习,亦或是在不同性质任务上的预训练和微调。通过实验,我们发现在依然保有隐性深度模型O(1)内存消耗的优势的情况下,MDEQ拥有极高的可扩展性,可以用于极高维度的数据特征;比如,同一个MDEQ可以同时训练于ImageNet分类问题和Cityscapes的高分辨率图像分割问题,并且在表现上媲美最先进的传统深度网络。

直播结束后我们会邀请讲者在微信群中与大家答疑交流,请添加“AI TIME小助手(微信号:AITIME_HY)”,回复“nips”,将拉您进“NeurIPS 2020 交流群”!

AI TIME微信小助手

主       办:AI TIME 、AMiner

联合支持:智源社区

合作伙伴:智谱·AI、中国工程院知领直播、学堂在线、CSDN、学术头条、biendata、大数据文摘、数据派、 Ever链动、机器学习算法与自然语言处理

AMiner是学术搜索和社会网络挖掘研究的重要数据和实验平台,由清华大学计算机系研发,拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线,吸引了全球220个国家/地区1000多万独立IP访问,数据下载量230万次,年度访问量超过1100万。        

1)AMiner平台:https://www.aminer.cn

2)会议专题页面:https://www.aminer.cn/conf/emnlp2020

清华情怀·AITIME基地

1911主题餐厅

AI TIME期待与你线下相聚!

AI TIME欢迎AI领域学者投稿,期待大家剖析学科历史发展和前沿技术。针对热门话题,我们将邀请专家一起论道。同时,我们也长期招募优质的撰稿人,顶级的平台需要顶级的你!

请将简历等信息发至yun.he@aminer.cn!

微信联系:AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展,并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索,加强思想碰撞,打造一个知识分享的聚集地。

更多资讯请扫码关注

 

这篇关于直播预告: NeurlPS 2020 专场三| AI TIME PhD的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/834889

相关文章

MyBatis Plus 中 update_time 字段自动填充失效的原因分析及解决方案(最新整理)

《MyBatisPlus中update_time字段自动填充失效的原因分析及解决方案(最新整理)》在使用MyBatisPlus时,通常我们会在数据库表中设置create_time和update... 目录前言一、问题现象二、原因分析三、总结:常见原因与解决方法对照表四、推荐写法前言在使用 MyBATis

Spring AI 实现 STDIO和SSE MCP Server的过程详解

《SpringAI实现STDIO和SSEMCPServer的过程详解》STDIO方式是基于进程间通信,MCPClient和MCPServer运行在同一主机,主要用于本地集成、命令行工具等场景... 目录Spring AI 实现 STDIO和SSE MCP Server1.新建Spring Boot项目2.a

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo