Talk | KDD‘23 Best Paper 港中文孙相国：All in One - 提示学习在图神经网络中的探索

本期为TechBeat人工智能社区第532期线上Talk！

北京时间9月20日(周三)20:00，香港中文大学博后研究员—孙相国的Talk已准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “提示学习在图神经网络中的探索”，他分享了提示学习基本概念，并介绍了他的团队提出的图模型多任务提示方法。

Talk·信息

▼

主题：提示学习在图神经网络中的探索

嘉宾：香港中文大学博后研究员  孙相国

时间：北京时间 9月20日(周三)20:00

地点：TechBeat人工智能社区

点击下方链接，即可观看视频！

TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。https://www.techbeat.net/talk-info?id=810

Talk·介绍

▼

近期，“预训练和微调”已经成为许多图任务的标准工作流程，因为它可以利用通用图知识来缓解每个应用程序中图注释的缺失。然而，涉及节点级别、边级别和图级别的图任务千差万别，导致预训练的假设往往与这些多样的任务不兼容。这种差距甚至可能导致对特定应用程序的“负迁移”，从而导致结果不佳。

受自然语言处理（NLP）中提示学习的启发，该方法在利用先前知识处理各种NLP任务方面表现出显著的有效性，我们研究了在图领域填补预训练模型和各种图任务之间差距的提示主题。我们提出了一种新颖的图模型多任务提示方法。

具体来说，我们首先通过提示标记、标记结构和插入模式统一了图提示和语言提示的格式。通过这种方式，NLP中的提示思想可以无缝地引入到图领域。然后，为了进一步缩小各种图任务与最先进的预训练策略之间的差距，我们进一步研究了各种图应用程序的任务空间，并将下游问题重新定义为图级任务。随后，我们引入元学习(meta learning)来高效地学习图的多任务提示的更好初始化，以使我们的提示框架在不同任务之间更加可靠和通用。我们进行了大量实验证明了我们方法的优越性。

Talk大纲

1.自然语言大模型的预训练和图预训练

2.提示学习基本概念

3.图提示学习

4.评价与实验

Talk·预习资料

▼

论文链接：

https://arxiv.org/pdf/2307.01504.pdf

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

孙相国

香港中文大学博后研究员

孙相国博士现任香港中文大学博后研究员。他被中国人工智能学会（CAAI）评选为2023年度“社会计算青年学者新星”。他于2022年获得东南大学计算机博士学位，其博士学位论文获得东南大学优秀博士论文称号。在此之前，他先后在微软亚洲研究院、杭州之江实验室等科研单位进行访问研究。于2019年至2021年赴澳大利亚昆士兰大学数据科学中心进行为期两年的联合博士培养。他广泛结合心理学、社会学，和计算机科学，完成了很多新颖的在线社交网络交叉学科研究工作，包括社交网络行为分析、网络异常检测、图学习等等。他在国际顶尖数据挖掘类会议和期刊如SIGKDD、TKDE、VLDB、TNNLS、TOIS、The Web Conference、WSDM、CIKM等发表高水平论文20余篇。其中CORE A*论文11篇，CCF A类会议或期刊论文9篇，SCI期刊论文13篇（包括6篇IEEE Trans系列顶尖期刊论文）。其中在KDD23发表的工作获得KDD23最佳研究论文奖，这也是自KDD创立以来，中国大陆和港澳地区首次获得该项荣誉。他同时担任多个国际顶尖会议期刊的审稿人或PC member（SIGKDD, NeurIPS, TheWebConf, SIGIR, ICDE, VLDB, TNNLS, etc）。

个人主页: 

https://www.techbeat.net/grzytrkj?id=34356

关于TechBeat人工智能社区

▼

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区