KAN2.0来了:符号+连接双驱动下的AI4S

2024-08-22 14:20
文章标签 连接 驱动 符号 ai4s kan2.0

本文主要是介绍KAN2.0来了:符号+连接双驱动下的AI4S,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

看吧~在经历了今年4月末KAN发布之初带给业界的惊艳,再到学术与产业间的各种争鸣甚至最后演变成了某种学术诚信上的“诋毁”,“KAN”团队仍保持初心,终迎来了KAN 2.0。

b5f42cb898894cf78911362496b74749.jpg

记得当初自己在某号/某乎/某薯上也发表或记录或解答了关于KAN的一些观点、想法和问题,并与一作小帅哥也产生了些许互动和碰撞,但着实也遇到一些不是很纯粹的“comment”..呃.我呢也都该怼怼过..但有的怼有收获,有的怼就是一种无意义的消耗和浪费了~喜欢看热闹的伙伴也可以访问之前历史笔记或文章,也许会有意外发现哈哈~

2e4dd56671ef41e684736e004c8b2854.jpg

在粗读了这篇KAN 2.0之后,整体感觉相比1.0在所谓的符号化层面的“精雕”上更近了一步,在将符号化与神经网络的链接上也更多元和巧妙~

6548e059470c47dfbcd29d73aab5780b.jpg

包括在“AI4S”上以「好奇心驱动的科学」的洞察视角上尝试将符号化本身进一步的拆解、表征甚至是“符号化”(读起来有点绕..),然后再与KAN网络优雅的集成起来。如文中作者探讨了三种将领域知识整合到KAN中的归纳偏置,从最粗略(最简单/相关性)到最精细(最困难/因果关系):重要特征、模块化结构和符号公式。

同时,本篇论文KAN 2.0在原始KAN 1.0网络的基础上,引入了一种称为MultKAN的新模型,其核心改进是引入额外的乘法层进行增强,侧面的将Kolmogorov-Arnold表示定理提出的“任何连续高维函数都可以分解为单变量连续函数和加法的有限组合“扩展到了在科学和日常生活中的普遍存在的“乘法”上,更清楚地揭示了数据中的乘法结构,以期增强可解释性和表达能力。(当然这背后一定包含了更进一步的理论证明)

除此之外,文中除了进行原理层面的说明,论文还讲解了多个AI4S具体案例,如何将KAN融入到现实的科学研究中,比如发现新的物理概念和定律。包括:守恒量、拉格朗日量、隐藏对称性和本构方程等…

ac8062a2088d4383b6753ad3bdfdde28.jpg

鉴于这篇文章包含的信息量和数学理论背景较复杂,且仅通过一篇笔记和记录就草草了事也是不能够的,后续将分几篇来分别给大家带来分析和观点分享,望大家持续关注~

最后再说一下回归第一性原理的自总结:KAN采用了一种巧妙而优雅的方法将抽象的符号化表征思想带入到神经网络中,从而实现了符号主义与连接主义的某种平衡~ 

不同于以往MLP的简单粗暴,甚至与火极一时并在AIGC大行其道的《The bitter lesson》或「scaling law」在思想上大相径庭。

 

这篇关于KAN2.0来了:符号+连接双驱动下的AI4S的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096517

相关文章

java连接opcua的常见问题及解决方法

《java连接opcua的常见问题及解决方法》本文将使用EclipseMilo作为示例库,演示如何在Java中使用匿名、用户名密码以及证书加密三种方式连接到OPCUA服务器,若需要使用其他SDK,原理... 目录一、前言二、准备工作三、匿名方式连接3.1 匿名方式简介3.2 示例代码四、用户名密码方式连接4

MySQL 表的内外连接案例详解

《MySQL表的内外连接案例详解》本文给大家介绍MySQL表的内外连接,结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录表的内外连接(重点)内连接外连接表的内外连接(重点)内连接内连接实际上就是利用where子句对两种表形成的笛卡儿积进行筛选,我

Apache 高级配置实战之从连接保持到日志分析的完整指南

《Apache高级配置实战之从连接保持到日志分析的完整指南》本文带你从连接保持优化开始,一路走到访问控制和日志管理,最后用AWStats来分析网站数据,对Apache配置日志分析相关知识感兴趣的朋友... 目录Apache 高级配置实战:从连接保持到日志分析的完整指南前言 一、Apache 连接保持 - 性

电脑蓝牙连不上怎么办? 5 招教你轻松修复Mac蓝牙连接问题的技巧

《电脑蓝牙连不上怎么办?5招教你轻松修复Mac蓝牙连接问题的技巧》蓝牙连接问题是一些Mac用户经常遇到的常见问题之一,在本文章中,我们将提供一些有用的提示和技巧,帮助您解决可能出现的蓝牙连接问... 蓝牙作为一种流行的无线技术,已经成为我们连接各种设备的重要工具。在 MAC 上,你可以根据自己的需求,轻松地

宝塔安装的MySQL无法连接的情况及解决方案

《宝塔安装的MySQL无法连接的情况及解决方案》宝塔面板是一款流行的服务器管理工具,其中集成的MySQL数据库有时会出现连接问题,本文详细介绍两种最常见的MySQL连接错误:“1130-Hostisn... 目录一、错误 1130:Host ‘xxx.xxx.xxx.xxx’ is not allowed

如何在Ubuntu上安装NVIDIA显卡驱动? Ubuntu安装英伟达显卡驱动教程

《如何在Ubuntu上安装NVIDIA显卡驱动?Ubuntu安装英伟达显卡驱动教程》Windows系统不同,Linux系统通常不会自动安装专有显卡驱动,今天我们就来看看Ubuntu系统安装英伟达显卡... 对于使用NVIDIA显卡的Ubuntu用户来说,正确安装显卡驱动是获得最佳图形性能的关键。与Windo

嵌入式Linux之使用设备树驱动GPIO的实现方式

《嵌入式Linux之使用设备树驱动GPIO的实现方式》:本文主要介绍嵌入式Linux之使用设备树驱动GPIO的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录一、设备树配置1.1 添加 pinctrl 节点1.2 添加 LED 设备节点二、编写驱动程序2.1

嵌入式Linux驱动中的异步通知机制详解

《嵌入式Linux驱动中的异步通知机制详解》:本文主要介绍嵌入式Linux驱动中的异步通知机制,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言一、异步通知的核心概念1. 什么是异步通知2. 异步通知的关键组件二、异步通知的实现原理三、代码示例分析1. 设备结构

MySQL 多表连接操作方法(INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL OUTER JOIN)

《MySQL多表连接操作方法(INNERJOIN、LEFTJOIN、RIGHTJOIN、FULLOUTERJOIN)》多表连接是一种将两个或多个表中的数据组合在一起的SQL操作,通过连接,... 目录一、 什么是多表连接?二、 mysql 支持的连接类型三、 多表连接的语法四、实战示例 数据准备五、连接的性

MySQL中的分组和多表连接详解

《MySQL中的分组和多表连接详解》:本文主要介绍MySQL中的分组和多表连接的相关操作,本文通过实例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录mysql中的分组和多表连接一、MySQL的分组(group javascriptby )二、多表连接(表连接会产生大量的数据垃圾)MySQL中的