涂鸦秒变动画,CMU 中国本科生让画动起来(附代码 Demo)

2023-12-24 15:08

本文主要是介绍涂鸦秒变动画,CMU 中国本科生让画动起来(附代码 Demo),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

公众号关注 “GitHubDaily”

设为 “星标”,每天带你逛 GitHub!

转自量子位,作者郭一璞

凡人的世界,绘画就是静态的。但在一个神秘的计算机世界,一切都不一样,不信你看。

画一个独角兽,然后轻轻一点。

独角兽就 “活了”,奔跑跳动、跃然纸上。

给它取个名,再轻轻一点 —— 拥有姓名的独角兽,就从纸面进入一个三维世界,开始不知疲倦的翻越,一座座山丘……

这个世界里,还生活着各种奇奇怪怪的生物。

比方藏在人群中扭秧歌的蜗牛。

看,长了四只脚的怪物:

在天上行走的渔夫,怕不是个仙人:

带着帽子的鬼怪绅士

连一草一木都能成精:

卡通人物也可以,你看有哆啦 A 梦:

黄皮耗子皮卡丘,这次没长毛:

还有神奇的大方脸:

这些小家伙,都是吃瓜群众们画出来的。

在这个虚拟世界里,只要寥寥几笔涂鸦,所绘之物尽成真,堪称真神笔马良。它们在同一片天地间奔跑,魑魅魍魉纠缠,宛如百鬼夜行。

这个,就是正在 CMU 就读的中国小哥 Lingdong Huang 同学创造的涂鸦世界,在这个世界里,任何人都能像神笔马良一样,随便一画,即刻成真。

不少吃瓜群众看到之后纷纷惊叹:

这特么简直是魔法

好喜欢这些涂鸦,我能连着看好几天哈哈。

简直像诗一样,都是有血有肉的形象,在一个自然随性的地方飘荡。

怎么做到的

明明是随意的涂画,竟然能自动分辨出小鬼怪们的 “胳膊” 和 “腿儿”,还能有节奏的活动,这些涂鸦是怎么 “活” 过来的?

“造物主” 黄同学用了三个步骤来完成这个世界的构建。

给涂鸦加上骨架

就像人体关键点检测一样,随手画出的涂鸦也需要关键点,确定骨骼位置,才能描绘出它的精气神。

这里,黄同学用了 OpenCV 的骨架化工具,借助 Zhang-Suen 的 C++ 代码实现。不过,这套实现遍历了图像中的所有效果,所以在 web 端实现的效果又卡又慢。

黄同学不得不重新借助 gpu.js,用 WebGL shaders 的 javascript 分支重写了代码。

重写之后要快得多了。比如我们放一张寡姐持枪的照片,它就能自动把画面的重点,寡姐的躯干和两条拿枪的胳膊就可以自动勾勒出来。

让机器看懂骨架

但是,现在问题来了,看到这样一张图,人类可以判断出来是一个人和 TA 的两条胳膊,可是机器好像不行啊。

于是,黄同学决定用 8×8 窗口扫描整个图像,找到那些有笔画的部分马克出来,作为根补丁(root patch),然后,看根补丁小方块的四个边,哪边有线就往哪边延伸,这样就能找出整个骨架,之后用中值模糊滤波器(aggressive median-blur filter)降噪。

现在,机器终于能理解你画的涂鸦的形状,和它内部的骨架结构。

让涂鸦动起来

下面就得想办法让涂鸦动起来了。

这里,黄同学确定了五大物种:哺乳动物、人、鸟、鱼、植物,根据涂鸦形象骨架,确定画出来的小怪物属于哪一类物种,然后给骨架的不同部分分配身体器官:这是头,这是胳膊,这是腿……

之后,他为不同物种设定了单独的 “走路” 姿势,比如植物应该是在一个固定的地方蹦蹦跳跳,哺乳动物和人类应该是在地上跑,鸟应该放在天上呼扇翅膀,鱼应该是在水里摆尾游动。

这样一套流程下来,涂鸦就能动起来了。

对了,涂鸦小怪物们所生活世界的 “天、地、水” 也需要定义。

黄同学用 2D 高斯函数乘以 Perlin 噪声,生成了一个类似海里的小岛的地图,中间高,周围低,最外层是水,这样,花鸟鱼虫们就能够各得其所了。

AI 搞怪爱好者

黄同学即将在明年从 CMU 毕业,此前他还是迪士尼的实习生。这位 97 年出生的少年,创造过很多神奇的项目。

比如,自动生成山水画:

还有 Emoji 小人大战:

自动书法生成器:

相当有趣的内容,大家可以戳进传送门体验。

专业 “马良” 公司已面世

涂鸦动起来,这种像神笔马良一样的功能其实已经被一家公司商业化了。

前微软人机交互专家曹翔博士创立的小小牛科技就是这样一家公司,他们用自研的 Wonder Painter 技术,可以把各种物体变成会动的角色。

比如,在绘画界面里画一个穿裙子的姑娘:

接下来,姑娘就可以直接开始热舞了:

小小牛的这项技术已经以游戏的形式,应用在了一些线上营销活动中。未来,这类技术或许还能在艺术创作、儿童教育等领域大放异彩,会大大降低艺术创造的门槛。

所以 “神笔马良”,不止是前沿技术,未来商业前景也隐隐轰鸣。

传送门

Demo 体验:
https://doodle-place.glitch.me/

差点忘了说,因为这个项目太受欢迎,有时候需要像滴滴一样排队才能进入,开头的皮卡丘和哆啦 A 梦在第二个 Demo 服务器里:
https://doodle-place-server-2.glitch.me/

原作博客:
http://golancourses.net/2019/ngdon/03/05/ngdon-drawingsoftware/

骨架化代码:
https://skeletonization-js.glitch.me/

推荐阅读:
牛逼!用文言文来编程,97 年 CMU 本科生火遍全网!
8 岁小学生 B 站教编程惊动苹果,库克亲自送生日祝福!
B站收藏 6.1w+!GitHub 标星 3.9k+!这门神课拯救了我薄弱的计算机基础
看完 GitHub 上这几个奇葩项目后,我忍不住笑了 233333
硬核! 逛了 4 年 GitHub,一口气把我收藏的 Java 开源项目分享给你!

这篇关于涂鸦秒变动画,CMU 中国本科生让画动起来(附代码 Demo)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/532195

相关文章

Python实例题之pygame开发打飞机游戏实例代码

《Python实例题之pygame开发打飞机游戏实例代码》对于python的学习者,能够写出一个飞机大战的程序代码,是不是感觉到非常的开心,:本文主要介绍Python实例题之pygame开发打飞机... 目录题目pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部

Java中Map.Entry()含义及方法使用代码

《Java中Map.Entry()含义及方法使用代码》:本文主要介绍Java中Map.Entry()含义及方法使用的相关资料,Map.Entry是Java中Map的静态内部接口,用于表示键值对,其... 目录前言 Map.Entry作用核心方法常见使用场景1. 遍历 Map 的所有键值对2. 直接修改 Ma

深入解析 Java Future 类及代码示例

《深入解析JavaFuture类及代码示例》JavaFuture是java.util.concurrent包中用于表示异步计算结果的核心接口,下面给大家介绍JavaFuture类及实例代码,感兴... 目录一、Future 类概述二、核心工作机制代码示例执行流程2. 状态机模型3. 核心方法解析行为总结:三

python获取cmd环境变量值的实现代码

《python获取cmd环境变量值的实现代码》:本文主要介绍在Python中获取命令行(cmd)环境变量的值,可以使用标准库中的os模块,需要的朋友可以参考下... 前言全局说明在执行py过程中,总要使用到系统环境变量一、说明1.1 环境:Windows 11 家庭版 24H2 26100.4061

pandas实现数据concat拼接的示例代码

《pandas实现数据concat拼接的示例代码》pandas.concat用于合并DataFrame或Series,本文主要介绍了pandas实现数据concat拼接的示例代码,具有一定的参考价值,... 目录语法示例:使用pandas.concat合并数据默认的concat:参数axis=0,join=

C#代码实现解析WTGPS和BD数据

《C#代码实现解析WTGPS和BD数据》在现代的导航与定位应用中,准确解析GPS和北斗(BD)等卫星定位数据至关重要,本文将使用C#语言实现解析WTGPS和BD数据,需要的可以了解下... 目录一、代码结构概览1. 核心解析方法2. 位置信息解析3. 经纬度转换方法4. 日期和时间戳解析5. 辅助方法二、L

Python使用Code2flow将代码转化为流程图的操作教程

《Python使用Code2flow将代码转化为流程图的操作教程》Code2flow是一款开源工具,能够将代码自动转换为流程图,该工具对于代码审查、调试和理解大型代码库非常有用,在这篇博客中,我们将深... 目录引言1nVflRA、为什么选择 Code2flow?2、安装 Code2flow3、基本功能演示

IIS 7.0 及更高版本中的 FTP 状态代码

《IIS7.0及更高版本中的FTP状态代码》本文介绍IIS7.0中的FTP状态代码,方便大家在使用iis中发现ftp的问题... 简介尝试使用 FTP 访问运行 Internet Information Services (IIS) 7.0 或更高版本的服务器上的内容时,IIS 将返回指示响应状态的数字代

MySQL 添加索引5种方式示例详解(实用sql代码)

《MySQL添加索引5种方式示例详解(实用sql代码)》在MySQL数据库中添加索引可以帮助提高查询性能,尤其是在数据量大的表中,下面给大家分享MySQL添加索引5种方式示例详解(实用sql代码),... 在mysql数据库中添加索引可以帮助提高查询性能,尤其是在数据量大的表中。索引可以在创建表时定义,也可

使用C#删除Excel表格中的重复行数据的代码详解

《使用C#删除Excel表格中的重复行数据的代码详解》重复行是指在Excel表格中完全相同的多行数据,删除这些重复行至关重要,因为它们不仅会干扰数据分析,还可能导致错误的决策和结论,所以本文给大家介绍... 目录简介使用工具C# 删除Excel工作表中的重复行语法工作原理实现代码C# 删除指定Excel单元