从 Sora 制作的短片看AI生成视频的优势与局限性解析

2024-04-29 06:04

本文主要是介绍从 Sora 制作的短片看AI生成视频的优势与局限性解析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

在人工智能社区中,OpenAI 的视频生成工具 Sora 以其流畅、逼真的视频效果让人眼前一亮,仿佛领先于竞争对手好几条街。然而,在 Sora 精心策划的首次亮相中,许多细节并未透露,而这些细节则是由一位获得早期使用权限的电影制作人在创建短片“air head”过程中所填补的。

多伦多的数字制作团队 Shy Kids 被 OpenAI 选中,成为为 OpenAI 宣传目的制作短片的几个团队之一。尽管他们在创作过程中拥有相当大的自由度,但在与视觉效果新闻网站 fxguide 的一次采访中,后期制作艺术家 Patrick Cederberg 描述了他“实际使用 Sora” 的经历。

也许对大多数人来说,最重要的一点是:虽然 OpenAI 的帖子让人们以为这些短片几乎是 Sora 完全生成的,但实际上这些都是专业制作的,包括详尽的分镜头脚本、编辑、色彩校正和后期工作,如转描和视觉特效。就像苹果公司说的“用 iPhone 拍摄”,但并未展示摄影棚设置、专业照明和事后的色彩处理一样,Sora 的帖子只是讨论了它能让人们做什么,而不是他们实际如何做到的。

Cederberg 在采访中提供了一些关于使用 Sora 的有趣细节,显示出尽管 Sora 令人印象深刻,但它可能并不像我们想象的那样是一个巨大的飞跃。

控制仍然是目前最令人向往同时也最难以捉摸的东西。他们能做的最接近的事情是在提示中非常详细地描述。例如,解释角色的衣服以及气球的类型,是他们解决连贯性问题的方法,因为从一镜到下一镜、从一次生成到下一次生成,还没有一套完整的控制连贯性的功能。

换句话说,在传统电影制作中很简单的事情,如选择一个角色的衣服颜色,在生成系统中需要复杂的变通方法和检查,因为每个镜头都是独立创建的。这显然可以改变,但目前显然要费力得多。

使用 Sora 生成的输出也必须小心不想要的元素:Cederberg 描述了如何模型会常规生成主角气球头上的脸,或者前面挂着的绳子。如果他们无法通过提示排除这些元素,这些就必须在后期删除,这是另一个耗时的过程。

角色或摄像机的精确时机和动作实际上是不可能的:“在实际生成中,这些不同动作发生的时间有一点时间控制,但不是精确的……这更像是摸黑。” Cederberg 说。

例如,像挥手这样的手势的定时是一个非常大致的、建议驱动的过程,不像手动动画那样。并且向上扫过角色身体的镜头可能不会反映出电影制作者想要的效果——因此,在这种情况下,团队渲染了一个竖向构图的镜头,并在后期进行了剪辑移动。生成的剪辑也常常无缘无故地慢动作。

实际上,使用电影制作的日常语言,如“向右平移”或“跟踪镜头”总是不一致的,这让团队感到相当惊讶。Cederberg 说:“在接触艺术家使用这个工具之前,研究人员并没有真正像电影制作者那样思考。”结果,团队进行了数百次生成,每次10到20秒,最终只使用了少数几次。Cederberg 估计比例是300:1——但当然,我们可能都会对普通拍摄的比例感到惊讶。

团队实际上还制作了一个介绍他们遇到的一些问题的幕后视频,如果你感兴趣的话。像许多与 AI 相关的内容一样,评论中对整个企创业格调相当批评——尽管没有我们最近看到的那个 AI 辅助广告那样尖刻。

最后一个有趣的细节涉及版权:如果你要求 Sora 给你一个“星球大战”剪辑,它会拒绝。如果你试图用“穿着长袍的人在复古未来主义飞船上挥舞激光剑”的方式绕过它,它也会拒绑,因为通过某种机制,它识别出你的企图。它也拒绝进行“Aronofsky 风格的镜头”或“希区柯克变焦”。

一方面,这很有道理。但这也引发了一个问题:如果 Sora 知道这些是什么,是否意味着模型在训练时使用了那些内容,以更好地识别这是侵权行为?OpenAI 保留其训练数据的细节,到了几乎荒谬的程度——正如 CTO Mira Murati 在与 Joanna Stern 的采访中所表现的那样——他们几乎肯定永远不会告诉我们。

至于 Sora 及其在电影制作中的用途,它显然是一个强大而有用的工具,但其位置并不是“完全创造电影”。至少现在不是。就像另一个恶棍曾经名言:“那会在以后。”

这篇关于从 Sora 制作的短片看AI生成视频的优势与局限性解析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/945276

相关文章

深度解析Spring Security 中的 SecurityFilterChain核心功能

《深度解析SpringSecurity中的SecurityFilterChain核心功能》SecurityFilterChain通过组件化配置、类型安全路径匹配、多链协同三大特性,重构了Spri... 目录Spring Security 中的SecurityFilterChain深度解析一、Security

全面解析Golang 中的 Gorilla CORS 中间件正确用法

《全面解析Golang中的GorillaCORS中间件正确用法》Golang中使用gorilla/mux路由器配合rs/cors中间件库可以优雅地解决这个问题,然而,很多人刚开始使用时会遇到配... 目录如何让 golang 中的 Gorilla CORS 中间件正确工作一、基础依赖二、错误用法(很多人一开

Mysql中设计数据表的过程解析

《Mysql中设计数据表的过程解析》数据库约束通过NOTNULL、UNIQUE、DEFAULT、主键和外键等规则保障数据完整性,自动校验数据,减少人工错误,提升数据一致性和业务逻辑严谨性,本文介绍My... 目录1.引言2.NOT NULL——制定某列不可以存储NULL值2.UNIQUE——保证某一列的每一

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

MySQL CTE (Common Table Expressions)示例全解析

《MySQLCTE(CommonTableExpressions)示例全解析》MySQL8.0引入CTE,支持递归查询,可创建临时命名结果集,提升复杂查询的可读性与维护性,适用于层次结构数据处... 目录基本语法CTE 主要特点非递归 CTE简单 CTE 示例多 CTE 示例递归 CTE基本递归 CTE 结

Spring AI使用tool Calling和MCP的示例详解

《SpringAI使用toolCalling和MCP的示例详解》SpringAI1.0.0.M6引入ToolCalling与MCP协议,提升AI与工具交互的扩展性与标准化,支持信息检索、行动执行等... 目录深入探索 Spring AI聊天接口示例Function CallingMCPSTDIOSSE结束语

Spring Boot 3.x 中 WebClient 示例详解析

《SpringBoot3.x中WebClient示例详解析》SpringBoot3.x中WebClient是响应式HTTP客户端,替代RestTemplate,支持异步非阻塞请求,涵盖GET... 目录Spring Boot 3.x 中 WebClient 全面详解及示例1. WebClient 简介2.

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课?二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速

Spring Boot3.0新特性全面解析与应用实战

《SpringBoot3.0新特性全面解析与应用实战》SpringBoot3.0作为Spring生态系统的一个重要里程碑,带来了众多令人兴奋的新特性和改进,本文将深入解析SpringBoot3.0的... 目录核心变化概览Java版本要求提升迁移至Jakarta EE重要新特性详解1. Native Ima