发布日期:2024-12-08 12:14    点击次数:88

抢跑Sora!腾讯视频大模子初体验:功能多,但不彊

2024年2月15日,OpenAI认真对外公布文生视频大模子Sora,引得寰球网友高呼“AI解构信得过寰球的时候到了”。可是大致10个月期间曩昔,Sora依然只存在于PPT上,反而是亚马逊云科技抢先OpenAI发布了Nova Reel文生视频大模子,谷歌则面向企业用户绽放了AI视频模子Veo。

外洋互联网巨头忙于开荒和布局AI生成视频的同期,国内互联网巨头们也莫得闲着,早前快手旗下的AI团队就打造出了视频生成大模子可灵,随后清华大学与北京数生科技联手打造了视频生成大模子Vidu,日前腾讯公司的AI团队也推出了混元文生视频大模子,并在腾讯元宝App上线。

算作国内驰名度、市值最高的互联网公司,腾讯在游戏、即时通讯、移动支付等领域申明解析。曩昔常有东说念主质疑腾讯的时期研发才略,如今腾讯与亚马逊云科技、谷歌等外洋互联网巨头同期拿出了视频生成大模子,诠释了我方的研发才略涓滴不弱。

不外,体验才是判断时期实力的最终范例,腾讯视频生成大模子究竟好不好用,体验过才知说念。

混元视频模子初体验:功能多而不彊

腾讯混元大模子参数目为130亿,是面前参数目最大的开源视频生成类大模子,公测期间用户每天可以获取4次范例和2次高品性视频生成契机,视频生成长度为5秒。

单纯看功能,腾讯混元文生视频大模子比小雷之前使用过的同类家具都粗心易用,提供了丰富的视频类型成立,举例比例、作风、景别、明朗、镜头畅通、流通运镜、丰富动作、导演方式等。可是,确切到使用阶段,小雷的体验却说来话长。

(图源:腾讯元宝App截图)

刚启动小雷并莫得给大模子上难度,以态状语“夕阳西下,仙女坐在靠窗的书桌前,目光不住地进取飘,嘴角微微上扬,似乎念念起了什么值得情愿的事”生成一段视频,收尾如下图。

(图源:腾讯混元大模子生成)

腾讯混元大模子生成的视频画面可以,充足以伪乱真,仅仅与小雷脑补的画面有昭彰诀别,白东说念主女孩也有点“出戏”,况兼书桌、窗户等细节并莫得弘扬出来,举座令小雷有点失望。按理说,掌执了国内头部短视频平台视频号的腾讯,领有充足的视频数据可用于磨练大数据,收尾这个视频给我的嗅觉却是基于国外数据磨练。

随后,小雷又以“晴朗的天外,忽然乌云密布,继而蓦地下起了暴雨,路上的行东说念主有的慌忙跑到房檐下避雨,有的把挎包顶在头上一王人决骤”为态状语生成了一段视频。

(图源:腾讯混元大模子生成)

这段视频不细看还能经受,但若仔细看就会发现视频存在昭彰的裂缝,如部分东说念主物步调有些综合,不像走在大地上,右侧有个红色的包“漂”了曩昔,可能是AI未能告捷生成提包的东说念主。至于天气变化未能体现、莫得感受到不才雨等问题,小雷已无力吐槽。

临了一轮测试,小雷遴荐了中景+拉近镜头,并以“宁静的海滩,朔月高悬在天外,微风吹动着海边的椰子树,发出哗拉拉的声息,一只小猫咪慵懒地躺在沙滩上,舔舐着前腿上的毛发”为态状语生成了一段视频。

(图源:腾讯混元大模子生成)

这个场景相对较为粗心,莫得昭彰的景物变化,就东说念主类的脑补才略来说,比上一个要容易。可是这则视频却显现了腾讯混元大模子的问题,我明明成立了拉近镜头,可视频莫得弘扬出镜头的动态变化。小雷提到的椰子树、猫咪舔舐毛发等物体和动作,也莫得体现出来。这段视频月亮和波浪细节可以,猫咪也很信得过,但终究不是我念念要的收尾。

为考据大模子的一致性问题,小雷用该段态状语和镜头成立再次生成了一段视频。与上一段视频比较,猫咪有了舔舐毛发的动作,椰子树也出当今画面中,可月亮因太大产生了无理感,猫咪动的时候,沙子长期莫得变化也属于裂缝。

(图源:腾讯混元大模子生成)

小雷翻看了腾讯混元大模子给出的表率,大多数是使用多半关节字态状,而非如小雷给出的天然讲话,后者难度昭彰更高。从本色弘扬来看,腾讯混元大模子照旧可以相接东说念主类天然讲话,并把柄态状的画面生成视频,合并段话两次生成的收尾也较为接近,仅仅细节方面有待普及。

天然,腾讯混元大模子究竟达到了什么水平,如故要对比事后能力知说念。因此,小雷使用Vidu和可灵两款大模子把柄第三段态状语别离生成了一段视频。需要谨防的是,这两款视频生成大模子固然未提供镜头终了功能成立,但可以在态状语后加入中景、拉近镜头等词语加以调控。

Vidu生成的视频将小雷态状中的风吹动椰子树、舔舐毛发、镜头拉近都完好意思展现,与小雷脑补的画面较为接近。好意思中不及的是,这段视频中的月亮过于亮堂,搭配蔚蓝的举座色彩,更像早上太阳初升的期间,沙滩则过于平整,莫得任何沙子的嗅觉。

(图源:Vidu生成)

可灵生成的视频在小雷看来是这几个视频中最合适预期的,波浪、风吹动椰子树、舔舐毛发等细节都有,还加入了虚化和镜头拉近成果,影子的细腻变化更是惊喜。问题在于该视频依然存在细节方面的问题,莫得弘扬出朔月,更像是白昼。

(图源:可灵生成)

另外两段态状语,小雷也用Vidu和可灵进行了测试,限于篇幅问题,不再逐个展示。一言以蔽之,现阶段视频生成类大模子均已具备相接天然讲话的才略,但面临较为复杂的场景,依然会存在诸多裂缝,而在相对粗心的场景下,Vidu、可灵等“老牌”视频生成模子的弘扬略好,细节裂缝少一些,腾讯混元大模子仍有较大逾越空间。

混元视频大模子改日可期,但要腾讯充足疼爱

从0到1的难度,可能比从1到2高得多,摸着石头过河的混元大模子在易用性、功能性方面更胜一筹,但AI大模子不同于其他行业,不但需要前东说念主引路,还需要时期积攒、算力鸿沟、磨练数据。

领有腾讯算作后援,混元大模子不缺财力,可算力需要多半GPU和AI诡计卡,更何况面前AI公司都在争夺GPU和AI诡计卡的产能,哪怕腾讯不缺钱,也需要期间堆算力、方法员优化算法、多半数据用于磨练。Vidu和可灵已升级至1.5版块,除了文生视频,还复古图片生成视频,刚出生不久的混元文生视频大模子略显稚嫩,生成的视频质地有一定的差距。

(图源:mockup套壳)

好在,混元大模子背后毕竟是国内互联网行业霸主腾讯,在腾讯时期团队和资金的复古下,确信混元大模子能够以极快的速率成长。

从腾讯、亚马逊云科技、谷歌等企业的弘扬来看,2025年会是寰球视频生成大模子爆发的一年,AI生成视频的长度也将从数秒普及至分钟级,如亚马逊云科技的Nova Reel行将复古生成长达2分钟的视频。

与AI生成图文比较,生成视频能力透顶安适念念象力,将咱们大脑中的念念法和脑补的画面滚动成践诺。还有无数的齐集演义作者,但愿能够通过AI将演义滚动成动画或真东说念主视频。一朝AI生成视频时期闇练,寰球娱乐产业将遇到前所未有的变局。

视频生成大模子正井喷式显露,2025年或将成为“视频生成大模子元年”,亦然决定联系企业成败的关节一年。从可灵、Vidu到腾讯混元大模子,国内企业已实时入场,把执到了新期间的机遇。能否在新期间引颈寰球视频生成大模子行业,八成很快就能见分晓。

举报/响应

  
友情链接:

Powered by 贵州爽慧裕百货商行(个人独资) @2013-2022 RSS地图 HTML地图

Copyright Powered by365建站 © 2013-2024

ICP备案号:黔ICP备2024031836号-1