Posted in

AI视频生成:不是Veo用不起,FramePack更有性价比

伴随着谷歌 Veo的惊艳发布,AI视频生态持续繁荣,但高水平的AI视频效果对硬件性能(尤其是显存)要求非常高,低配或普通机型常常面临配置不够、启动慢、生成卡顿等痛点,影响了普通用户对生成AI视频的深度体验。

但是Appmall今天为大家介绍的这款AI视频生成应用FramePack,却首次通过技术的升级,让普通设备、普通人、高性价比玩转AI高质量视频成为可能,1句话+1张图,就能自动生成一段5秒高一致性的视频。一起来看看吧:

FramePack是何方神圣?

FramePack由AI绘画应用Omost的发布者张吕敏(Lvmin Zhang)与来自斯坦福大学的Maneesh Agrawala合作推出,其核心优势在于利用多阶段优化技术,有效降低了本地运行AI视频生成任务对硬件的要求。

基于 FramePack 架构构建的一个 130 亿参数模型,仅需 6GB 显存,即可生成长达 60 秒的视频片段。相比之下,传统生成对显存的需求通常需要12GB甚至以上。

在哪里可以使用FramePack?

FramePack现已上线appmall.ai,无需复杂部署,登录后点击安装、即可在线使用,按分钟计费,停用不扣费,价格低至2.3元/小时。

同时,appmall.ai还有40+款AI绘图、AI视频、AI语音、AI对话等全球潮流应用,一次注册即可一站式灵活切换试用,用户友好、高性价比、不挑机型。

FramePack的生成效果如何?

整体看,FramePack的实际功能顾名思义,在用户提供1段提示词(英文)+1张参考图之后,会首先按照要求生成不同动作的关键帧框架(frame),然后再把这些关键帧打包(pack)拼接成视频。

最终,能让图片的角色动起来,动作和镜头还算连贯自然,由于片段的时长较短(5s以内),最适合短剧、片段生成、视频草图等内容创作场景,还可以脑洞大开,用它来做gif图和表情包。

(1)上传提示词+参考图

与很多其他的AI视频生成应用不同,FramePack界面非常简单,基本可以分为3大部分:提示区、调试区、结果区。

如果对结果没有特殊精细的要求,我们可以先跳过【调试区】,直接使用默认参数即可。

【提示区】用来上传提示词+参考图,提示词必须是英文的,同时这里的参考图,并不像其他AI应用那样做风格的参考,而是基本等于最终视频的样子,所以需要精准选择。

最好的方式,就是参考图先使用AI进行绘制,然后把绘图时的提示词略作修改,放到FramePack里,这样可以最大程度最终视频和用户预期的一致性。

(2)关键帧自动生成+渲染

以本次使用的图片为例,图片是即梦AI绘制,提示词为:设计师(处在画面左下的位置)坐在屏幕前修改文件,向右侧着头,听着周围的4个同事正在给出的修改意见,设计师的表情平和、略带微笑,双手敲击着键盘。电脑屏幕上是一个文件的设计画面。

而投喂给FramePack的提示词是:A designer sits in front of a computer screen, modifying files with both hands tapping on the keyboard. Around him, colleagues are chatting animatedly, offering various modification suggestions. The designer wears a calm expression with a faint smile on his face, attentively listening to the opinions while focusing on his work. The scene is filled with a busy yet collaborative atmosphere, reflecting the harmonious interaction and efficient cooperation in the design team.基本保持了一致性。

可以看到,FramePack根据提示,会在【结果区】先自动划分出25个不同的关键帧,再通过算法把这些关键帧进行打包和合成,经过几分钟的等待,关键帧消失、视频出现,视频效果水准还是不错的。

(3)高阶使用:精细参数调整

对视频质量有更高要求的用户,则可以充分挖掘【调试区】的参数,为最终视频质量进行优化和提升。

  • Use TeaCache 使用缓存

作用:启用后借助缓存加速视频生成等流程,但可能如上方提示:更快速度,但通常会让手部等细节比较糟糕。

给大家看我们使用另一张图生成视频之后的手部幻觉,可能对此理解会更清晰。先看下上传的参考图:

再看看生成后的视频效果,可以看到,其他细节都还原的还可以,但是几乎所有的手,在运动时都或多或少有一些问题。

  • Seed随机种子

功能:31337是具体种子数值,种子用于固定 AI 生成内容的 “随机初始状态”,相同种子在相同参数下,能生成一致内容,便于复现结果。

  • Total Video Length视频总时长(秒)

功能:通过滑块或输入框(当前设为5秒),设置要生成视频的时长,范围1 – 120秒,决定视频时间维度的长度。但是目前实测,FramePack生成短视频的体验更好。

  • Steps生成步数

默认范围为25,步数影响生成质量和速度,越高理论质量越好、速度越慢,虽然范围是1-100,但是官方不建议更改此值。默认推荐值一般是经过多次调试,改动可能出问题。

  • Distilled CFG Scale蒸馏式分类器自由引导尺度

Distilled CFG,是AI生成中控制生成内容与提示词关联度的参数,当前设为10,范围1 – 32。数值越高,生成内容越贴合提示词,但可能损失创意性,默认值通常是平衡后结果,所以这一项也不建议更改。

  • GPU Inference Preserved Memory GPU 推理保留内存

用于分配 GPU 内存,平衡生成时的内存占用和速度。若遇到内存不足(OOM,Out Of Memory)错误,设更大值;但值越大速度越慢 ,当前设为6,范围6 – 128 。

  • MP4 Compression MP4 压缩

控制最终生成 MP4 视频的压缩程度,影响画质和文件大小。值越低质量越好,0为无压缩;若输出黑屏,改为16 ,当前设为16,范围0-100 。

怎么样,是不是非常简单易用呢?正因如此,FramePack的出现让全行业对AI视频普惠都非常兴奋,甚至被视为可能彻底改变视频内容制作和消费方式。现在快来appmall.ai体验吧!