美团 LongCat 开源 LongCat-Video-Avatar 1.6 音频驱动数字人视频生成模型

🚀 模型简介

我们很高兴宣布推出 LongCat-Video-Avatar 1.6，这是我们开源音频驱动数字人视频生成框架的最新升级版本。在 LongCat-Video-Avatar 1.5 的基础上，1.6 版本提升了表现自然度、唇音同步、面部与身体动作的协调性，以及长视频生成过程中的视觉一致性。同时，该版本还引入了全面的推理优化，使部署更快、更高效。

核心特性

• 🌟 更自然、更稳定的唇部动画：减少夸张或紧绷的嘴部动作、嘴唇过红以及嘴部区域的时间不稳定性。
• 🌟 稳定的长视频生成：缓解自回归视频续写过程中的误差累积，可生成超过 10 分钟的视频，同时保持视觉质量、身份一致性和时间连贯性。
• 🌟 更快的端到端推理：通过端到端流水线和模型执行优化加速视频生成，实现更高效的部署与服务。

更多细节请参阅完整的 LongCat-Video-Avatar-1.6 技术报告。

🌀 效果预览

LongCat-Video-Avatar 1.6 带来更自然的唇部动作和更具表现力的动态，同时在超过 10 分钟的视频中保持视觉质量与时间一致性。

📊 人工评测

我们将 LongCat-Video-Avatar 1.6 与前代 LongCat-Video-Avatar 1.5 以及四个商业系统 OmniHuman-2.0、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0 进行了对比。全配对人工偏好研究覆盖全部 15 组模型配对，共收集 33,051 张有效个人投票。在包含 33,051 张有效个人投票的人工偏好竞技场中，LongCat-Video-Avatar 1.6 在六个参评系统中排名第二。其 Bradley–Terry Elo 得分为 1068.1，排在 OmniHuman-2.0 之后，领先于 LongCat-Video-Avatar 1.5、HeyGen、OmniHuman-1.5 和 Kling Avatar 2.0。

💡 快速开始

克隆仓库

git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video

安装依赖

# create conda environment
conda create -n longcat-video python=3.10
conda activate longcat-video

# install torch (configure according to your CUDA version)
pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

# install flash-attn-2
pip install ninja
pip install psutil
pip install packaging
pip install flash_attn==2.7.4.post1

# install other requirements
pip install -r requirements.txt

# install longcat-video-avatar requirements
conda install -c conda-forge librosa
conda install -c conda-forge ffmpeg
pip install -r requirements_avatar.txt

模型配置中默认启用 FlashAttention-2；你也可以修改模型配置，改用 FlashAttention-3 或 xformers。

⛽️ 模型下载

使用 huggingface-cli 下载模型：

pip install "huggingface_hub[cli]"
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video
huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.6 --local-dir ./weights/LongCat-Video-Avatar-1.6

🔑 快速推理

使用提示

1. 检查点组成与 LoRA 混合

   LongCat-Video-Avatar 1.6 采用与 LongCat-Video-Avatar 1.5 相同的基础架构，并包含两个任务专用的 LoRA 适配器：

   • loraA/lora.safetensors：DMD LoRA。
   • loraB/lora.safetensors：OPSD LoRA。

   检查点包还提供了 base_model_int8，这是一个可选的仅权重量化 INT8 DiT，可通过 --use_int8 启用。

   使用 --mix_steps=N 时，前 N 个去噪步骤使用 mix_alpha * DMD + (1 - mix_alpha) * OPSD，其余 8 - N 个步骤仅使用 OPSD。增大 --mix_steps 或 --mix_alpha 会让 DMD LoRA 在早期去噪步骤中发挥更大作用，这可能提升结构稳定性并减少视觉失真。

   在默认设置下，--mix_steps=4 --mix_alpha=1.0，前四个去噪步骤仅使用 DMD，其余四个步骤仅使用 OPSD。

2. FP8 依赖与 INT8 互斥

   启用 --use_fp8 之前，请先安装支持 PyTorch 和 CUDA 的 Transformer Engine。不要同时使用 --use_fp8 和 --use_int8，一次只启用一种量化模式。如果优先考虑输出质量，可以减少使用 FP8 的层数。

3. 编译预热

   启用 --compile_dit 和 --compile_vae 后，前几次推理会包含图追踪和编译开销，因此可能较慢。之后使用相同输入形状运行时，会复用已编译的图，速度明显更快。新的输入形状可能触发重新编译。

4. FlashAttention 3

   对于 H20、H100、H200、H800 等 Hopper GPU，请安装并启用 FlashAttention 3。相比 FA2，FA3 能显著提升推理速度。请确认模型配置中包含：

   {
     "enable_flashattn3": true,
     "enable_flashattn2": false
   }
   

5. 多 GPU 通信

   在超过两块 GPU 上运行时，启用优化后的 All-to-All 工作区，以降低上下文并行通信开销：

   export LONGCAT_A2A_WORKSPACE=1
   

   将 --nproc_per_node 和 --context_parallel_size 设为用于推理的 GPU 数量。

单人动画

# Speech-Text-to-Video
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --stage_1=at2v --input_json=assets/avatar/single_example_1.json --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

# Speech-Image-to-Video
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --stage_1=ai2v --input_json=assets/avatar/single_example_1.json --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

# Speech-Text-to-Video and Video-Continuation
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --stage_1=at2v --input_json=assets/avatar/single_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=0 --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

# Speech-Image-to-Video and Video-Continuation
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --stage_1=ai2v --input_json=assets/avatar/single_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=0 --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

多人动画

# Speech-Image-to-Video
torchrun --nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --input_json=assets/avatar/multi_example_1.json --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

# Speech-Image-to-Video and Video-Continuation
torchrun --nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.6 --input_json=assets/avatar/multi_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=0 --use_distill --lora_path loraB/lora.safetensors --model_type avatar-v1.6 --mix_steps=4 --mix_alpha=1.0

⚖️ 许可协议

模型权重以 MIT 许可证发布。

除非另有说明，对本仓库的任何贡献均按 MIT 许可证授权。该许可证不授予使用美团商标或专利的任何权利。

完整许可证文本请参见 LICENSE 文件。

🧠 使用注意事项

本模型并未针对所有可能的下游应用进行专门设计或全面评估。

开发者应考虑到大语言模型的已知局限，包括在不同语言上的性能差异，并在敏感或高风险场景中部署模型前，仔细评估准确性、安全性和公平性。 开发者及下游用户有责任了解并遵守与其使用场景相关的所有适用法律法规，包括但不限于数据保护、隐私和内容安全要求。

本模型卡中的任何内容均不应被解释为改变或限制模型发布所依据的 MIT 许可证条款。

📖 引用

如果您觉得我们的工作有用，欢迎引用。

@misc{meituanlongcatteam2026longcatvideoavatar16technicalreport,
      title={LongCat-Video-Avatar 1.6 Technical Report}, 
      author={Meituan LongCat Team},
      year={2026},
      eprint={},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={}, 
}

🙏 致谢

感谢 Wan、UMT5-XXL、Diffusers 和 HuggingFace 仓库的贡献者所做的开放研究。

📞 联系我们

如有任何问题，请通过 longcat-team@meituan.com 联系我们，或加入我们的微信群。