返回
精选AI 评分 73/100

vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化

vLLM 官方博客(RSS)·2026-07-15 08:00·59天前·vLLM Team
AI 导读

vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持,覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本,支持文本、图像、音频输入和最长 1M token 上下文。

vLLM 官方博客(RSS)
精选
73AI 编辑部评分,满分 100

vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化

2026-07-15 08:00· 59天前· vLLM Team
AI 导读

vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持,覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本,支持文本、图像、音频输入和最长 1M token 上下文。

推荐理由

原文给出 Day-0 支持的具体性能数字、架构优化细节和精度对比,读者可以评估该模型在自己的推理工作流中的可用性。

按该来源的展示范围,站内仅提供摘要。

前往原站阅读(在新标签页打开)

来源:vLLM 官方博客(RSS)· vllm.ai