Multimodal SDK

昇腾多模态开发套件

✨ 最新消息

• [2026.04.25]：Multimodal SDK 26.0.0 发布
• [2025.12.30]：Multimodal SDK 开源发布

ℹ️ 简介

多模态大模型推理流程中需要处理大量复杂的数据。Multimodal SDK 通过提供一系列高性能的昇腾设备亲和性接口，加速大模型推理预处理流程，包括图像视频加载和解码、resize、crop 等预处理常用操作，并支持多种开源数据结构与加速库数据结构的相互转换，方便快速使用和移植。

⚙️ 功能介绍

类别	模块	功能简介	文档
加速库	功能函数	Tensor / Image / video_decode / load_audio 等预处理接口	功能函数参考
适配器	Adapter	Qwen2VL、InternVL2 模型预处理适配	Adapter
补丁	Patcher	vLLM 框架预处理加速补丁	patcher
API	Python 接口	数据类型枚举与接口目录	Python 接口说明

🚀 快速入门

Multimodal SDK提供了一个简单的样例，帮助用户通过 Docker 快速启动环境并完成首次体验，详见快速入门。

📦 安装指南

详细的安装部署说明请参见安装指南。

📘 使用指南

详细的开发者文档请参见Multimodal SDK 开发者文档。

🛠️ 贡献指南

欢迎参与项目贡献，请参见贡献指南。

⚖️ 相关说明

• 许可证声明（docs 文档适用 CC-BY 4.0，见 LICENSE）
• 第三方开源软件声明
• 免责声明

🤝 建议与交流

欢迎大家通过以下方式提出问题、交流讨论。

资源	说明
FAQ	常见问题解答与使用答疑
创建Issue	提交 Bug、需求或建议
社区任务	查看和认领社区任务
会议日历	社区定期例会与活动日程