华为 ModelEngine AI 平台支持 DeepSeek 全系列本地部署

品玩2月6日讯,据华为官方消息,华为旗下ModelEngine AI平台现已全面支持DeepSeek大模型R1&V3和蒸馏系列模型的本地部署与优化,加速客户AI应用快速落地。

ModelEngine作为大模型训练、推理和应用开发的AI平台,提供从数据预处理到模型训练、优化及部署的一站式服务。此次ModelEngine基于昇腾AI芯片,通过推理框架优化和MoE存算协同,提供动态换入换出和全局统一缓存,实现推理高并发和低时延,用户通过ModelEngine体验DeepSeek更加快速高效的推理能力。

ModelEngine 启动 DeepSeek-R1 推理服务后,平台支持 OpenAI API 调用风格的推理服务接口和访问方式,用户可以将该 API 集成到对话、RAG 以及 Agent 应用。

华为 ModelEngine AI 平台支持 DeepSeek 全系列本地部署
© 版权声明

相关文章

暂无评论

none
暂无评论...