品玩2月6日讯,据华为官方消息,华为旗下ModelEngine AI平台现已全面支持DeepSeek大模型R1&V3和蒸馏系列模型的本地部署与优化,加速客户AI应用快速落地。
ModelEngine作为大模型训练、推理和应用开发的AI平台,提供从数据预处理到模型训练、优化及部署的一站式服务。此次ModelEngine基于昇腾AI芯片,通过推理框架优化和MoE存算协同,提供动态换入换出和全局统一缓存,实现推理高并发和低时延,用户通过ModelEngine体验DeepSeek更加快速高效的推理能力。
ModelEngine 启动 DeepSeek-R1 推理服务后,平台支持 OpenAI API 调用风格的推理服务接口和访问方式,用户可以将该 API 集成到对话、RAG 以及 Agent 应用。
![华为 ModelEngine AI 平台支持 DeepSeek 全系列本地部署](https://cdn.pingwest.com/portal/2025/02/06/NfXjTKfWyj98sY7nBkX43Ghk4WPY9KR9.png?x-oss-process=style/article-body)
© 版权声明
本页内容中文字和图片均整理自互联网,不代表本站立场,版权归原作者所有,如有侵权,请联系admin#aiodt.com删除。
相关文章
暂无评论...