东苑 发表于 2025-10-29 08:21

华为计算：KunLun AI Space 基于昇腾实现 DeepSeek V3.1 FP8 推理，成本减半

近期发布的 DeepSeek V3.1 大模型，因搭载了 FP8 精度格式（UE8M0 FP8）引发业界关注。据华为计算今日消息，河南昆仑技术有限公司（简称“昆仑技术”）基于昇腾 AI 的 Ascend C 算子编程语言，研发出软 FP8 解决方案。

据介绍，FP8 精度格式对比传统的 FP16 / BF16 精度能让模型的显存需求直接减半，降低服务器硬件压力；对比常见的 INT8 量化精度，推理精度更高、数据表示范围更广，解决了“降成本”与“保效果”的矛盾。



▲ 图源：KunLun AI Space 官网截图
该方案实现了“精度无损、成本减半”双重核心突破：

将 FP8 权重模型输入昇腾硬件，通过精准的反量化算子，转化为 BF16 格式参与计算，既保障了计算过程的准确性，又为后续新 FP8 权重模型的快速适配预留了灵活空间，无需权重格式的多次转换；

在模型精度几乎无损的前提下，单台 KunLun G8600 即可流畅运行满血版 DeepSeek V3.1 模型；即便在 KunLun G5500V2、KunLun G5580 等标卡机型上，也能实现模型参数规模翻番，同时大幅提升并发处理能力，让不同硬件配置的用户都能享受到 FP8 推理的技术红利。

billy211 发表于 2025-10-29 08:30

{:6_211:}{:6_211:}

aa11234 发表于 2025-10-29 08:57

感谢分享！[喜欢]

ansesky 发表于 2025-10-29 09:14

啥也不说了，楼主就是给力！{:4_448:}

com2 发表于 2025-10-29 10:10

谢谢楼主分享！

wing6 发表于 2025-10-29 11:07

感谢分享！[喜欢]

yzszh64 发表于 2025-10-29 13:27

谢谢分享。
页: [1]
查看完整版本: 华为计算：KunLun AI Space 基于昇腾实现 DeepSeek V3.1 FP8 推理，成本减半