华为计算：KunLun AI Space 基于昇腾实现 DeepSeek V3.1 FP8 推理，成本减半

东苑

近期发布的 DeepSeek V3.1 大模型，因搭载了 FP8 精度格式（UE8M0 FP8）引发业界关注。据华为计算今日消息，河南昆仑技术有限公司（简称“昆仑技术”）基于昇腾 AI 的 Ascend C 算子编程语言，研发出软 FP8 解决方案。

据介绍，FP8 精度格式对比传统的 FP16 / BF16 精度能让模型的显存需求直接减半，降低服务器硬件压力；对比常见的 INT8 量化精度，推理精度更高、数据表示范围更广，解决了“降成本”与“保效果”的矛盾。



▲ 图源：KunLun AI Space 官网截图
该方案实现了“精度无损、成本减半”双重核心突破：

将 FP8 权重模型输入昇腾硬件，通过精准的反量化算子，转化为 BF16 格式参与计算，既保障了计算过程的准确性，又为后续新 FP8 权重模型的快速适配预留了灵活空间，无需权重格式的多次转换；

在模型精度几乎无损的前提下，单台 KunLun G8600 即可流畅运行满血版 DeepSeek V3.1 模型；即便在 KunLun G5500V2、KunLun G5580 等标卡机型上，也能实现模型参数规模翻番，同时大幅提升并发处理能力，让不同硬件配置的用户都能享受到 FP8 推理的技术红利。

billy211

aa11234

感谢分享！

ansesky

啥也不说了，楼主就是给力！

com2

谢谢楼主分享！

wing6

感谢分享！

yzszh64

谢谢分享。