“源神”DeepSeek！突破H800性能上限，FlashMLA重磅开源，算力成本还能降

DeepSeek 开源周第一天，降本大法公开——

FlashMLA，直接突破 H800 计算上限。

网友：这怎么可能？？

它是为 Hopper GPU 开发的高效 MLA 解码内核，专门针对可变长度序列进行了优化，目前已经投入生产。

MLA，正是 DeepSeek 提出的创新注意力架构。从 V2 开始，MLA 使得 DeepSeek 在系列模型中实现成本大幅降低，但是计算、推理性能仍能与顶尖模型持平。

按照官方介绍来说，FlashMLA 使用之后，H800 可以达到 3000GB/s 内存，实现 580TFLOPS 计算性能。

网友们纷纷点赞：向工程团队致以崇高的敬意，从 Hopper 的张量核中挤出了每一个 FLOP。这就是我们将 LLM 服务推向新前沿的方式！

已经有网友用上了。

开源第一天：FlashMLA

目前 GitHub 页面已经更新。短短一小时，Star 星数已经超过 1.2k。

此次已经发布：

支持 BF16；

分页 KV 缓存，块大小为 64

快速启动：

环境要求：

Hopper GPU

CUDA 12.3 及以上版本

PyTorch 2.0 及以上版本

在项目的最后，它还表示，这是受到了FlashAttention 2&3和英伟达 CUTLASS 项目的启发。

FlashAttention 是能实现快速且内存高效的精确注意力，主流大模型都有在用。最新的第三代，可以让 H100 利用率飙升至 75%。训练速度提升 1.5-2 倍，FP16 下计算吞吐量高达 740TFLOPs/s，达理论最大吞吐量75%，更充分利用计算资源，此前只能做到 35%。

核心作者是 Tri Dao，普林斯顿大牛，Together AI 的首席科学家。

而英伟达 CUTLASS 是 CUDA C++ 模板抽象的集合，用于在 CUDA 内实现高性能矩阵 - 矩阵乘法 ( GEMM ) 和所有级别和规模的相关计算。

MLA，DeepSeek 基本架构

最后再来说说，MLA，多头潜在注意力机制，DeepSeek 系列模型的基本架构，旨在优化 Transformer 模型的推理效率与内存使用，同时保持模型性能。

它通过低秩联合压缩技术，将多头注意力中的键（Key）和值（Value）矩阵投影到低维潜在空间，从而显著减少键值缓存（KV Cache）的存储需求。这种方法在长序列处理中尤为重要，因为传统方法需要存储完整的 KV 矩阵，而 MLA 通过压缩仅保留关键信息。

V2 版本中，这一创新性架构把显存占用降到了过去最常用的 MHA 架构的 5%-13%，实现了成本大幅降低。它的推理成本仅为 Llama 370B 的 1/7、GPT-4 Turbo 的 1/70。

而在 V3，这一降本提速就更为明显，直接让 DeepSeek 吸引全球目光。

也就在今天，DeepSeek-R1 在 HuggingFace 上获得了超过 10000 个赞，成为该平台近 150 万个模型之中最受欢迎的大模型。

HuggingFace CEO 发文公布了这一喜讯。

The whale is making waves！鲸鱼正在掀起波浪！

好了期待一下，接下来的四天会发些什么呢？

GitHub 链接：

https://github.com/deepseek-ai/FlashMLA

参考链接：

https://x.com/deepseek_ai/status/1893836827574030466