← 全部标签

MLA

共 2 篇文章。

  1. DeepSeek-V4 架构整理

    整理 DeepSeek-V4 的架构设计，包括 MoE、MLA、Engram Memory 和 mHC。

    LLM Inference

  2. MLA 和 MHA 的 Kernel 区别

    从 Kernel 实现角度对比 MLA 和 MHA，包括内存访问、计算强度和量化影响。

    LLM Inference