各位小伙伴儿，大家好，我是老猫。
今天想跟大家唠唠DeepSeek Mixture-of-Experts（MoE）这个架构。
话不多说，我们直接上干货。
▌为什么需要MOE架构？
我们知道，在2017年，谷歌AI团队发表了一篇惊为天人的论文《Attention Is All You Need》 ，Transformer架构横空出世。自此，它便在AI江湖中掀起了惊涛骇浪。
在Transformer 诞生之前，在序列处理领域已经有了RNN（循环神经网络）和CNN（卷积神经网络）。但两者都有各自的缺陷。RNN处理长序列时容易出现梯度消失或梯度爆炸的问题，简单就是就像一个记性不好的老人，处理长内容时，前面的内容记不住，后面又容易混淆。CNN虽然在提取局部特征上表现出色，但对长距离依赖关系的捕捉能力欠佳，就好比只顾得上眼前局部风景，而看不到远方的整体美景的人。
Transformer有多神奇呢？
Transformer自注意力机制巧妙解决了RNN的顺序处理方式和CNN的局部处理局限，就像是给大模型装上了一个“全局扫描雷达”，能够同时关注输入序列中的各个位置，极大地提升了对长序列的处理能力，完美解决了上述两个难题。
我们举个例子，当我们看到“苹果从树上掉下来，牛顿受到它的启发发现了万有引力” 这句话时，会轻松理解“它”指的就是苹果。Transformer的自注意力机制也是如此，它让模型在处理每个单词时，都能计算该单词与其他所有单词的关联程度，给不同单词分配不同的 “注意力权重”，从而捕捉到文本中词汇之间丰富的语义关系，理解上下文。
但这不意味着Transformer是完美无缺的。在一些实际应用开发中，Transformer模型的大参数在带来更好的表现的同时，也带来了一些不得不面对的问题，那就是在训练和使用大模型的时候，随着参数的增加，需要付出更多的成本来维持。这也让人们误认为提升AI能力就是需要不断的堆设备，堆模型数。也是NVIDIA能够快速崛起的关键。
正因为Transformer存在的各种问题，研究者们开始寻找各种方法来减少Transformer模型的参数量，以降低计算资源的消耗，提高训练效率，并提高模型的泛化能力和解释性。
这个时候，MOE架构出现了。
▌MOE有何独特之处？
MOE，全称Mixture of Experts，也就是混合专家模型，它的设计理念十分巧妙。
你可以想象成这个AI模型内部有一群各有所长的专家（比如数学专家、语言专家等）。每次遇到问题时，系统会根据问题类型动态选出最适合的“专家组合”来解答。
比如处理一段中英文混杂的对话，可能同时调用语言翻译专家和逻辑推理专家协作完成。
除了专家网络，MOE还有一个关键组成部分 —— 门控机制。门控机制就像是一个智能 “调度员”，当输入数据进来时，它会对数据进行分析，然后根据数据的特点，把数据分配给最合适的专家网络进行处理。例如，处理数学题时，可能只激活数学逻辑相关的专家，其他专家不参与，避免资源浪费？。
MOE架构的优势十分显著。从计算效率来看，由于每次只激活部分专家网络，而不是让整个模型的所有参数都参与计算，大大减少了计算量，降低了能耗。这就好比一个工厂，不需要所有工人同时开工，只需根据订单类型，安排相关专业的工人工作，既节省了人力成本，又提高了生产效率。
整体来说，传统AI模型像“全科医生”，每次解决问题都要动用全部能力；而MOE更像“专科会诊”，只调用相关专家。这使得计算量更小，训练成本更低（比传统模型节省约60%资源）。
▌DeepSeek的MOE有何创新？
可能有人有会问，MoE这么好为什么国外大模型没有用吗？
其实，在自然语言处理领域，不少大型语言模型都采用了 MOE 架构，像 GPT-4、DeepSeek-V3 等，它们在语言生成、问答系统、文本翻译等任务中表现出色。
但MoE大模型有个问题叫负载均衡（load balance），会导致训练不稳定。这会导致一个问题，就是训练过程中会采用所谓的专家并行（Expert Parallelism）机制，通过将不同的expert放到不同的显卡上来加速训练，而Load Balance问题会导致某些重要的expert计算量更大，最终结果就是不重要的Expert所在的显卡跑不满，效率不够高。
DeepSeek-V2则在一些现有的解决Load Balance问题的方法基础上，引入了额外的损失函数（即设备级平衡损失和通信平衡损失）来让模型在训练中自主控制不同设备间的平衡，这两个优化方法都是他们的创新点。这种设计使得模型在处理复杂任务时，仍能保持出色的性能和高效的运行。
此外，DeepSeek-V3在训练和推理过程中，保持了无令牌丢失。这是一个重大的进步，因为在传统的模型中，令牌丢失是一个常见的问题，它会导致模型在处理连续任务时，出现断层和错误。而DeepSeek-V3的这一设计，确保了模型在处理连续任务时，能够保持连续的处理，从而提高了模型的性能和稳定性。
DeepSeek-V2的另一大创新是MLA（Multi-Head Latent Attention，多头潜注意力）。
MLA通过低秩联合压缩键值（Key-Value），将它们压缩为一个潜在向量（latent vector），从而大幅减少所需的缓存容量。这种方法不仅减少了大模型缓存的数据量，还降低了计算复杂度。。
我们用饭店来举个例子，传统的大模型就好比一家拥有众多服务员的餐厅，每个服务员从头到尾独立负责自己客人的记菜单、传菜、结账、清洁等工作。当有大量复杂菜品出现时，这就可能会出现多个服务员重复记录相同订单、传菜时堵在厨房门口的问题。MLA技术让所有服务员共享一个智能平板，能实时同步订单、桌号、菜品状态（省去重复记录）；上菜时，只有负责上菜的服务员工作，其他人在需要时才会介入（按需分工）。这样既能更快地完成任务，又能保证每部分任务的完成质量。
▌Deepseek未来前景
DeepSeek 系列模型如今在创新方面表现非常亮眼。更是利用免费打破了AI技术的门槛，让更多的人能够接触并使用到这项先进的技术。
对于广大公众，DeepSeek-V3提供了一种先进且适应性强的AI工具。随着技术的不断进步，我们有理由期待，在更多复杂的任务和场景中，这两种架构的结合能够创造出更强大、更智能的 AI 系统，推动自然语言处理、计算机视觉、医疗、金融等各个领域的发展，为我们的生活带来更多的便利和惊喜。
延伸阅读：
业务联系：
