结构篇| 分而治之思想-MOE架构

01 背景

混合专家模型 (MoE) 的理念起源于 1991 年的论文Adaptive Mixture of Local Experts。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统建立一个监管机制。随着 Mixtral 8x7B 的推出, 首次提出一种称为混合专家模型 (Mixed Expert Models，简称 MoE) 的 Transformer 模型架构在LLM领域落地。

在传统机器学习时期，MoE可以参考Ensemble思想进行理解。Ensemble技术统合多个模型的预测结果，并给出一个最终答案，比如如果是一个分类任务，Ensemble模型内可能包含20个独立的分类模型，每个模型都会根据输入返回一个分类预测结果，Ensemble模型最后使用比如Majority Vote得出最后的预测结果。与Ensemble一样，MoE会训练多个小模型并进行整合，但二者出发点不同：Ensemble统合所有小模型的意见，通过平均或Majority Vote给出综合的答案，目的是使模型更加General和Robust；MoE将每个任务分配给特定的小模型，每个小模型都是解决某些特定问题的Expert，而MoE将会通过weight function计算一个权重来将任务给到具体的模型来解决问题，将一个大的问题空间拆分成小的子空间交由不同Expert解决。

MoE模型是一种基于分而治之策略的神经网络架构，它将复杂的问题分解为多个子问题ÿ