Towards Generalist Prompting for Large Language Models by Mental Models

### DeepSeekMoE 中实现终极专家专业化的方法 #### 动态专业化路由 (Dynamic Specialization Routing) DeepSeek MoE 架构通过引入动态专业化路由（DSR），解决了传统Mixture-of-Experts(MoE)模型中存在的“伪专家”问题。相比于传统的基于门控机制来选择固定数量的活跃专家，DSR允许更灵活地分配计算资源给最合适的专家[^1]。 ```python def dynamic_specialization_routing(input_tensor, experts): # 计算输入张量与各专家之间的匹配度得分 scores = compute_scores(input_tensor, experts) # 根据得分挑选最适合处理当前任务的一个或多个专家 selected_expert_indices = select_best_experts(scores) return apply_selected_experts(selected_expert_indices, input_tensor) ``` #### 细粒度专家分割 为了进一步提高效率和效果，在构建专家网络时采用了细粒度的专家分割技术。这意味着每个子领域内的专业知识可以被更加精确地建模，从而使得每一个专家都能够专注于特定的任务特性而不是泛化整个数据集上的表现[^2]。 #### 共享专家隔离 除了上述两点外，还提出了共享专家隔离的概念。这不仅减少了冗余参数的数量，而且促进了不同模块间更好的协作关系。具体来说就是对于那些具有相似功能需求的部分采用相同的底层组件作为基础支持，而这些共同使用的部分则会被独立出来形成所谓的“共享层”。 这种设计既保持了各个分支之间必要的差异性又实现了整体结构上的一致性和简洁性，最终达到了更高的性能指标以及更低的成本开销。