万字解读——大模型架构类型综述:从传统到前沿的框架演进

# MoE层的伪代码简化实现
def moe_layer(x, experts, router):
    # 计算每个专家的路由分数
    routing_scores = router(x)  # [batch_size, seq_len, num_experts]
    
    # 选择Top-k专家
    top_k_scores, top_k_indices = select_top_k(routing_scores, k=2)
    
    # 将输入分发到选中的专家
    outputs = []
    for i, expert in enumerate(experts):
        # 创建每个专家的掩码（哪些令牌被路由到此专家）
        mask = (top_k_indices == i)
        if mask.any():
            # 只处理被路由到此专家的令牌
            expert_input = x[mask]
            expert_output = expert(expert_input)
            outputs.append((mask, expert_output))
    
    # 合并所有专家的输出
    combined_output = combine_expert_outputs(outputs, shape=x.shape)
    return combined_output

# 连续时间SSM的数学描述
x'(t) = Ax(t) + Bu(t)    # 状态更新方程
y(t) = Cx(t) + Du(t)     # 输出方程

其中：
- x(t) 是n维隐藏状态向量
- u(t) 是输入向量
- y(t) 是输出向量
- A, B, C, D 是可学习的参数矩阵

# RetNet中保留机制的简化公式

# 并行表示（用于训练）
y_i = sum_{j≤i} exp(-(i-j)/γ) · (q_i · k_j^T) · v_j

# 递归表示（用于推理）
s_i = exp(-1/γ) · s_{i-1} + k_i · v_i
y_i = q_i · s_i

其中：
- q_i, k_i, v_i 分别是查询、键和值向量
- s_i 是隐藏状态
- γ 是衰减率参数

# 基本RNN递归公式
h_t = tanh(W_h · h_{t-1} + W_x · x_t + b)
y_t = W_y · h_t + b_y

# LSTM递归公式（简化版）
f_t = sigmoid(W_f · [h_{t-1}, x_t] + b_f)  # 遗忘门
i_t = sigmoid(W_i · [h_{t-1}, x_t] + b_i)  # 输入门
o_t = sigmoid(W_o · [h_{t-1}, x_t] + b_o)  # 输出门
c_t = f_t * c_{t-1} + i_t * tanh(W_c · [h_{t-1}, x_t] + b_c)  # 单元状态
h_t = o_t * tanh(c_t)  # 隐藏状态

• MoE-Mamba：结合MoE的专家路由和Mamba的高效序列处理
• Sparse-RetNet：在RetNet基础上引入稀疏激活
• Transformer-SSM混合模型：在不同层使用不同架构，如浅层使用SSM处理长序列，深层使用Transformer进行推理
• 架构自适应模型：根据输入内容和计算资源动态选择最适合的架构