LLM - 理解 旋转位置编码(RoPE) 与 绝对相对位置编码 之间的差异

### 绝对位置编码的概念 绝对位置编码是一种用于表示序列中每个标记在其上下文中相对顺序的技术。在大型语言模型（LLM）中，这种技术对于捕获输入数据中的时间依赖性和结构至关重要[^1]。由于神经网络本身无法天然理解序列的位置信息，因此引入了位置编码来增强模型的学习能力。 #### 实现细节 在实际应用中，绝对位置编码可以通过多种方式实现。一种常见的方式是通过正弦和余弦函数生成固定的位置向量： ```python import torch import math def absolute_position_encoding(seq_len, d_model): pe = torch.zeros(seq_len, d_model) position = torch.arange(0, seq_len).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) # 偶数索引 pe[:, 1::2] = torch.cos(position * div_term) # 奇数索引 return pe.unsqueeze(0) seq_length = 512 embedding_dim = 768 position_encodings = absolute_position_encoding(seq_length, embedding_dim) print(f"Position Encoding Shape: {position_encodings.shape}") ``` 上述代码片段展示了如何基于正弦和余弦波形创建绝对位置编码矩阵。这种方法最初由 Vaswani 等人在 Transformer 模型中提出，并广泛应用于各种 LLM 的实现中。 #### 编码的作用 绝对位置编码的主要作用在于帮助模型区分不同位置上的相同单词或标记的意义差异。例如，在句子 “她喜欢苹果” 和 “苹果喜欢她” 中，“苹果”的含义因位置而异。通过加入位置编码，模型可以更好地学习到这些细微差别并提高预测准确性。 #### 替代方法 尽管绝对位置编码非常有效，但它也有一些局限性，比如难以处理超出训练期间最大长度的新序列。为此，研究人员提出了其他变体，如可学习的位置嵌入或者相对位置编码等方案作为补充或替代选择。