【数学建模】什么是马尔科夫链（Markov Chain）？-CSDN博客

本文链接：https://blog.csdn.net/qq_42924330/article/details/149234037

引言 ——

马尔科夫链（Markov Chain） 是一种非常重要的随机过程模型。它的核心特点可以用一句话概括：

“未来只取决于现在，与过去无关。” 这就是马尔科夫性质（Markov Property） 或无记忆性（Memorylessness）。

核心概念解释 ——

状态（State）:
- 系统在某个时刻所处的情况。例如：
  - 天气：晴天、阴天、雨天
  - 股价：上涨、下跌、持平
  - 网页：网页A、网页B、网页C
  - 交通：步行、骑车、开车
- 所有可能状态的集合称为状态空间（State Space）。
转移（Transition）: 系统从一个状态变化到另一个状态的过程。
转移概率（Transition Probability）:
- 系统当前处于状态 i 时，下一步转移到状态 j 的概率。记为 P(i -> j) 或 P_ij。
- 这个概率只依赖于当前状态 i 和目标状态 j，与系统之前的历史状态无关（这就是马尔科夫性质的核心体现）。
- 所有从状态 i 出发，转移到其他状态（包括停留在 i 自身）的概率之和必须等于 1。
状态转移矩阵（State Transition Matrix）:
- 一个表格（矩阵），用来清晰地表示所有状态之间的转移概率。
- 矩阵的行代表当前状态。
- 矩阵的列代表下一状态。
- 矩阵元素 [i, j] 的值就是 P(i -> j)。

—— —— —— —— ——

+ 举个”栗子“ ————天气模型

假设天气只有两种状态：晴天（S） 和 雨天（R）。我们观察到以下规律（转移概率）：

如果今天是晴天（S）：
- 明天还是晴天的概率是 0.8
- 明天下雨的概率是 0.2
如果今天是雨天（R）：
- 明天放晴的概率是 0.6
- 明天继续下雨的概率是 0.4

状态转移矩阵：

当前状态 \ 下一状态	晴天 (S)	雨天 (R)
晴天 (S)	0.8	0.2
雨天 (R)	0.6	0.4

理解马尔科夫性质：

假设今天是雨天（R）。根据模型，预测明天是晴天（S）的概率是 0.6，是雨天（R）的概率是 0.4。
这个预测结果只依赖于“今天是雨天”这个当前状态。 无论昨天是大晴天还是大暴雨，也无论过去一周下了多少天雨，只要“今天”是雨天，预测明天的概率就是固定的 0.6 和 0.4。系统“忘记”了昨天和更早之前的天气情况。

关键特征 ——

离散时间马尔科夫链（DTMC）： 最常见的一种，状态在离散的时间点（如第1天、第2天、第3天...）发生变化。
状态空间： 可以是有限的（如天气例子中的晴天/雨天），也可以是可数无限的。
齐次性： 如果转移概率 P(i -> j) 不随时间改变（如天气例子中的概率每天都一样），则称为齐次马尔科夫链（Homogeneous Markov Chain）。这是最常见的假设。
平稳分布（Stationary Distribution）： 对于齐次马尔科夫链，经过足够长的时间后，系统处于各个状态的概率会趋于稳定，不再随时间变化。这个稳定的概率分布就是平稳分布。它是研究马尔科夫链长期行为的关键。在天气例子中，经过很多天后，晴天和雨天各自出现的概率会稳定在某个固定值（可以通过计算得出）。

作用 ——为什么重要？应用在哪里？

马尔科夫链因其简洁的数学表达（主要就是一个转移矩阵）和强大的建模能力，被广泛应用于众多领域：

自然语言处理（NLP）：
- 词性标注： 根据前一个词的词性（状态）预测当前词的词性。
- 语言模型： 预测句子中下一个词出现的概率（如n-gram模型，本质上是马尔科夫链）。
- 语音识别： 将声音信号序列映射到可能的词序列。
- 机器翻译： 建模词序列的转换。
网页排名（PageRank）： 谷歌搜索引擎的核心算法之一。将互联网看作一个巨大的马尔科夫链，网页是状态，链接是转移。平稳分布中概率高的网页排名更高。
金融建模：
- 模拟股票价格、利率等的随机波动。
- 信用评级迁移（公司信用等级从AAA降到BB等的概率）。
排队论： 分析顾客到达、服务时间、系统拥塞等（如呼叫中心、计算机网络）。
生物信息学： DNA序列分析、蛋白质结构预测。
游戏AI： 决策制定、路径规划（状态是游戏中的位置或局面）。
蒙特卡洛方法（MCMC）： 一种强大的随机采样技术，用于解决复杂的积分或优化问题，很多MCMC算法（如Metropolis-Hastings, Gibbs抽样）的核心是构建一个马尔科夫链，其平稳分布就是我们需要采样的目标分布。
预测： 如前面提到的天气预测、市场趋势预测等。

总结 ——

马尔科夫链是一个描述状态随机演变的数学模型。它最大的特点是“无记忆性”——系统下一步要去哪里，只取决于它现在站在哪里，完全不在乎它是怎么走到这里的。通过定义状态空间和状态转移概率（转移矩阵），我们可以用它来建模和分析大量现实世界中具有序列依赖性的随机系统，并进行预测、模拟和优化。它是概率论、统计学、计算机科学、工程学、经济学等领域的基础工具之一。

应用示例 ——

举一个马尔科夫链的具体应用实例——用餐厅口碑模型预测顾客长期满意度变化：

场景：餐厅口碑演化预测

某餐厅有三种顾客评价状态：

好评（Positive）
中评（Neutral）
差评（Negative）

市场调研发现顾客评价变化规律如下（基于历史数据统计）：

若当前是好评：
- 70% 下次仍给好评
- 20% 下次给中评
- 10% 下次给差评
若当前是中评：
- 30% 下次升好评
- 50% 下次保持中评
- 20% 下次降差评
若当前是差评：
- 10% 下次升好评
- 30% 下次升中评
- 60% 下次仍差评

—— —— —— —— —— ——

步骤1：构建状态转移矩阵

将上述规律转化为状态转移矩阵 PP：

行：当前状态（好评/中评/差评）
列：下一状态（好评/中评/差评）
元素 Pij：从状态 i 转移到状态 j 的概率

—— —— —— —— ——

步骤2：预测短期变化

假设开业首日顾客评价分布：

50% 好评，30% 中评，20% 差评
用向量表示初始状态：π0=[ 0.5，0.3，0.2 ]

预测第2天评价分布（乘以转移矩阵）：

步骤3：计算长期稳态分布（平稳分布）

长期来看，评价分布会收敛到一个固定比例（与初始状态无关），需解方程：

结论：无论初始如何，长期约 48%好评、29%中评、23%差评

—— —— —— —— ——

可视化：状态转移图

知识拓展 ——

n-gram模型 是一种基于统计的简单而强大的语言模型。它的核心思想是：一个词出现的概率，只依赖于它前面有限个词（通常是1个到n-1个）。这本质上就是马尔科夫链在自然语言处理中的具体应用。

核心概念拆解

n-gram 是什么？
- n 代表一个数字（例如 1, 2, 3）。
- gram 来源于 -gramme（希腊语词根，意为“写下的东西”），这里指“连续的词单元”。
- 一个 n-gram 就是文本中连续出现的 n 个词（或字符、音节等基本单元，但词最常见）。
- 示例句子： “我喜欢吃苹果”
  - 1-gram (unigram): 我, 喜欢, 吃, 苹果 （单个词）
  - 2-gram (bigram): 我喜欢, 喜欢吃, 吃苹果 （连续的两个词）
  - 3-gram (trigram): 我喜欢吃, 喜欢吃苹果 （连续的三个词）
n-gram模型是什么？
- 它是一个概率模型，用于计算一个词序列（一句话、一段话）出现的可能性有多大。
- 它利用 n-gram 的统计信息（主要是频率）来估算概率。
- 核心假设（马尔科夫假设）： 第 k 个词 w_k 出现的概率，只依赖于它前面 n-1 个词，而不是依赖于整个历史。即：
  P(w_k | w_1, w_2, ..., w_{k-1}) ≈ P(w_k | w_{k-n+1}, ..., w_{k-1})
- 通俗理解： 预测下一个词是什么时，模型只“看”前面最近的几个词，而不是把整句话都记住。