IEM模型代码

### IEM模型简介 IEM（Iterative Expectation Maximization）是一种基于期望最大化（EM）算法的改进版本，通常用于处理更复杂的场景或者优化特定的目标函数。与传统的EM算法相比，IEM可能通过引入额外约束条件、调整更新规则等方式来提升收敛速度或改善最终结果的质量。 在实际应用中，IEM可以被视作一种扩展版的EM方法，其核心仍然是E步（Expectation Step）和M步（Maximization Step），但在某些情况下会加入更多的细节控制机制以适应不同的需求[^1]。 --- ### IEM模型代码实现 以下是基于Python的一个简单IEM模型代码示例，假设我们正在解决类似于GMM的问题： #### 初始化部分 ```python import numpy as np def initialize_parameters(data, num_components): """ 随机初始化高斯混合模型参数。 :param data: 输入数据集 (形状为 [NxD]) :param num_components: 混合成分的数量 K :return: 初始均值 mu, 方差 sigma 和 权重 alpha """ N, D = data.shape mu = data[np.random.choice(N, size=num_components, replace=False)] sigma = [np.eye(D)] * num_components # 协方差矩阵初始为单位阵 alpha = np.ones(num_components) / num_components # 均匀分配权重 return mu, sigma, alpha ``` #### E-step 实现 ```python def expectation_step(data, mu, sigma, alpha): """ 计算隐变量 z 的后验概率 q(z|x)，即责任度 gamma。 :param data: 数据点集合 X :param mu: 当前估计的均值向量列表 :param sigma: 当前估计的协方差矩阵列表 :param alpha: 当前估计的混合比例 :return: 责任度矩阵 Gamma 形状为 [NxK] """ N, _ = data.shape K = len(mu) likelihoods = np.zeros((N, K)) for k in range(K): cov_matrix = sigma[k] inv_cov = np.linalg.inv(cov_matrix) det_cov = np.linalg.det(cov_matrix) diff = data - mu[k] exponent_term = -0.5 * np.sum(np.dot(diff, inv_cov) * diff, axis=1) normalization_const = 1 / ((2 * np.pi)**(len(mu[k])/2) * np.sqrt(det_cov)) likelihoods[:, k] = normalization_const * np.exp(exponent_term) gamma = alpha * likelihoods gamma /= np.sum(gamma, axis=1).reshape(-1, 1) + 1e-8 # 加平滑项防止除零错误 return gamma ``` #### M-step 实现 ```python def maximization_step(data, gamma): """ 更新 GMM 参数：mu, sigma, alpha。 :param data: 数据点集合 X :param gamma: 责任度矩阵 Gamma :return: 新的 mu, sigma, alpha """ N, D = data.shape K = gamma.shape[1] Nk = np.sum(gamma, axis=0) mu_new = np.dot(gamma.T, data) / Nk.reshape(-1, 1) sigma_new = [] for k in range(K): diff = data - mu_new[k] weighted_diff = gamma[:, k].reshape(-1, 1) * diff covariance = np.dot(weighted_diff.T, diff) / Nk[k] sigma_new.append(covariance) alpha_new = Nk / N return mu_new, sigma_new, alpha_new ``` #### 完整训练过程 ```python def iem_algorithm(data, num_components, max_iter=100, tol=1e-4): """ 执行完整的 IEM 算法流程。 :param data: 输入数据集 :param num_components: 混合成分数量 K :param max_iter: 最大迭代次数 :param tol: 收敛容忍阈值 :return: 学习得到的 mu, sigma, alpha 及 log似然变化记录 """ mu, sigma, alpha = initialize_parameters(data, num_components) prev_log_likelihood = float('-inf') log_likelihood_history = [] for iteration in range(max_iter): # E 步骤 gamma = expectation_step(data, mu, sigma, alpha) # M 步骤 mu, sigma, alpha = maximization_step(data, gamma) # 计算当前log似然并判断是否达到收敛标准 current_log_likelihood = compute_log_likelihood(data, mu, sigma, alpha) log_likelihood_history.append(current_log_likelihood) if abs(current_log_likelihood - prev_log_likelihood) < tol: break prev_log_likelihood = current_log_likelihood return mu, sigma, alpha, log_likelihood_history def compute_log_likelihood(data, mu, sigma, alpha): """ 计算给定参数下的总对数似然值。 :param data: 数据点集合 X :param mu: 均值向量列表 :param sigma: 协方差矩阵列表 :param alpha: 混合比例 :return: 总对数似然值 """ N, _ = data.shape K = len(mu) total_llh = 0 for n in range(N): llh_sum = 0 for k in range(K): cov_matrix = sigma[k] inv_cov = np.linalg.inv(cov_matrix) det_cov = np.linalg.det(cov_matrix) diff = data[n] - mu[k] exponent_term = -0.5 * np.dot(np.dot(diff.T, inv_cov), diff) normalization_const = 1 / ((2 * np.pi)**(len(mu[k]) / 2) * np.sqrt(det_cov)) llh_sum += alpha[k] * normalization_const * np.exp(exponent_term) total_llh += np.log(llh_sum + 1e-8) # 平滑项防nan return total_llh ``` --- ### 结果分析 上述代码实现了基本的IEM框架，并且可以通过`iem_algorithm()`调用来完成整个训练过程。需要注意的是，在实际工程环境中，可以根据具体应用场景进一步修改E/M步骤中的计算逻辑，比如增加正则化项或其他先验信息[^3]。 --- ###