马尔可夫链蒙特卡洛

马尔可夫链蒙特卡洛

马尔可夫链蒙特卡洛

马尔可夫链蒙特卡洛(Markov Chain Monte Carlo,MCMC)是蒙特卡洛方法的重要进阶演化,通过构建一条马尔可夫链,使其平稳分布等于目标分布,从而在目标分布的高概率区域进行高效采样。

解决的问题

经典蒙特卡洛方法在全局均匀采样,当目标分布在高维空间中只占据极小体积时,采样效率极低。MCMC通过"有记忆的探险家"策略,自动聚焦于高概率(有价值)区域,同时偶尔探索低概率区域以防陷入局部死胡同。

核心算法:Metropolis-Hastings

Metropolis-Hastings算法是MCMC的经典实现,其核心机制为:

  1. 从当前位置随机向周围迈出一步(提出候选点)
  2. 如果新位置的概率密度更高,百分之百接受
  3. 如果新位置的概率密度更低,以一定概率接受(允许"退步")

这种机制在数学上由**细致平稳条件(Detailed Balance)**保证,确保马尔可夫链的平稳分布等于目标分布。

应用

  • 贝叶斯统计中的后验分布计算
  • 机器学习中的模型参数推断
  • 计算物理学中的系统模拟
  • 计算生物学中的进化分析

关联

  • [[蒙特卡洛方法]] — 基础方法
  • [[Metropolis-Hastings算法]] — 核心算法
  • [[细致平稳条件]] — 数学保证
  • [[大数定律]] — 理论基础
分享到