马尔可夫链蒙特卡洛
马尔可夫链蒙特卡洛(Markov Chain Monte Carlo,MCMC)是蒙特卡洛方法的重要进阶演化,通过构建一条马尔可夫链,使其平稳分布等于目标分布,从而在目标分布的高概率区域进行高效采样。
解决的问题
经典蒙特卡洛方法在全局均匀采样,当目标分布在高维空间中只占据极小体积时,采样效率极低。MCMC通过"有记忆的探险家"策略,自动聚焦于高概率(有价值)区域,同时偶尔探索低概率区域以防陷入局部死胡同。
核心算法:Metropolis-Hastings
Metropolis-Hastings算法是MCMC的经典实现,其核心机制为:
- 从当前位置随机向周围迈出一步(提出候选点)
- 如果新位置的概率密度更高,百分之百接受
- 如果新位置的概率密度更低,以一定概率接受(允许"退步")
这种机制在数学上由**细致平稳条件(Detailed Balance)**保证,确保马尔可夫链的平稳分布等于目标分布。
应用
- 贝叶斯统计中的后验分布计算
- 机器学习中的模型参数推断
- 计算物理学中的系统模拟
- 计算生物学中的进化分析
关联
- [[蒙特卡洛方法]] — 基础方法
- [[Metropolis-Hastings算法]] — 核心算法
- [[细致平稳条件]] — 数学保证
- [[大数定律]] — 理论基础