不可约马尔可夫链

马尔可夫链

不可约马尔可夫链(irreducible Markov chain)一种马尔可夫链。指状态空间E是惟一闭集的马尔可夫链，这又相当于E不含两个不相交的非空闭集。

概念

不可约马尔可夫链(irreducible Markov chain)是一种马尔可夫链。指状态空间E是惟一闭集的马尔可夫链，这又相当于E不含两个不相交的非空闭集。这时，对应的转移概率矩阵也称为不可约的。

马尔可夫链

设{Xt(w)，t∈T}是一个马尔可夫过程，如果T={0，1，2，…}，且其状态空间是有限集合或可列集合，则称此过程为马尔可夫链。按状态空间所含状态的情况，又分为可列(状态的)马尔可夫链和有限(状态的)马尔可夫链。马尔可夫链是最简单的马尔可夫过程。

马尔可夫链的状态，可以指在物理化学中一原子的某一能量水平；可以指在民意测验中投票人各种可能的思想状态；可以指在布朗运动中微粒在三维空间的位置等。如果用不同的整数来表示这些状态，则状态空间可以看作是全体或部分整数组成的集合。

如果不借助于马尔可夫过程的概念，马尔可夫链可这样陈述：{Xn，n=0，1，2，…}是在整数集合I上取值的随机变量序列，如果对任意的非负整数t1

则称此随机序列{Xn}具有马尔可夫性或无后效性，称{Xn}为马尔可夫链，简称马氏链。

马尔可夫链首先由马尔可夫提出。作为独立试验序列概型最简单的推广，马尔可夫提出了一种最简单的相依试验序列概型，这就是早期用比较直观的语言表述的马尔可夫链，这种表述方法至今还常为人们采用。

设{Ei，(i=0，1，2，…)}为一列随机试验，它们的一切可能出现的试验结果wi构成的集合Ω={ω0，ω1，ω2，…}为有限集合或可列集合。记第i次试验出现的结果为w′i，如果对任意两正整数m，k和任意整数0≤j1

则称随机试验序列{Ei，i=0，1，2，…}为马尔可夫链。

显然，上面的马尔可夫链的两种描述实质上是完全相同的。

对于马尔可夫链，描述它概率性质最重要的是它在时刻m的一步转移概率pij(m)： pij(m)=P(Xm+1=j|Xm=i) (i，j∈I) 它表示在时刻m，Xm取值i的条件下，于下一时刻转移到j的概率。一般地，在时刻m的k 步转移概率pij(m)：

注意，pij(m)=pij(m)。由马尔可夫性可知：

这就是切普曼——柯尔莫哥洛夫方程。

如令矩阵P(m)=(Pijm，(i，j∈I， m=0，1，2…)，P(m)称为马尔可夫链在时刻m的n步转移矩阵，于是切普曼——柯尔莫哥洛夫方程可简洁地表示成如下矩阵形式：

于是，由全部一步转移概率可得所有的转移概率，从而当初始分布P(X0=i)=pi已知时，马尔可夫链{Xn}的所有有限维分布也就知道了。

如果在各个时刻的一步转移概率都相同 pij(m)=pij，则称转移概率具有时间齐次性或齐次性，有时称平稳性。此时马尔可夫链称为齐次马尔可夫链，其切普曼——柯尔莫哥洛夫方程为：

记一步转移矩阵为p=(pij)，n步转移矩阵为 p(n)=pij(n)，则切普曼—柯尔莫哥洛夫方程的矩阵形式为：

于是：

因此对齐次马尔可夫链，由初始分布和一步转移概率就可得所有的有限维分布。

马尔可夫链在统计物理，生物遗传，传染病传播，化学高分子链，经济数学等方面应用广泛。

状态空间

状态空间是描述系统运动的一种抽象空间。指以系统的状态变量为轴所张成的空间，亦即系统所有可能状态的集合。具体为一般系统定义中能够用于表示时间系统S⊂X×Y演化规则ρ-={ρt∶C×Xt→Y-t}和={φtt′∶C×Xtt′→C}的状态C的集合。这时，可称S为状态空间C中的动态系统。

状态空间的点称为代表点或相点，系统运动轨迹(动力学方程的每个解)亦为状态空间的一个点集合，称为轨线.独立状态变量个数称为状态空间的维数，通常为非零整数0，1，2，…特别地，2维状态空间称为状态平面。用状态空间描述系统运动，可以把解析问题转化为较直观的几何问题来处理，有时比较方便。

通常希望寻找为实现同一时间系统S所需的最小状态空间，这时得到的动态系统描述称为最小实现(参见“最小实现”)。

人物简介——马尔可夫

俄国数学家。生于梁赞，卒于圣彼得堡。1878年毕业于圣彼得堡大学，后留校工作。1884年获物理数学博士学位。1886年成为教授。1896年当选为圣彼得堡科学院院士。1905年退休，同年，圣彼得堡大学授予他功勋教授称号。马尔可夫的主要贡献在概率论、数论、函数逼近论和微分方程等方面。在概率论方面，他深入研究并发展了切比雪夫的矩方法，使中心极限定理的证明成为可能。他还推广了大数律和中心极限定理的应用范围。在1906—1912年间，马尔可夫发表了一系列论著，提出并研究了一种能用数学分析方法研究自然过程的一般图式，后来这种图式被称为马尔可夫链。他的研究方法和重要发现推动了概率论的发展，特别是促进了概率论新分支——随机过程论的发展。随机过程论在现代科学中具有广泛而重要的应用。一类重要的随机过程又叫马尔可夫过程。马尔可夫所创建的概率论的研究方向，改变了概率论的内容，促使它成为与自然科学和技术直接有关的最重要的数学方法之一。在数论中，他解决了求已知行列式的极值二次式的难题。在数学分析中，发展了力矩理论、函数逼近论和连分式的解析理论及其应用。在数理统计和数的几何等方面也做出了创造性的贡献。他共发表70多种论著，其中《有限差分学》和《概率演算》已被视为经典著作。其子(小)马尔可夫也是著名数学家。

全国各地天气预报查询

上海市

云南省

云南省

云南省

云南省

云南省