Markov鏈的周期

首先給出Markov鏈周期的定義:

註1: 假定d(i)=ell, 根據定義, 滿足p_{ii}^{(n)}gt 0的所有n都能夠被ell整除, 即ell| n(關於這個符號, 參見註2), 或者說{X_n}從i出發返回i的步數一定是ell的倍數, 而從一個狀態出發返回這個狀態符合我們對周期性的通常認知. 回憶周期函數的定義, 我們不難發現這裡定義的周期d(i)其實就是周期函數中最小正周期的對應物, 這也是我們稱d(i)為周期的原因所在.

註2: 一般地, 給定一對整數p,qinmathbb{Z}且pneq 0, 則一定存在且唯一存在s,rinmathbb{Z}使得q=sp+r, 其中0leq r< |p|, 也就是我們在小學中熟悉的整數的帶餘除法, 這裡r是q對p的餘數. 如果r=0, 我們就說q被p整除或者p整除q, 記作p|q, 稱p是q的約數, q是p的倍數. 也就是說,

p|qLeftrightarrowexists sinmathbb{Z}(q=sp) \

利用整除符號, 我們有

gcd A:=max{pinmathbb N_+:p|a,ain A} \

註3: 除瞭最大公約數以外, 在數論中我們還會使用另一個概念: 最小公倍數, 它的定義為

mathrm{lcm}, A:=min{qinmathbb N_+:a|q,ain A} \

整除性質1: 如果p|a+b且p|a, 則p|b. 這是因為

left.begin{aligned} p|a+b&Rightarrow a+b= s_1p\ p|a&Rightarrow a=s_2p\ end{aligned}right}Rightarrow b=(s_1-s_2)p \

整除性質2: 如果p|a+x,q|b+x, 則必有p|b-a. 方法類似:

left.begin{aligned} p|a+x&Rightarrow a+x=s_1p\ p|b+x&Rightarrow b+x=s_2p end{aligned}right}Rightarrow b-a=(s_2-s_1)p \

整除性質3: 若a|b且b|a, 則a=pm b. 這個證明也是容易的, 因為a|b我們知道存在非零整數k使得b=ka, 類似地, 由b|a有a=lb, 於是b=ka=klb, 即kl=1. 因為k,l均為整數, 於是k=l=1或者k=l=-1, 分別對應a=b和a=-b. 即a=pm b.

整除性質4: 若x|a, x|b, 則x|ka+lb, 其中k,linmathbb{Z}且ka+lbneq 0. 方法類似, 因為x|a我們就有a=alpha x, 類似地有b=beta x, 這裡alpha,beta為非零整數. 進而ka+lb=(kalpha+lbeta)x, 因為kalpha+lbetainmathbb{Z}且非零(否則ka+lb=0與已知矛盾) 我們就有x|ka+lb.

例1: 在上一篇文章中我們已經知道一維隨機遊動滿足

p_{ii}^{(n)}=begin{cases} 0 &, n=2k+1\ C_{2k}^k p^kq^k&,n=2k end{cases} \

於是滿足p_{ii}^{(n)}gt 0的n取值為全體偶數2mathbb N, 而gcd(2mathbb N)=2, 於是一維隨機遊動所有的狀態的周期都為2.

現在我們來看看態的周期的一些性質:

證: 根據可達的定義(參見上一節), 我們知道存在l,n使得p_{ij}^{(l)}=alphagt0和p_{ji}^{(n)}=betagt 0, 而根據C-K方程, 我們就有

begin{aligned} p_{ii}^{(l+m+n)}&=sum_{s,tin I}p_{is}^{(l)}p_{st}^{(m)}p_{ti}^{(n)}\ &geq p_{ij}^{(l)}p_{jj}^{(m)}p_{ji}^{(n)} \ &= alphabeta p_{jj}^{(m)}\ p_{jj}^{(n+m+l)}&=sum_{s,tin I}p_{js}^{(n)}p_{st}^{(m)}p_{tj}^{(l)}\ &geq p_{ji}^{(n)}p_{ii}^{(m)}p_{ij}^{(l)}\ &=betaalpha p_{ii}^{(m)} end{aligned} \

我們首先取m=0, 於是我們立刻有p_{ii}^{(n+l)}geqalphabetagt 0, p_{jj}^{(l+n)}geqalphabetagt 0, 這意味著d(i)|n+l和d(j)|l+n. 接下來我們考察使得p_{ii}^{(m)}gt 0的m, 對於此類m, 我們可以得到p_{jj}^{(n+m+l)}geqbetaalpha p_{ii}^{(m)}gt 0, 於是我們有d(j)|n+m+l, 考慮到d(j)|n+l, 根據整除性質1我們可以立刻得知d(j)|m. 考慮到p_{ii}^{(m)}gt 0, 我們知道d(i)是所有滿足這些條件的m的最大公約數, 結合d(j)是m的約數, 我們可以得知d(i)geq d(j). 反過來, 我們可以考察使得p_{jj}^{(m)}gt 0的那些m, 通過類似的方式我們得知d(j)geq d(i). 於是就可以得到d(i)=d(j). square

根據這個定理, 我們知道同一個互通類中所有狀態的周期都是一樣的, 因此一個互通類的周期就是它裡面任意狀態的周期. 如果周期為1, 我們就稱其為非周期類, 反之則稱其為周期類.

證: 因為ileftrightarrow j, 我們知道存在sgeq 1使得p_{ji}^{(s)}gt 0, 於是根據C-K方程, 就有

begin{aligned} p_{ii}^{(n+s)}geq p_{ij}^{(n)}p_{ji}^{(s)}gt 0\ p_{ii}^{(m+s)}geq p_{ij}^{(m)}p_{ji}^{(s)}gt 0 end{aligned} \

於是d|n+s且d|m+s, 根據前文給出的整除性質2我們就知道d|n-m. square

根據這個定理, 我們可以看到給定一個互通類mathcal C, i,jinmathcal C, 使得p_{ij}^{(n)}gt 0的n必然具有n=kd+s, 其中kgeq 0,0leq sleq d-1的形式. 於是一個互通類mathcal C可以進一步劃分為互不相交的子類

[i,mathscr C]_s:={jinmathscr C:p_{ij}^{(n)}gt 0text{ iff }exists k(n=kd+s)} , text{for given } i \

即有:

mathscr C=bigsqcup_{0leq sleq d-1}[i,mathscr C]_s \

這裡Asqcup B表示A和B這兩個集合的不交並, 這裡我們取狹義的不交並, 也就是說這兩個集合沒有交集, 即(註意這隻是本文中的約定, 一般的不交並是允許兩個集合有交集的, 但是相交的部分要視作不同的元素, 比如說對其進行編號使其可以被區分開)

Asqcup B:= (Acup B)wedge(Acap B=varnothing) \

證: 因為jin[i,mathcal C]_r, 我們知道存在k使得p_{ij}^{(kd+r)}gt 0. 我們定義一個等價關系isim_s j如下:

isim_s j := i,jin[k,mathcal C]_s \

這樣對應的[k,mathcal C]_s就構成瞭一個個的等價類(我們在上一節已經敘述過等價關系和劃分是同一的). 因為等價類之間是不可能相交的, 如果我們證明瞭如果a,bin[j,mathcal C]_s則必有a,bin[i,mathcal C]_{r+s}, 就必然意味著[j,mathcal C]_s=[i,mathcal C]_{r+s}. 因為a,bin[j,mathcal C]_s, 我們知道存在k_a,k_b使得p_{ja}^{(k_ad+s)}gt 0,p_{jb}^{(k_b+s)}gt 0, 根據C-K方程, 就有

begin{aligned} p_{ia}^{(kd+r+k_ad+s)}&geq p_{ij}^{(kd+r)}p_{ja}^{(k_ad+s)}gt 0\ p_{ib}^{(kd+r+k_bd+s)}&geq p_{ij}^{(kd+r)}p_{jb}^{(k_bd+s)}gt 0 end{aligned} \

於是a,bin[i,mathcal C]_{r+s}. square

根據這個定理, 我們可以直接將不相交的d個子類簡單地記作mathcal C_0,cdots,mathcal C_{d-1}, 我們約定若n=kd+s,kgeq 1,0leq sleq d-1, 則有mathcal C_n=mathcal C_s. 如果mathcal C本身還是一個本質類(進而它是一個不可約閉集), 那麼我們知道

sum_{jinmathcal C}p_{ij}=1,forall iinmathcal C \

現在我們假定kin[i,mathcal C]_mequivmathcal C_m, 根據不可約閉集的判定條件, 我們有

1=sum_{jinmathcal C}p_{kj}^{(s)}=sum_{jinmathcal C_{m+s}}p_{kj}^{(s)}+sum_{jinmathcal C-mathcal C_{m+s}}p_{kj}^{(s)} \

由於kinmathcal C_m, 存在n_m使得p_{ik}^{(n_md+m)}gt 0. 對於jinmathcal C-mathcal C_{m+s}, 我們知道jnotinmathcal C_{m+s}, 於是對於任意的n, 均有p_{ij}^{(nd+m+s)}=0. 根據C-K方程, 我們就有

begin{aligned} 0&=p_{ij}^{(nd+m+s)}geq p_{ik}^{(nd+m)}p_{kj}^{(s)}geq 0 end{aligned} \

這意味著p_{ik}^{(nd+m)}p_{kj}^{(s)}=0, 取n=n_m, 則我們就知道p_{kj}^{(s)}=0. 代入到前面的表達式中, 我們就得到瞭

sum_{jinmathcal C_{m+s}}p_{kj}^{(s)}=1,kinmathcal C_m \

在上面的表達式中我們取s=1, 我們就有

sum_{jinmathcal C_{m+1}}p_{kj}=1,kinmathcal C_m \

總而言之, 結合上面的討論, 我們得到瞭下述的一個重要定理:

這意味著從mathcal C_m中的某個狀態出發經過一步, 隻有可能到達mathcal C_{m+1}中的某個狀態. 換句話說, 對於周期本質類, 狀態的轉移是依次從mathcal C_0,cdots,mathcal C_{d-1}中的一個子類進入到下一個子類, 然後這樣循環下去:

mathcal C_0tomathcal C_1cdotstomathcal C_{d-1}tomathcal C_0tocdots \

我們把狀態轉移限制在上述的周期本質類中, 然後把原來的d步轉移視作1步構造一個新的馬氏鏈(也就是將時間尺度擴大到原來的d倍), 換言之我們由Markov鏈{X_n|_{mathcal C}}構造新鏈{Y_n=X_{nd}|_{mathcal C}}, 由於經過瞭d步, 我們看到狀態轉移隻有可能是mathcal C_itomathcal C_i, 也就是說原來的子類現在在新的馬氏鏈下都變成閉集瞭, 並且周期為1. 這就將周期本質狀態轉化為非周期的本質狀態瞭, 而非周期的本質狀態有著相當優良的性質. 不過在敘述其性質之前我們還需要證明一個必要的說明周期性的命題:

這個定理的證明有賴於一些數論上的結論.

**小插曲:一些數論裡的命題 **

引理1: 設a,b是兩個正整數, 若a|q且b|q, 則mathrm{lcm}(a,b)|q, 也就是說公倍數一定是最小公倍數的倍數.

證: 因為q是a,b的公倍數, 令c=mathrm{lcm}(a,b), 則qgeq c, 進而q有帶餘除法表示

q=pc+r,0leq r< c \

於是r=q-pc, 因為a|q,a|c, 利用整除性質4我們就知道a|r. 同理b|r. 於是r是a,b的公倍數, 但是因為c是a,b的最小公倍數, 隻有可能r=0, 進而q=pc, 也就是說c|q, 或者說mathrm{lcm}(a,b)|q. square

引理2: 對於任意兩個正整數a,b, 若x|a且x|b, 則x|gcd(a,b), 也就是說公約數一定是最大公約數的約數.

證: 設d=gcd(a,b), 我們用反證法, 假設xnotmid d, 我們設c=mathrm{lcm}(x,d), 則cgt d. 因為d|a且x|a, 我們知道a是x,d的公倍數, 根據引理1, 我們知道c|a. 同理c|b, 這意味著c也是a,b的公約數, 因此c< gcd(a,b)=d, 這與前面給出的cgt d矛盾, 於是假設不成立, 即必須有x|d. square

命題1: 對於任意兩個正整數a,b, 存在x,yinmathbb{Z}使得xa+yb=gcd(a,b).

證: 考慮如下的集合

A:={f(x,y)inmathbb Nmid f(x,y)=xa+yb,x,yinmathbb{Z}} \

顯然Asubseteqmathbb N, 於是根據良序原理(自然數集的任意非空子集都有最小值), 集合A中一定存在最小值d=min A, 也就是說存在(x_0,y_0)inmathbb{Z}^2使得d=x_0a+y_0b. 接下來我們證明d=gcd(a,b). 註意到a,b,dgt 0, 根據整除性質3, 我們隻要證明d|gcd(a,b)和gcd(a,b)|d即可證明d=gcd(a,b).

因為gcd(a,b)|x_0a,gcd(a,b)|y_0b, 根據整除性質4, 我們就有gcd(a,b)|x_0a+y_0b, 也就是說gcd(a,b)|d. 這就證明瞭一半瞭, 接下來我們證明另一半, 也就是d|gcd(a,b). 為此我們設a=kd+r, 這裡0leq r< d,kgeq 0. 於是

begin{aligned} r&=a-kd\ &=a-k(ax_0+by_0)\ &=a(1-kx_0)+b(-ky_0)in A end{aligned} \

考慮到r< d且rin A, 而d是A中的最小值, 隻有可能是r=0, 於是a=kd, 即d|a, 類似地, 我們有d|b. 考慮到公約數是最大公約數的約數(引理2), 我們就有d|gcd(a,b). 綜上即有d=gcd(a,b). square

引理3: 設a,b,cinmathbb N, 則有gcd(a,b,c)=gcd(gcd(a,b),c).

證: 我們記gcd(a,b,c)=x,gcd(a,b)=y,gcd(y,c)=z, 則我們需要證明x=z. 證明的思路還是使用整除性質3, 即分別證明x|z和z|x.

我們考慮如下三個集合:

begin{aligned} A&={pinmathbb N_+:p|a,p|b,p|c}\ B&={pinmathbb N_+:p|a,p|b}\ C&={pinmathbb N_+:p|gcd(a,b),p|c} end{aligned} \

根據定義, 我們知道x=max A,y=max B,z=max C. 而根據引理2, 我們知道對於任意p_Ain A, 有p_A|x, 類似地, 對於任意p_Bin B有p_B|y, 對於任意p_Cin C有p_C|z.

首先xin A, 這意味著x|a且x|b, 於是xin B, 進而x|y, 考慮到還有x|c, 我們就知道xin C, 於是x|z.

接下來根據zin C我們知道z|gcd(a,b), 也就是說存在正整數k使得gcd(a,b)=kz, 而根據最大公因數的定義, 我們知道存在正整數m,n使得a=mgcd(a,b),b=ngcd(a,b), 進而就有a=mkz,b=nkz, 即z|a和z|b, 再結合z|c, 我們就有zin A, 於是z|x.

結合x|z和z|x, 我們就有x=z, 即gcd(a,b,c)=gcd(gcd(a,b),c). square

命題2: 對於任意m個正整數a_1,cdots,a_m, 存在整數x_1,cdots,x_m使得

sum_{i=1}^mx_ia_i=gcd{a_1,cdots,a_m} \

證: 我們使用數學歸納法予以證明. 當m=1的時候顯然成立, 因為存在整數1使得 1cdot a_1=a_1=gcd{a_1}. 假設當m=k的時候成立, 即存在整數x_1',x_2',cdots,x_k'使得

sum_{i=1}^kx_i'a_i=gcd{a_1,cdots,a_k} \

那麼根據引理3和命題1, 我們就有

begin{aligned} gcd{a_1,cdots,a_k,a_{k+1}}&=gcd{gcd{a_1,cdots,a_k},a_{k+1}}\ &=gcdleft{sum_{i=1}^{k}x_i'a_i,a_kright}\ &=xsum_{i=1}^kx_i'a_i+ya_k\ &=sum_{i=1}^{k}(xx_i')a_i+ya_k\ &=sum_{i=1}^{k+1}x_ia_{i} end{aligned} \

其中x,y是根據命題1引入的系數, x_i|_{1leq ileq k}=xx_i',x_{k+1}=y. 於是根據歸納法原理我們就證明瞭這個命題對於一切minmathbb N_+都成立. square

命題3: 設mgeq 2, 正整數s_1,cdots,s_m的最大公約數為d, 則存在正整數N使得當ngt N的時候必然存在非負整數c_1,cdots,c_m使得

nd=sum_{i=1}^mc_is_i \

證: 根據命題2, 我們知道存在整數n_1,cdots,n_m使得sum_{i=1}^mn_is_i=d, 現在我們令

q=sum_{n_igeq 0}n_is_i,r=sum_{n_i< 0}(-n_i)s_i \

於是d=q-r, 或者說q=r+d. 若r=0, 則q=d, 這時命題3對於任意的n都成立. 若rneq 0, 我們取N=(r/d)^2, 則當ngt N的時候, 把n寫成

n=kcdotfrac{r}{d}+l, 0leq lleqfrac{r}{d}-1 \

因為N=(r/d)^2, 這時必然有kgeq r/dgt l, 於是k-lgt 0. 從而

begin{aligned} nd&=kr+ld\ &=(k-l)r+l(r+d)\ &=(k-l)r+lq\ &=sum_{n_igeq 0}(ln_i)s_i+sum_{n_i< 0}(k-l)(-n_i)s_i end{aligned} \

這裡ln_i,(k-l)(-n_i)都是正的, 這就證明瞭命題3. square

利用命題3, 我們現在就可以證明定理1.5瞭:

既然d(i)=d, 而d(i)是使得p_{ii}^{(n)}gt 0的n的最大公約數, 我們就知道存在正整數s_1,cdots,s_m使得d=gcd(s_1,cdots,s_m)且p_{ii}^{(s_j)}gt 0. 而根據命題3, 存在正整數N, 使得ngt N時必有

nd=sum_{i=1}^mc_is_i \

從而根據C-K方程, 我們就有

begin{aligned} p_{ii}^{(nd)}&geq (p_{ii}^{(s_1)})^{c_1}cdots(p_{ii}^{(s_m)})^{c_m}\ &gt 0end{aligned} \

證畢. square

根據定理1.5, 盡管我們不能保證p_{ii}^{(nd)}gt 0對於任意n成立, 但是對於充分大的n這個結果是成立的, 而充分大就意味著我們其實討論的是它的極限情況.

前文提到, 非周期的本質狀態有著重要價值, 接下來我們就來討論它的價值所在.

遍歷態與Markov鏈的平穩分佈

我們首先回憶一下上一節中的一些內容:

一些符號:

begin{aligned} T_{ij}&:=inf{ninmathbb N|X_m=i,X_{m+n}=j}\ f_{ij}^{(n)}&:=mathbb P(T_{ij}=n|X_0=i), ngeq 1\ f_{ij}&:=sum_{n=1}^{+infty}f_{ij}^{(n)}\ mu_i&:=mathbb E(T_{ii}|X_0=i)=sum_{n=1}^{+infty}nf_{ii}^{(n)}\ end{aligned} \

一些定義:

稱f_{ii}=1的態為常返態, 反之為非常返態(暫留態); 稱mu_i=+infty的態為零常返態, 反之稱為正常返態; 若態i滿足ito j則必有jto i, 則稱i為本質態, 其互通類稱作本質類, 反之為非本質態, 互通類為非本質類; 若iinmathscr C且jnotinmathscr C就有inotto j, 則稱mathscr C為閉集, 若一個閉集的任意真子集都不是閉集, 則稱其為不可約閉集.

一些結論:

(1) 對任意的iin I, i常返的充要條件為displaystylesum_{n=1}^{+infty}p_{ii}^{(n)}=+infty;

(2)設i為常返態, 則i為零常返態的充要條件是displaystylelim_{nto+infty}p_{ii}^{(n)}=0;

(3) 狀態集的子集mathscr C是閉集, 當且僅當對於每個iinmathscr C, 有displaystylesum_{jinmathscr C}p_{ij}=1;

(4) 互通類中所有狀態具有相同的狀態分類, 具有相同的周期;

(5) 一個狀態集是不可約閉集, 當且僅當它是一個本質類;

(6) 常返類是本質類.

我們不加證明地給出下面的一個定理:

我們知道, 若一個態i是常返態, 則從態i出發會以概率1無窮次返回態i; 如果它還是正常返態, 則每次從態i出發返回i的步長是有限的. 如果一個態是周期態, 則隻有周期的倍數時刻才有可能看到返回這個態. 於是如果一個態是正常返非周期的, 則它可以無指定時間間隔地、頻繁地返回這個態, 為此我們專門引入一個概念來描述之:

我們很快就會看到遍歷態的價值瞭, 不過在此之前我們先給出下面的一個定義:

註1: 條件(1)和(2)意味著{pi_j,jin I}給出瞭I上的一個概率分佈(分佈列);

註2: 我們記行向量boldsymbol{pi}=(cdots,pi_j,cdots), 則平穩方程就可以寫成boldsymbol{pi}=boldsymbol{pi}mathbf{P}, 進而就有

boldsymbol{pi}=boldsymbol{pi}mathbf{P}=boldsymbol{pi}mathbf{P}^2=cdots=boldsymbol{pi}mathbf{P}^n \

而根據C-K方程mathbf{P}^n=mathbf{P}^{(n)}, 上面的結果也可以寫成

boldsymbol{pi}=boldsymbol{pi}mathbf{P}^{(n)} \

這是平穩方程的另一個寫法.

註3: 給定一條Markov鏈{X_n,ninmathbb N}, 它具有平穩分佈pmbpi, 若其初始概率分佈為boldsymbol{p}^mathrm{T}(0)=boldsymbol{pi}, 那麼根據在Markov過程(A)中給出的結論, 我們知道在n時刻的絕對概率分佈為

begin{aligned} boldsymbol{p}^mathrm{T}(n)&=boldsymbol{p}^mathrm{T}(0)mathbf{P}^{(n)}\ &=boldsymbol{pi}mathbf{P}^{(n)}\ &=boldsymbol{pi}=boldsymbol{p}^mathrm{T}(0) end{aligned} \

也就是說, 這條Markov鏈的概率分佈與時間無關, 即{X_n|_{boldsymbol{p}^mathrm{T}(0)=boldsymbol{pi}},ninmathbb N}構成瞭一個嚴平穩過程, 這也是為什麼我們稱boldsymbol{pi}為平穩分佈的原因.

註4: Markov鏈的平穩分佈一般不是唯一的, 事實上, 如果一條鏈有兩個不可約閉集, 則我們首先考慮不可約閉集mathscr C上的平穩分佈pi_j(即求解滿足定義中三個條件的代數方程), 然後通過令tildepi_j|_{mathscr C}=pi_j, 且tildepi_j=0,jnotinmathscr C將其延拓到整個Markov鏈上, 顯然tildepi_j也構成一平穩分佈. 給定一個不可約閉集就可以產生這樣的一個平穩分佈, 而不可約閉集是不相交的, 這就意味著平穩分佈不唯一.

正如註4所述, 平穩分佈一般是不唯一的, 不過對於一些特定的情況, 我們可以判定平穩分佈是唯一的, 我們需要用到的就是前文提到的遍歷態的概念:

證: 首先我們證明平穩分佈的唯一性. 假定對於該非周期Markov鏈存在平穩分佈, 則根據定理2.1與註2, 我們就有

begin{aligned} pi_j&=lim_{nto+infty}sum_{iin I}pi_ip_{ij}^{(n)}\ &=sum_{iin I}pi_ilim_{nto+infty}p_{ij}^{(n)}\ &=sum_{iin I}pi_ifrac{1}{mu_j}=frac{1}{mu_j}sum_{iin I}pi_i\ &=frac{1}{mu_j} end{aligned} \

首先因為註2對所有的n都成立, 我們取極限後自然也是成立的, 接下來我們交換瞭極限和求和的順序, 如果狀態空間有限則無所謂, 如果狀態空間無限就需要額外小心, 不過因為|pi_ip_{ij}^{(n)}|leq|pi_i|, 而sum_{iin I}pi_i=1, 根據控制收斂定理(不嚴格地說, 這個定理指出如果一個序列的每一項都小於一收斂序列的項, 則極限和求和可以交換順序)我們交換求和和取極限是可行的, 考慮到這是一構造性證明, 我們直接給出瞭其平穩分佈, 這就證明瞭唯一性.

現在我們證明充分性, 即如果存在平穩分佈, 則不可約非周期Markov鏈遍歷(也就是說它的每個態都是正常返的). 首先, 不可約Markov鏈必然所有態歸屬同一互通類, 這是前文結論(5)給出的, 考慮到結論(4), 要證明Markov鏈是遍歷鏈, 我們隻要證明其中一個態是遍歷的, 也就是說是正常返的即可. 因為平穩分佈我們已經得到瞭, 有sum_{jin I}frac{1}{mu_j}=1, 這表明至少存在一個kin I使得1/mu_kgt 0, 這意味著mu_k< +infty, 於是k是正常返的, 進而所有態都是正常返的.

接下來證明必要性, 假設Markov鏈是遍歷鏈, 則存在平穩分佈, 事實上, 我們隻要證明{pi_j=1/mu_j,jin I}構成一平穩分佈即可, 也就是分別驗證條件(1), (2), (3). 條件(1)是顯然的, 根據C-K方程和定理2.1, 我們有

begin{aligned} frac{1}{mu_j}&=lim_{mto+infty}p_{ij}^{(m+n)}\ &=lim_{mto+infty}sum_{kin I}p_{ik}^{(m)}p_{kj}^{(n)}\ &=sum_{kin I}lim_{mto+infty}p_{ik}^{(m)}p_{kj}^{(n)}\ &=sum_{kin I}frac{1}{mu_k}p_{kj}^{(n)} end{aligned} \

這就證明瞭條件(3), 同時這裡我們再一次用到瞭控制收斂定理來處理求和和取極限的交換問題. 最後我們在上式中去nto+infty的極限, 再次使用定理2.1, 並忽略對極限和求和交換的論證, 得到

frac{1}{mu_j}=sum_{kin I}frac{1}{mu_k}frac{1}{mu_j} \

也就是說

sum_{kin I}frac{1}{mu_k}=1 \

這就證明瞭條件(2). 綜上就證明瞭這個定理. square

根據這個定理, 如果我們已經確定瞭一條鏈是非周期的不可約Markov鏈, 然後求解它的平穩分佈, 如果方程有解, 則對應的態為正常返態, 而前文我們已經給出瞭將一個態所在的不可約閉集轉換為非周期態的方法瞭.

類似於這個定理, 我們也有判定常返態和非常返態的代數方法, 這個我們不加證明的給出來:

根據這個定理, 一旦我們確定瞭狀態轉移矩陣mathbf{P}, 求解上述方程組即可解得f_{ij}, 然後根據定義即可確定常返與否. 當然, 要使用這個定理進行判定, 還需要一些額外的結論, 這些就不再敘述瞭.