Bir Markov zincirinin durağan olasılığı
Bir Markov zincirinin durağan olasılığı , genellikle bu Markov zincirinin durum uzayının her bir durumunda harcanan zamanın asimptotik olarak kesri olarak yorumlanır . Nitekim, Markov zincirleri için güçlü sayılar yasasının bir versiyonu şunu belirtir:
π=(πben)ben∈E{\ displaystyle \ pi = (\ pi _ {i}) _ {i \ E’de}} X=(Xdeğil)değil≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}}ben{\ displaystyle i}E{\ displaystyle E}
πben = limdeğil 1X0=ben+1X1=ben+⋯+1Xdeğil-2=ben+1Xdeğil-1=bendeğil = limdeğil Sdeğil(ben)değil,{\ displaystyle \ pi _ {i} \ = \ \ lim _ {n} \ {\ frac {1_ {X_ {0} = i} + 1_ {X_ {1} = i} + \ noktalar + 1_ {X_ { n-2} = i} + 1_ {X_ {n-1} = i}} {n}} \ = \ \ lim _ {n} \ {\ frac {S_ {n} (i)} {n}} ,}
neredeyse kesinlikle, aşağıda ayrıntıları verilen belirli varsayımlar altında. Rastgele değişken olduğu için harcanan zaman olarak yorumlanır Markov zincirin birinci adımda. Fraksiyon nedenle olarak geçirilen sürenin fraksiyonudur sırasında Markov zincirin birinci adımda. Bu fraksiyonun sonsuzluğa doğru yakınsaması önemsiz bir sonuç değildir. Bekleme süresiyle ilgili daha fazla tartışma, Markov zincirinin yinelenmesi ve geçiciliği sayfasında bulunabilir .
Sdeğil(ben){\ displaystyle S_ {n} (i)}ben{\ displaystyle i}değil{\ displaystyle n}X.{\ displaystyle X.}Sdeğil(ben)/değil{\ displaystyle S_ {n} (i) / n}ben{\ displaystyle i}değil{\ displaystyle n}değil{\ displaystyle n}
Tanım
Tanım -
- Bir ölçü durum uzay Markov zinciri ile geçiş matrisi olarak adlandırılır sabit iseμ=(μben)ben∈E{\ displaystyle \ mu = (\ mu _ {i}) _ {i \ E içinde}}E{\ displaystyle E}X=(Xdeğil)değil≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}} P=(pben,j)(ben,j)∈E2{\ displaystyle P = \ sol (p_ {i, j} \ sağ) _ {(i, j) \ E ^ {2}}}
μ=μP,{\ displaystyle \ mu = \ mu \, P,}
Veya eşdeğer olarak,
∀j∈E,μj=∑ben∈Eμbenpben,j.{\ displaystyle \ forall j \ in E, \ qquad \ mu _ {j} = \ sum _ {i \ in E} \ mu _ {i} \, p_ {i, j}.}
Sabit bir ölçü,
özdeğer 1 ile ilişkili geçiş matrisinin transpoze edilmesinin bir
özfonksiyonudur .
- Sabit bir ölçüye , ek koşulları karşılıyorsa, sabit olasılık veya sabit yasa denir :π{\ displaystyle \ pi}
∀ben∈E,πben ≥ 0,{\ displaystyle \ forall i \ in E, \ qquad \ pi _ {i} \ \ geq \ 0,}
ve∑ben∈Eπben = 1.{\ displaystyle {\ text {ve}} \ qquad \ sum _ {i \ içinde E} \ pi _ {i} \ = \ 1.}
Notlar:
- Markov zinciri a, durağan süreç her için, diğer bir deyişle aynı olasılık kanunu sahip , ancak ve ancak, eğer başlangıç yasa ve (kanunu ) a, sabit olasılığı .X=(Xdeğil)değil≥0{\ displaystyle X = (X_ {n}) _ {n \ geq 0}}değil≥1,{\ displaystyle n \ geq 1,} (Xdeğil,Xdeğil+1,Xdeğil+2,...){\ displaystyle \ sol (X_ {n}, X_ {n + 1}, X_ {n + 2}, \ noktalar \ sağ)}(X0,X1,X2,...),{\ displaystyle \ sol (X_ {0}, X_ {1}, X_ {2}, \ noktalar \ sağ),}X{\ displaystyle X}X0{\ displaystyle X_ {0}}
- Özellikle, bu, Markov zincirinin ilk yasasının durağan bir olasılık olması durumunda, yasasının da bu sabit olasılıktan bağımsız olarak aynı durağan olasılık olduğu anlamına gelir.X{\ displaystyle X}Xdeğil{\ displaystyle X_ {n}}değil.{\ displaystyle i.}
- Durağan olasılıklar kümesi dışbükeydir .
Varlık ve benzersizlik: indirgenemez durum
Sabit bir olasılık varlığı bir için indirgenemez Markov zincir özelliklerine ilgili olan geri dönüş zaman
ve özellikle nüks özellikleri devletπ{\ displaystyle \ pi} ben,{\ displaystyle i}ben.{\ displaystyle i.}
Tanım -
- İlk dönüş zamanı not değerleri rastgele değişken tarafından tanımlananben,{\ displaystyle i}Tben,{\ displaystyle T_ {i},}DEĞİL¯=DEĞİL∪{+∞},{\ displaystyle {\ overline {\ mathbb {N}}} = \ mathbb {N} \ cup \ {+ \ infty \},}
Tben={inf{k≥1|Xk=ben} Eğer {k≥1|Xk=ben}≠∅,+∞ değilse..{\ displaystyle T_ {i} = \ sol \ {{\ başla {dizi} {ll} \ inf \ {k \ geq 1 \, | \, X_ {k} = i \} & {\ text {si}} \ {k \ geq 1 \, | \, X_ {k} = i \} \ neq \ emptyset, \\ + \ infty & {\ text {aksi halde.}} \ end {dizi}} \ sağ ..}
- Devlet olduğunu tekrarlayan pozitif bu duruma ilk getiri zamanın beklenti, bu durumdan başlayarak, yani eğer sonlu iseben{\ displaystyle i}
Eben[Tben] < +∞.{\ displaystyle \ mathbb {E} _ {i} \ sol [T_ {i} \ sağ] \ <\ + \ infty.}
Belirli bir Markov zincirini incelerken, geçiş matrisinin genel olarak iyi tanımlandığını ve çalışma boyunca sabitlendiğini, ancak başlangıç yasasının çalışma sırasında değişebileceğini ve gösterimlerin başlangıç yasasını yansıtması gerektiğini hatırlayın. Çalışmada bir Markov zinciri olarak kabul ettiğimiz nokta, o zaman tarafından tanımlanan bir başlangıç kanunu zinciri olarak kabul edilir ve beklentiler not edilir.Özellikle, Markov zincirinin olasılıklardan başladığını söylersek ve beklentiler yukarıda notasyonda not
edilirse indeks , Markov zinciri için beklentiyi, ie tarafından tanımlanan başlangıç yasasından başlayarak hesapladığımız anlamına gelir. Böylece, duruma iki ardışık geçiş arasındaki "tipik" zaman aralığı olarak yorumlanır.∀ben∈E,P(X0=ben)=μben,{\ displaystyle \ forall ben \ E, \ quad \ mathbb {P} \ sol (X_ {0} = i \ sağ) = \ mu _ {i},}Pμ(...),{\ displaystyle \ mathbb {P} _ {\ mu} \ sol (\ noktalar \ sağ),}Eμ[...].{\ displaystyle \ mathbb {E} _ {\ mu} \ sol [\ noktalar \ sağ].}P(X0=j)=1,{\ displaystyle \ mathbb {P} \ sol (X_ {0} = j \ sağ) = 1,}j,{\ displaystyle j,}Pj(...),{\ displaystyle \ mathbb {P} _ {j} \ sol (\ noktalar \ sağ),}Ej[...].{\ displaystyle \ mathbb {E} _ {j} \ sol [\ noktalar \ sağ].}Eben,{\ displaystyle \ mathbb {E} _ {i},}ben{\ displaystyle i}ben,{\ displaystyle i}P(X0=ben)=1.{\ displaystyle \ mathbb {P} (X_ {0} = i) = 1.}Eben[Tben]{\ displaystyle \ mathbb {E} _ {i} \ sol [T_ {i} \ sağ]}ben.{\ displaystyle i.}
Teorem - Bir Markov zinciri indirgenemezse , o zaman en fazla bir durağan olasılık vardır. Daha sonra 3 önerme arasında bir denkliğe sahibiz:
- durağan bir olasılık var
- tekrar eden olumlu bir durum var,
- tüm durumlar tekrarlayan pozitiftir.
Yukarıdaki 3 koşuldan birinin karşılandığını varsayalım ve benzersiz durağan olasılığı not edin : o zaman
π{\ displaystyle \ pi}
∀ben∈E,πben = 1Eben[Tben].{\ displaystyle \ forall i \ in E, \ quad \ pi _ {i} \ = \ {\ frac {1} {\ mathbb {E} _ {i} \ sol [T_ {i} \ sağ]}}. }
Teoremi - olan bir indirgenemez Markov zinciri sonlu durum alanı olan pozitif tekrarlayan (yani tüm durumları pozitif tekrarlayan vardır). Bu nedenle tam olarak durağan bir olasılığı vardır.
Durağan olasılıkların varlığı ve benzersizliği, Markov zincirinin durumlarının sınıflandırılması ve pozitif yineleme arasındaki ilişki, Varlık ve benzersizlik bölümünde tamamen genel bir çerçevede ele alınmaktadır . Bununla birlikte, sadece indirgenemez Markov zincirleri için geçerli olan yukarıdaki teoremler, çok sayıda örnekte yeterlidir.
Büyük sayıların güçlü yasası
İndirgenemez ve tekrarlayan pozitif Markov zinciri durumunda, büyük sayıların güçlü yasası yürürlüktedir: Markov zincirinin örnekleri üzerindeki bir fonksiyonun ortalaması, durağan olasılığına göre ortalamasına eşittir. Daha doğrusu, varsayım altında
f{\ displaystyle f}
∑ben∈E|f(ben)|πben <+∞,{\ displaystyle \ toplamı _ {i \ E içinde} | f (i) | \, \ pi _ {i} \ <+ \ infty,}Biz neredeyse kesinlikle var :
limdeğil1değil∑k=0değil-1f(Xk) = ∑ben∈Ef(ben)πben = πf.{\ displaystyle \ lim _ {n} \; {\ frac {1} {n}} \; \ toplamı _ {k = 0} ^ {n-1} f (X_ {k}) \ = \ \ toplam _ {i \ E içinde} f (i) \, \ pi _ {i} \ = \ \ pi f.}Bu nedenle, örneklerin değerinin ortalaması, uzun vadede, durağan olasılık beklentisine eşittir. Özellikle, araçlar üzerindeki bu eşdeğerlik , durum uzayının bir alt kümesinin gösterge işlevi ise geçerlidir :
f{\ displaystyle f}AT{\ displaystyle A}
limdeğil1değil∑k=0değil-11AT(Xk) = ∑ben∈AT πben = π(AT).{\ displaystyle \ lim _ {n} \; {\ frac {1} {n}} \; \ toplamı _ {k = 0} ^ {n-1} 1_ {A} (X_ {k}) \ = \ \ toplam _ {i \ içinde A} \ \ pi _ {i} \ = \ \ pi (A).}Bu, belirli bir diziden oluşturulan bir histogram ( deneysel dağılım ) ile durağan olasılığa yaklaşmayı mümkün kılar .
Ergodiklik
İşlem, ilk hakları gibi sabit olasılık alınarak yapılmış ise, özellikle, vites değiştirme ile tanımlanır
θ{\ displaystyle \ theta}
x=(x0,x1,x2,...)∈EDEĞİL→θx=(x1,x2,x3,...){\ displaystyle x = (x_ {0}, x_ {1}, x_ {2}, \ noktalar) \ içinde E ^ {\ mathbb {N}} \ quad \ rightarrow \ quad \ theta \, x = (x_ { 1}, x_ {2}, x_ {3}, \ noktalar)}
Markov zincirini dinamik bir sistem haline getiren ölçüyü korur. Büyük sayıların güçlü yasası, Markov zincirinin ergodik bir dinamik sistem olmasına neden olur . Ergodiklik aynı zamanda güçlü sayılar yasasından daha güçlüdür, çünkü örneğin, neredeyse belirli bir sınıra sahip olduğu sonucuna varabiliriz, ancak aynı zamanda daha zayıftır çünkü prensipte Markov zincirinin durağanlığını gerektirir, ki durum böyle değildir. büyük sayıların güçlü yasası ile.
1değil∑k=0değil-1f(Xk,Xk+1),{\ displaystyle {\ frac {1} {n}} \; \ toplamı _ {k = 0} ^ {n-1} f (X_ {k}, X_ {k + 1}),}∑ben,j∈Ef(ben,j)πbenpben,j,{\ displaystyle \ toplamı _ {i, j \ E içinde} f (i, j) \, \ pi _ {i} p_ {i, j},}
Sabit hukuka yakınsama
Marjinal yasanın yakınsaması
Markov zinciri ise indirgenemez pozitif tekrarlayan ve periyodik olmayan, daha sonra , her satır özgü sabit dağılımı olan bir matrisi yakınsar
, hukuk, özellikle bir yakınsar , bağımsız bir şekilde, ilk hukuk bitmiş bir durum alan durumunda, bu Perron-Frobenius teoremi ile kanıtlanmıştır .
Pk{\ displaystyle P ^ {k}}π.{\ displaystyle \ pi.}μdeğil{\ displaystyle \ mu _ {n}}Xdeğil{\ displaystyle X_ {n}}π{\ displaystyle \ pi}μ0.{\ displaystyle \ mu _ {0}.}
Tipik olarak, örneğin indirgenemez ve periyodik olmayan sonlu durum uzayına sahip bir Markov zinciri durumunda yakınsama üstel olarak hızlıdır, yani herhangi bir norm için bulabiliriz ve öyle ki
K>0{\ displaystyle K> 0}α∈]0,1[{\ displaystyle \ alpha \ in] 0,1 [}
‖μdeğil-π‖≤K αdeğil.{\ displaystyle \ Vert \ mu _ {n} - \ pi \ Vert \ leq K \ \ alpha ^ {n}.}
Tersine çevrilebilir zincirlerin özel durumundaki bu üstel düşüşün bir kanıtı , makalenin ilerleyen kısımlarında bulunabilir .
Ampirik ölçümün yakınsaması
Markov zinciri indirgenemez ve pozitif tekrarlıysa, büyük sayıların güçlü yasasını takiben, Markov zincirinin ampirik ölçüsü,
1değil∑k=0değil-1δXk=1değil∑ben∈E Sdeğil(ben)δben,{\ displaystyle {\ tfrac {1} {n}} \ quad \ sum _ {k = 0} ^ {n-1} \, \ delta _ {X_ {k}} \ quad = \ quad {\ tfrac {1 } {n}} \ quad \ sum _ {i \ içinde E} \ S_ {n} (i) \, \ delta _ {i},}
benzersiz sabit dağıtıma yakınsar. Tipik olarak, örneğin pozitif tekrarlayan indirgenemez sonlu durum uzayı Markov zinciri durumunda, yakınsama, belirli bir anlamda içindedir.
Bu, sabit olasılığa belirli bir diziden oluşturulan bir histogram tarafından yaklaşılmasına izin verir . Not: Yukarıda belirtilen yasa sabit bir olasılık ölçüsü iken, ampirik yasa bir rasgele olasılık ölçüsüdür veya istenirse, olasılık ölçülerindeki değerlere sahip rasgele bir değişkendir.
Ö(1/değil).{\ displaystyle {\ mathcal {O}} (1 / {\ sqrt {n}}).}Xdeğil,{\ displaystyle X_ {n},}μdeğil{\ displaystyle \ mu _ {n}}
Düşünceli rastgele yürüyüş:
Markov zinciridir geçiş matrisi durum alan tarafından tanımlanan her şey için ve için yakın çalışma ile ilgili olan bu modelde M / M / 1 sıraları . Yansıtıcı rastgele yürüyüş
E=DEĞİL,{\ displaystyle E = \ mathbb {N},}pk,k+1=p,{\ displaystyle p_ {k, k + 1} = p,}k,{\ displaystyle k,}pk,k-1=1-p=q,{\ displaystyle \ quad p_ {k, k-1} = 1-p = q,}k≥1,{\ displaystyle k \ geq 1,} p0,0=q.{\ displaystyle \ quad p_ {0,0} = q.}
-
indirgenemez için0<p<1,{\ displaystyle 0 <p <1,}
- sabit hukuk için pozitif yineleme0<p<0.5,{\ displaystyle 0 <p <0,5,}πk=(1-ρ)kρ,ρ=(q-p)/q,{\ displaystyle \ pi _ {k} = (1- \ rho) ^ {k} \ rho, \ quad \ rho = (qp) / q,}
- tekrarlayan sıfır p=0.5,{\ displaystyle p = 0,5,}
- geçici p>0.5.{\ displaystyle p> 0,5.}
0'da yansıyan yürüyüş için ampirik dağılımlar ve sabit dağılım örnekleri çizdik, çünkü : Birinin diğerine yakınsaması 0'a doğru eğilimli olduğu için daha yavaş ve daha yavaş görünüyor , yani tekrarlayan sıfır ve geçici durumlara yaklaştığımızda.
ρ>0{\ displaystyle \ rho> 0}ρ{\ displaystyle \ rho}
Tersinir zincirler
Kriterler
Teorem -
1. Tatmin edici bir
sonlu kütle ölçüsü ise μ=(μben)ben∈E{\ displaystyle \ mu = (\ mu _ {i}) _ {i \ E içinde}}‖μ‖{\ displaystyle \ Yeşil \ mu \ Yeşil}(‖μ‖=∑ben∈Eμben<+∞){\ displaystyle (\ Yeşil \ mu \ Yeşil = \ toplamı _ {i \ içinde E} \ mu _ {i} <+ \ infty)}
∀ben,j∈E,μbenpben,j=μjpj,ben,{\ displaystyle \ forall i, j \ E içinde, \ qquad \ mu _ {i} p_ {i, j} = \ mu _ {j} p_ {j, i},}
o zaman durağan bir olasılıktır.
π=μ/‖μ‖{\ displaystyle \ pi = \ mu / \ Yeşil \ mu \ Yeşil}
2. Daha genel olarak, sonlu bir kütle ölçümü için tatmin edici bir
geçiş matrisi varsa μ=(μben)ben∈E{\ displaystyle \ mu = (\ mu _ {i}) _ {i \ E içinde}}(qben,j)ben,j∈E{\ displaystyle (q_ {i, j}) _ {i, j \ E’de}}
∀ben,j∈E,μbenpben,j=μjqj,ben,{\ displaystyle \ forall i, j \ E içinde, \ qquad \ mu _ {i} p_ {i, j} = \ mu _ {j} q_ {j, i},}
o zaman durağan bir olasılıktır.
π=μ/‖μ‖{\ displaystyle \ pi = \ mu / \ Yeşil \ mu \ Yeşil}
3. Daha sonra aşağıdaki gibi tanımlandığı gibi geçiş matrisi ile ilişkili bir durağan olasılık ise
π{\ displaystyle \ pi}(pben,j)ben,j∈E,{\ displaystyle (p_ {i, j}) _ {i, j \ E’de},}∀ben∈E, πben>0,{\ displaystyle \ forall i \ in E, \ \ pi _ {i}> 0,}(qben,j)ben,j∈E,{\ displaystyle (q_ {i, j}) _ {i, j \ E’de},}
qben,j=πjpj,benπben,{\ displaystyle q_ {i, j} = {\ frac {\ pi _ {j} p_ {j, i}} {\ pi _ {i}}},}
bir geçiş matrisidir.
Gösteri
1 ve 2.
(μP)j=∑ben∈Eμbenpben,j=∑ben∈Eμjqj,ben=μj∑ben∈Eqj,ben=μj,{\ displaystyle {\ begin {align} (\ mu \, P) _ {j} & = \ sum _ {i \ E} \ mu _ {i} p_ {i, j} \\ & = \ toplam _ {i \ in E} \ mu _ {j} q_ {j, i} \\ & = \ mu _ {j} \ sum _ {i \ in E} q_ {j, i} \\ & = \ mu _ {j}, \ end {hizalı}}}
Bir geçiş matrisinin (örneğin ) bir stokastik matris olmasından doğan son eşitlik . Yani μ ve π , P'nin solundaki özvektörlerdir ve özdeğer 1, CQFD ile ilişkilendirilir. (Not: 1. 2. özel bir durumdur) bize doğrulamak olsun 3. ) a, stokastik matris : tüm i de E ,
(qben,j)ben,j∈E{\ displaystyle (q_ {i, j}) _ {i, j \ E’de}}(qben,j)ben,j∈E{\ displaystyle (q_ {i, j}) _ {i, j \ E’de}}
∑j∈Eqben,j=∑j∈Eπjpj,benπben=1πben ∑j∈Eπjpj,ben=1.{\ displaystyle {\ begin {align} \ sum _ {j \ in E} q_ {i, j} & = \ sum _ {j \ in E} {\ frac {\ pi _ {j} p_ {j, i }} {\ pi _ {i}}} \\ & = {\ frac {1} {\ pi _ {i}}} \ \ sum _ {j \ in E} \ pi _ {j} p_ {j, i} \\ & = 1. \ end {hizalı}}}
Matris olan ilave matrisin için nokta ile tanımlanan ürün
(qben,j)ben,j∈E{\ displaystyle (q_ {i, j}) _ {i, j \ E’de}}(pben,j)ben,j∈E{\ displaystyle (p_ {i, j}) _ {i, j \ E’de}}
⟨x,y⟩ = ∑ben∈Eπbenxbenyben.{\ displaystyle \ langle x, y \ rangle \ = \ \ sum _ {i \ in E} \ pi _ {i} x_ {i} y_ {i}.}
Yorumlama
Değeri olan rastgele bir değişken her şeyi ve
her şeyi tatmin ediyorsaX=(Xt)t∈Z{\ displaystyle X = (X_ {t}) _ {t \ in \ mathbb {Z}}}EZ{\ displaystyle E ^ {\ mathbb {Z}}}(t,değil)∈Z×DEĞİL,{\ displaystyle (t, n) \ in \ mathbb {Z} \ times \ mathbb {N},}(ben0,ben1,...,bendeğil)∈Edeğil+1,{\ displaystyle (i_ {0}, i_ {1}, \ noktalar, i_ {n}) \ içinde E ^ {n + 1},}
P((Xt,Xt+1,...,Xt+değil)=(ben0,ben1,...,bendeğil))=πben0pben0,ben1...pbendeğil-1,bendeğil{\ displaystyle \ mathbb {P} \ sol ((X_ {t}, X_ {t + 1}, \ noktalar, X_ {t + n}) = (i_ {0}, i_ {1}, \ noktalar, i_ {n}) \ right) = \ pi _ {i_ {0}} p_ {i_ {0}, i_ {1}} \ noktalar p_ {i_ {n-1}, i_ {n}}}
olduğunu söyleyebiliriz X, bir geçiş matrisi ile sabit bir Markov zinciri olduğu ve bir sabit hakları Nitekim:
(pben,j)ben,j∈E,{\ displaystyle (p_ {i, j}) _ {i, j \ E içinde}, \ qquad}(πben)ben∈E.{\ displaystyle (\ pi _ {i}) _ {i \ E içinde}.}
- bu, bir ve yalnızca bir olasılık ölçüsünü tanımlar ;EZ{\ displaystyle E ^ {\ mathbb {Z}}}
-
X , zayıf Markov özelliğine sahiptir ;
-
durağanlık : sekansı, (tanımlanan ) sekansı ile aynı yasasına sahip X tüm göreli tamsayılardır için, s .X(s)=(Xt(s))t∈Z{\ displaystyle X ^ {(s)} = (X_ {t} ^ {(s)}) _ {t \ in \ mathbb {Z}}}Xt(s)=Xs+t{\ displaystyle X_ {t} ^ {(s)} = X_ {s + t}}
Zamanın akışını tersine çevirelim, yani şu şekilde tanımlanan sırayı düşünelim :
Y=(Yt)t∈Z{\ displaystyle Y = (Y_ {t}) _ {t \ in \ mathbb {Z}}}
Yt=X-t.{\ displaystyle Y_ {t} = X _ {- t}.}
O zaman bizde
Teklif -
-
Y , bir geçiş matrisine (yukarıdaki 3. maddede tanımlanmıştır) ve bir sabit yasaya sahip , sabit bir Markov zinciridir.(qben,j)ben,j∈E,{\ displaystyle (q_ {i, j}) _ {i, j \ E içinde}, \ qquad}(πben)ben∈E.{\ displaystyle (\ pi _ {i}) _ {i \ E içinde}.}
- If or, eşdeğer olarak, if (qben,j)ben,j∈E=(pben,j)ben,j∈E,{\ displaystyle (q_ {i, j}) _ {i, j \ E’de} = (p_ {i, j}) _ {i, j \ E’de},}πbenpben,j≡πjpj,ben,{\ displaystyle \ pi _ {i} p_ {i, j} \ equiv \ pi _ {j} p_ {j, i},}sonra X ve Y aynı yasaya sahiptir. Bu iki Markov zincirinin geri dönüşümlü olduğu söyleniyor .
Gösteri
πbendeğilpbendeğil,bendeğil-1...pben1,ben0=πben0qben0,ben1...qbendeğil-1,bendeğil,{\ displaystyle \ pi _ {i_ {n}} p_ {i_ {n}, i_ {n-1}} \ noktalar p_ {i_ {1}, i_ {0}} = \ pi _ {i_ {0}} q_ {i_ {0}, i_ {1}} \ noktalar q_ {i_ {n-1}, i_ {n}},}
altın
P((Yt,Yt+1,...,Yt+değil)=(ben0,ben1,...,bendeğil))=P((X-t-değil,X-t-değil+1,...,X-t)=(bendeğil,bendeğil-1,...,ben0))=πbendeğilpbendeğil,bendeğil-1...pben1,ben0.{\ displaystyle {\ begin {align} \ mathbb {P} \ left ((Y_ {t}, Y_ {t + 1}, \ noktalar, Y_ {t + n}) = (i_ {0}, i_ {1 }, \ noktalar, i_ {n}) \ sağ) & = \ mathbb {P} \ left ((X _ {- tn}, X _ {- tn + 1}, \ noktalar, X _ {- t}) = (i_ {n}, i_ {n-1}, \ noktalar, i_ {0}) \ sağ) \\ & = \ pi _ {i_ {n}} p_ {i_ {n}, i_ {n-1 }} \ noktalar p_ {i_ {1}, i_ {0}}. \ end {hizalı}}}
Örnekler
Bir grafik üzerinde rastgele yürüyüş
Let G olmak bağlı bir grafiktir, sonlu basit ve dolaşma olmadan. Tanım olarak,
∀ben,j∈E=V(G), gibi ben∼j,pben,j=1dben,{\ displaystyle \ forall i, j \ in E = V (G), {\ text {örneğin}} i \ sim j, \ qquad p_ {i, j} = {\ frac {1} {d_ {i} }},}
Örneğin , rastgele seçilen (eşit olasılıkla) komşularından birine atlıyoruz , grafikteki derecesini ifade ediyor . Bağlantılılık , rastgele yürüyüşün indirgenemezliğini ve durağan olasılığın benzersizliğini içerir. Kriter 2'nin karşıladığını fark ederiz , burada ie'nin kenar sayısının iki katıdır. Bu , benzersiz sabit olasılıktır: derecesi yüksek olduğu için bir köşede daha fazla zaman geçiririz ve bu asimptotik kalma süresi, derecesi ile orantılıdır. orantılılık katsayılı tepe, Eğlenceli bir örnek, bir atın satranç tahtasında rastgele yürüyüşüdür.
ben,{\ displaystyle i}dben{\ displaystyle d_ {i}}dben{\ displaystyle d_ {i}}ben{\ displaystyle i}G.{\ displaystyle G.}G{\ displaystyle G}μben=dben{\ displaystyle \ mu _ {i} = d_ {i} \ qquad}‖μ‖=2|E(G)|,{\ displaystyle \ Yeşil \ mu \ Yeşil = 2 \ yeşil E (G) \ yeşil, \ qquad}‖μ‖{\ displaystyle \ Yeşil \ mu \ Yeşil \ qquad}G.{\ displaystyle G. \ qquad}πben=dben/(2|E(G)|){\ displaystyle \ pi _ {i} = d_ {i} / (2 \ vert E (G) \ vert) \ qquad}1/(2|E(G)|).{\ displaystyle 1 / (2 \ vert E (G) \ vert). \ qquad}
Süvari satranç tahtasında yürüyüşü
Bu, yukarıdaki örnek özel bir durumudur, nerede
ve So
2≤dben≤8, |V(G)|=|E|=64,{\ displaystyle 2 \ leq d_ {i} \ leq 8, \ \ vert V (G) \ vert = | E | = 64,}‖μ‖=2|E(G)|=336.{\ displaystyle \ Yeşil \ mu \ Yeşil = 2 \ yeşil E (G) \ yeşil = 336.}
πSO köşe=2336veESO köşe[TSO köşe]=168,{\ displaystyle \ pi _ {\ text {coin SO}} = {\ frac {2} {336}} \ quad {\ text {et}} \ quad \ mathbb {E} _ {\ text {coin SO}} \ sol [T _ {\ text {köşe SO}} \ sağ] = 168,}
yani güneybatı köşesinden başlayan bir sürücünün geri dönmesi ortalama 168 sıçrama sürüyor. Satranç oyununun diğer parçalarını da aynı şekilde inceleyebiliriz .
Ehrenfest Urns Modeli
İki köpek (örneğin A ve B ) aşağıdaki şekilde N çipi paylaşır : her t anında , N çipten biri rastgele çekilir ve sonra köpeği değiştirir. İfade tarafından X- t istila fiş sayısı A süre içinde t : (X = X t ) t≥0 sayesinde bir Markov zinciri temel kriter . Diyelim ki ilk durumda, köpek A'nın çipleri yok.
Bu Markov zinciri açıkça indirgenemez. Tersine çevrilebilir olduğunu varsayarsak, sahip olmalıyız
πk+1πk = pk,k+1pk+1,k = DEĞİL-kk+1 = (DEĞİLk+1)(DEĞİLk),{\ displaystyle {\ frac {\ pi _ {k + 1}} {\ pi _ {k}}} \ = \ {\ frac {p_ {k, k + 1}} {p_ {k + 1, k} }} \ = \ {\ frac {Nk} {k + 1}} \ = \ {\ frac {N \ k + 1'i seçin} {N \ k'yi seçin}}}
ki bu, iki terimli katsayılarla orantılı sabit bir olasılığı, π = (π k ) 0≤k≤N gösterir. Binom katsayılarıyla orantılı olan tek olasılık yasası 1/2 (ve N ) parametresinin binom yasasıdır . Zincir bu nedenle oldukça tersine çevrilebilir ve ilk durumdan iki geçiş arasında geçen süre
E0[T0] = 1π0 = 2DEĞİL.{\ displaystyle \ mathbb {E} _ {0} \ sol [T_ {0} \ sağ] \ = \ {\ frac {1} {\ pi _ {0}}} \ = \ 2 ^ {N}.}
Bu örnek, Boltzmann'ın Zermelo'ya verdiği yanıtı göstermektedir: Zermelo , Poincaré'nin tekrarlama teoremi arasında bir çelişki gözlemledi ; burada dinamik bir sistem, belirli bir duruma göre sonsuz sıklıkta geri döner ve H Boltzmann teoremi . Boltzmann'ın cevabı, ortalama tekrarlama süresini tahmin etmekten ibarettir: Moleküller içeren makroskopik bir gaz için Boltzmann , evrenin yaşından çok daha büyük bir süre olan bu sırayı tahmin eder ; nüksler bu nedenle bizim ölçeğimizde görünmezdir.
DEĞİL≫1{\ displaystyle N \ gg 1}10DEĞİL{\ displaystyle 10 ^ {N}}DEĞİL∼DEĞİLAT=6.02 10+23{\ displaystyle N \ sim {\ mathcal {N}} _ {A} = 6,02 \ 10 ^ {+ 23}}
Spektral teori (sonlu durum)
Varsayıyoruz
- durum alanı E , N öğede tamamlandı ,
- tersinir zincir,
- Her tt i kesinlikle olumlu.
Yani
Teorem - Geçiş matrisi P , χ 2 mesafesi için ortonormal bir temelde sola köşegenleştirilebilir , yani iki doğrusal form için ortonormal bir temelde
⟨x,y⟩ = ∑ben=1DEĞİLxbenybenπben.{\ displaystyle \ langle x, y \ rangle \ = \ \ sum _ {i = 1} ^ {N} \, {\ frac {x_ {i} \, y_ {i}} {\ pi _ {i}} }.}
Soldaki öz değerleri gerçektir ve mutlak değerleri 1'den küçüktür.
Gösteri
Not D diyagonal genel terimin köşegen matrisi O halde S = DPD -1 , P'ye benzer simetrik bir matristir . Aslında
πben.{\ displaystyle {\ sqrt {\ pi _ {i}}}.}
Sben,j = πbenpben,jπj = πjpj,benπben = Sj,ben.{\ displaystyle S_ {i, j} \ = \ {\ frac {{\ sqrt {\ pi _ {i}}} \, p_ {i, j}} {\ sqrt {\ pi _ {j}}}} \ = \ {\ frac {{\ sqrt {\ pi _ {j}}} \, p_ {j, i}} {\ sqrt {\ pi _ {i}}}} \ = \ S_ {j, i} .}
Spektral teorem sayesinde, S'nin birimdik bazda köşegenleştirilebilir olduğu ve yalnızca gerçek öz değerlere sahip olduğu sonucuna varıyoruz . Eğer U ve V , iki sol özvektörleri S dik (yani u. , T v = 0 ), daha sonra karşılık gelen özvektörleri P olan , x = Ud ve y Vd = . Böylece sahibiz
0 = sen.tv = x.D-2.ty = ∑ben=1DEĞİLxbenybenπben.{\ displaystyle 0 \ = \ u. ^ {t} v \ = \ xD ^ {- 2}. ^ {t} y \ = \ \ toplamı _ {i = 1} ^ {N} \, {\ frac { x_ {i} \, y_ {i}} {\ pi _ {i}}}.}
Özdeğerlerin çerçevesi iki ilişkiden kaynaklanır:
sen(İD-DPD-1)tsen = 12 ∑1≤ben,j≤DEĞİLπbenpben,j(senbenπben-senjπj)2,{\ displaystyle u \ sol ({\ text {Id}} - DPD ^ {- 1} \ sağ) \, ^ {t} u \ = \ {\ tfrac {1} {2}} \ \ toplam _ {1 \ leq i, j \ leq N} \, \ pi _ {i} p_ {i, j} \, \ left ({\ tfrac {u_ {i}} {\ pi _ {i}}} - {\ tfrac {u_ {j}} {\ pi _ {j}}} \ sağ) ^ {2},}
ve
sen(İD+DPD-1)tsen = 12 ∑1≤ben,j≤DEĞİLπbenpben,j(senbenπben+senjπj)2.{\ displaystyle u \ sol ({\ text {Id}} + DPD ^ {- 1} \ sağ) \, ^ {t} u \ = \ {\ tfrac {1} {2}} \ \ toplam _ {1 \ leq i, j \ leq N} \, \ pi _ {i} p_ {i, j} \, \ left ({\ tfrac {u_ {i}} {\ pi _ {i}}} + {\ tfrac {u_ {j}} {\ pi _ {j}}} \ sağ) ^ {2}.}
Aslında, bu eşitliklerin düz çizgi terimleri pozitif veya sıfırdır. Eğer λ P, herhangi özdeğeridir v ilişkili bir sol özvektör ve eğer U = vD -1 edilir seçilen ardından sol terimlerdir, ve sırasıyla. Dolayısıyla ilan edilen çerçeve.
(1-λ)‖sen‖2{\ displaystyle (1- \ lambda) \ Vert u \ Vert ^ {2}}(1+λ)‖sen‖2,{\ displaystyle (1+ \ lambda) \ Yeşil u \ Yeşil ^ {2},}
Eşitlik durumu. Eğer u zincirin durağan bir olasılığıysa, yukarıdaki ilk ilişkide satır toplamı sıfırdır, dolayısıyla tüm terimleri (pozitif veya sıfırdır) sıfırdır. Bu, u j / π j kesirinin zincir grafiğinin herhangi bir yolu boyunca sabit kalmasına neden olur . Zincir indirgenemezse, u'nun π ile orantılı olduğu , dolayısıyla π'ye eşit olduğu sonucu çıkar . Yani sadece bir durağan olasılık vardır.
İkinci eşitlikle ilgili benzer bir tartışma, yalnızca ve ancak zincir 2. periyotta ise özdeğer -1 için bir özvektör olduğu sonucuna varmamızı sağlar.
Χ 2 mesafesi için yakınsama
Zincir indirgenemezse ve periyodik değilse, 1, çokluk 1'in P'nin özdeğeridir ve diğer özdeğerler mutlak değerde 1'den küçükse , bu mutlak değerlerin maksimumunu α olarak ifade edersek ve ile ifade edersek μ n sürenin sonunda zincirin hukuk n , bunu anlamak
⟨μdeğil-π,μdeğil-π⟩ ≤ VSα2değil.{\ displaystyle \ langle \ mu _ {n} - \ pi, \ mu _ {n} - \ pi \ rangle \ \ leq \ C \, \ alpha ^ {2n}.}
İ sitesindeki göreceli hata şu şekilde tanımlanır:
εben=μdeğil,ben-πbenπben,{\ displaystyle \ varepsilon _ {i} = {\ frac {\ mu _ {n, i} - \ pi _ {i}} {\ pi _ {i}}},}
sonra μ n ve π arasındaki χ 2 mesafesi yazılır
⟨μdeğil-π,μdeğil-π⟩ = ∑ben=1DEĞİLπbenεben2.{\ displaystyle \ langle \ mu _ {n} - \ pi, \ mu _ {n} - \ pi \ rangle \ = \ \ toplamı _ {i = 1} ^ {N} \, \ pi _ {i} \ , \ varepsilon _ {i} ^ {2}.}
Dolayısıyla, göreceli hatalar, daha az olası durumları etkiliyorsa daha az cezalandırıcıdır, ancak klasik Öklid mesafesini kullandığımıza göre daha fazla cezalandırıcıdır:
‖μdeğil-π‖2 = ∑ben=1DEĞİL(μdeğil,ben-πben)2 = ∑ben=1DEĞİLπben2εben2.{\ displaystyle \ Yeşil \ mu _ {n} - \ pi \ Yeşil ^ {2} \ = \ \ toplamı _ {i = 1} ^ {N} \, (\ mu _ {n, i} - \ pi _ {i}) ^ {2} \ = \ \ sum _ {i = 1} ^ {N} \, \ pi _ {i} ^ {2} \, \ varepsilon _ {i} ^ {2}.}
Spektral teori ( Ehrenfest çömleği modelinin durumu )
Teoremi - geçiş matrisi P sahip N + 1 ayrı öz:
1=λ0≥λ1≥⋯≥λk=DEĞİL-2kDEĞİL≥⋯≥λDEĞİL=-1.{\ displaystyle 1 = \ lambda _ {0} \ geq \ lambda _ {1} \ geq \ dots \ geq \ lambda _ {k} = {\ tfrac {N-2k} {N}} \ geq \ dots \ geq \ lambda _ {N} = - 1.}
Vektör e k tarafından tanımlanan
(1-X)k(1+X)DEĞİL-k=∑j=0DEĞİL ek,jXj{\ displaystyle (1-X) ^ {k} (1 + X) ^ {Nk} \, = \, \ toplamı _ {j = 0} ^ {N} \ e_ {k, j} X ^ {j} }
, P'nin solundaki özdeğer λ k ile ilişkili bir özvektördür .
Gösteri
Gerçek sayı dizileri üzerinde tanımlanan T operatörünü şu şekilde ele alıyoruz :
(Tsen)k=DEĞİL-k+1DEĞİLsenk-1+k+1DEĞİLsenk+1,k≥0,{\ displaystyle (Tu) _ {k} \, = \, {\ tfrac {N-k + 1} {N}} \, u_ {k-1} + {\ tfrac {k + 1} {N}} \, u_ {k + 1}, \ quad k \ geq 0,}
kural ile u -1 = 0 . Varsayalım ki λ bir özdeğeridir T ve let u göstermek ilişkili özvektörünü. Hadi poz verelim
F(X)=∑k≥0senkXk.{\ displaystyle F (X) \, = \, \ toplamı _ {k \ geq 0} \, u_ {k} X ^ {k}.}
Yani sahip olmalıyız
λF(X)=∑k≥0(DEĞİL-k+1DEĞİLsenk-1+k+1DEĞİLsenk+1)Xk=X∑k≥0senk-1Xk-1-X2DEĞİL∑k≥0(k-1)senk-1Xk-2+1DEĞİL∑k≥0(k+1)senk+1Xk=XF(X)-X2DEĞİLF′(X)+1DEĞİLF′(X)=XF(X)+1-X2DEĞİLF′(X).{\ displaystyle {\ begin {align} \ lambda F (X) & = \ sum _ {k \ geq 0} \, \ left ({\ tfrac {N-k + 1} {N}} \, u_ {k -1 } + {\ tfrac {k + 1} {N}} \, u_ {k + 1} \ right) X ^ {k} \\ & = X \ sum _ {k \ geq 0} \, \, u_ { k-1} X ^ {k-1} - {\ tfrac {X ^ {2}} {N}} \ sum _ {k \ geq 0} \, (k-1) \, u_ {k- 1} X ^ {k-2} + \, {\ tfrac {1} {N}} \, \ sum _ {k \ geq 0} \, (k + 1) \, u_ {k + 1} X ^ {k } \\ & = XF (X) - {\ tfrac {X ^ {2}} {N}} \, F ^ {\ prime} (X) + \, {\ tfrac {1} {N}} \, F ^ {\ prime} (X) \\ & = XF (X) + {\ tfrac {1-X ^ {2}} {N}} \, F ^ {\ prime} (X). \ End {hizalı }}}
Bu nedenle (resmi olarak) gerekli olacaktır
2DEĞİLF′(X)F(X)=2 λ-X1-X2=λ-11-X+λ+11+X.{\ displaystyle {\ begin {align} {\ tfrac {2} {N}} \, {\ frac {F ^ {\ prime} (X)} {F (X)}} & = 2 \ {\ frac { \ lambda -X} {1-X ^ {2}}} \\ & = {\ frac {\ lambda -1} {1-X}} + {\ frac {\ lambda +1} {1 + X}} . \ end {hizalı}}}
yada bu
F(X) = VS(1-X)(1-λ)DEĞİL/2 (1+X)(λ+1)DEĞİL/2.{\ displaystyle F (X) \ = \ C \, (1-X) ^ {(1- \ lambda) N / 2} \ (1 + X) ^ {(\ lambda +1) N / 2}.}
Dahası, v = (v 0 , v 1 , ..., v N ) bir satır vektörüyse ve u , v'nin sonsuz bir 0 dizisi ile tamamlanmasıyla elde edilen diziyi gösteriyorsa, o zaman
vP = Tsen,{\ displaystyle vP \ = \ Tu,}
ve u ile ilişkili üretme fonksiyonu F , N'den daha düşük derecede bir polinomdur . Ve değerleri X ifadesi için de F , yukarıda verilen (mutlaka derece bir polinomdur K için K üstlerin toplamıdır) kendi değerleri değil sadece T ve aynı zamanda özdeğer P . Şimdi, 1-λ 2k / N biçimindeyse (burada k doğal bir tamsayıyı belirtir), o zaman (1-X) ' in üssü doğal bir tam sayıdır ve (1 + X)' in üssü göreceli bir tamsayıdır. Dahası, k≤N ise , ikinci üs doğal bir sayıdır. Bu, P'ye, 0 ile N arasındaki tam sayılar veya en azından N + 1 özdeğerler olduğu kadar çok sayıda farklı özdeğer verir . Fakat matriks P , boyut N + 1 , daha fazla olamaz N + 1 eigen. Bu nedenle, tüm özdeğerleri ve bunlarla ilişkili sol özvektörleri bulduk. Bu hesaplama Mark Kac'ın yazdığı bir makaleden alınmıştır .
Bu nedenle, durağan yasaya yakınsama, yalnızca başlangıç yasası μ e N'ye dikse , yani
∑ben=0DEĞİL(-1)benμben=0.{\ displaystyle \ toplamı _ {i = 0} ^ {N} \, (- 1) ^ {i} \, \ mu _ {i} = 0.}
Bu durumda, sabit bir C N vardır, öyle ki, herhangi bir doğal sayı k için , elimizde:
‖μ.Pk-π‖≤VSDEĞİL(1-2DEĞİL)k.{\ displaystyle \ Vert \ mu .P ^ {k} - \ pi \ Vert \ leq C_ {N} \, \ sol (1 - {\ tfrac {2} {N}} \ sağ) ^ {k}.}
Varlık ve benzersizlik
Markov zincirinin grafiğinin özelliklerinin ve durumlarının sınıflandırılmasının tartışılmasına yol açtığı gibi, durağan bir olasılığın varlığını ve benzersizliğini tartışmak , aynı zamanda "geri dönüş zamanı" olarak adlandırılan rastgele değişkenin özelliklerini incelemeye de götürür ve sıklıkla not edilir.π{\ displaystyle \ pi}πben>0{\ displaystyle \ pi _ {i}> 0}ben,{\ displaystyle i}Tben.{\ displaystyle T_ {i}.}
Teorem -
Aşağıdaki 2 önerme arasında denkliğimiz var
- Durum tekrarlayan pozitif,ben{\ displaystyle i}
- sabit bir olasılık var öyle kiπ{\ displaystyle \ pi}πben>0.{\ displaystyle \ pi _ {i}> 0.}
Önceki iki koşuldan biri karşılanırsa, o zaman
- sınıf raporunun bir olan son sınıf ,VS{\ displaystyle C}ben{\ displaystyle i}
- orta bölgesinin içerirπ{\ displaystyle \ pi}VS,{\ displaystyle C}
- tüm unsurları tekrarlayan pozitiftir,VS{\ displaystyle C}
- πbenEben[Tben]≤1.{\ displaystyle \ pi _ {i} \ mathbb {E} _ {i} \ sol [T_ {i} \ sağ] \ leq 1.}
Ek olarak, arasında bir denklik vardır
- desteği tam olarak ieπ{\ displaystyle \ pi}VS,{\ displaystyle C}{πj>0}⇔{j∈VS},{\ displaystyle \ {\ pi _ {j}> 0 \} \ Leftrightarrow \ {j \ C \} içinde}}
- πbenEben[Tben]=1,{\ displaystyle \ pi _ {i} \ mathbb {E} _ {i} \ sol [T_ {i} \ sağ] = 1,}
-
π{\ displaystyle \ pi}Bir olan Ekstremal noktası sabit olasılıkların (konveks), setin.
Özellikle, bir Markov zincirinin en az bir tekrarlayan pozitif durumu varsa, o zaman bir durağan olasılık vardır.
Misal:
Grafının yukarıda temsil edilen zincir için, sabit olasılıklarının grubu son iki sınıfa karşılık gelen uçları, segment ve vardır ve bir sabit olasılık formunun zorunlu olanVS={1,3}{\ displaystyle C = \ {1,3 \}}VS′={4,5},{\ displaystyle C ^ {\ prime} = \ {4,5 \},}πVS=(12,0,12,0,0){\ displaystyle \ pi _ {C} = \ sol ({\ tfrac {1} {2}}, 0, {\ tfrac {1} {2}}, 0,0 \ sağ)}πVS′=(0,0,0,12,12).{\ displaystyle \ pi _ {C ^ {\ prime}} = \ left (0,0,0, {\ tfrac {1} {2}}, {\ tfrac {1} {2}} \ sağ).}π=(α,0,α,β,β),α+β=0.5.{\ displaystyle \ pi = \ sol (\ alpha, 0, \ alpha, \ beta, \ beta \ sağ), \ quad \ alpha + \ beta = 0.5.}
Sonuç - Bir Markov zincirinin yalnızca bir son sınıfı varsa, o zaman en fazla bir sabit olasılık vardır. Daha sonra 3 önerme arasında bir denkliğe sahibiz:
VS,{\ displaystyle C}
- durağan bir olasılık var
- tekrar eden olumlu bir durum var,
- son sınıfın tüm durumları pozitif olarak yinelenir.
Yukarıdaki 3 koşuldan birinin karşılandığını varsayalım ve benzersiz durağan olasılığı not edin : o zaman
π{\ displaystyle \ pi}
∀ben∈E,πben = 1Eben[Tben],{\ displaystyle \ forall i \ in E, \ quad \ pi _ {i} \ = \ {\ frac {1} {\ mathbb {E} _ {i} \ sol [T_ {i} \ sağ]}}, }ve bir dizi denkliklerimiz var
{πben>0}⇔{ben∈VS}⇔{ben tekrarlayan pozitif}.{\ displaystyle \ {\ pi _ {i}> 0 \} \ Leftrightarrow \ {i \ in C \} \ Leftrightarrow \ {i {\ text {yinelenen pozitif}} \}.}
Bu teorem özellikle indirgenemez Markov zincirleri için geçerlidir, çünkü ikincisi yalnızca bir sınıfa sahiptir (bu nedenle zorunlu olarak bir son sınıftır); indirgenemez Markov zincirleri özellikle
VS=E.{\ displaystyle C = E.}
Sahip olmak
Notlar
-
Ernst Zermelo; Uber einen Satz der Dynamik une der mechanischen Wärmetheorie , Wied. Ann. 57 (1896), 793.
-
Henri Poincaré; Üç cisim problemi ve dinamik denklemler üzerine , Acta Mathamatica 13 (1890), 1-270.
-
Ludwig Boltzmann; Uber einen mechanischen Satz von Poincaré , Viyana. Ber. 106 (1897), 12.
-
Ludwig Boltzmann; Entgegnung auf die wärmetheoretische Betrachtung des Herrn Zermelo , Wied. Ann. \ textbf {57} (1896), 773; ve: \ textbf {60} (1897), 392.
-
Yaklaşık 15 milyar yıl önce.
-
Bernard Ycart, Markovian modeller ve algoritmalar , s. 127-130.
-
Mark Kac , Random Walk and the Theory of Brownian Motion , American Mathematical Monthly 54 (7) (1947), 369-391. Pdf formatında metin .
Kaynakça
-
Laurent Saloff-Coste , Sonlu Markov zincirleri üzerine dersler, Olasılık Teorisi ve İstatistik Dersleri, 301-413. Matematik Ders Notları. n ° 1665 . Springer (1997).
- Jim Norris, Markov zincirler .
- Samuel Karlin ve Howard E. Taylor, Stokastik Süreçlerde İkinci Bir Ders .
Bağlantılı sayfalar
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">