Sürekli zamanlı Markov süreci
Olarak olasılık teorisi , bir sürekli-zaman Markov işlemi ya da sürekli-zaman Markov zinciri sürekli-zaman varyantı olan Markov modelleri . Daha doğrusu, sayılabilir bir kümede değeri olan matematiksel bir modeldir, durumların her birinde harcanan zaman , üstel bir yasayı izleyen pozitif bir gerçek rastgele değişken .
Bu nesne, kuyruklar gibi belirli sistemlerin evrimini modellemek için kullanılır .
Sonsuz küçük jeneratör ve tanımlar
Sürekli zamanlı bir Markov zinciri ( X t ) t ≥0 ile karakterize edilir
- sonlu veya sayılabilir bir durum kümesi S ;
- tüm eyaletler üzerinde bir ilk dağılım;
- aynı zamanda sonsuz küçük üretici (boyut | S | ² ) olarak da adlandırılan bir geçiş hızı matrisi Q.
İçin i ≠ j , elemanlar q ij matris Q durumundan geçiş hızını ölçmek pozitif reals vardır i durumu için j . Q ii öğeleri , her satırın sütunları sıfır olacak şekilde seçilir, yani
qbenben=-∑j≠benqbenj{\ displaystyle q_ {ii} = - \ toplam _ {j \ neq i} q_ {ij}}( X t ) t ≥0 sürecini tanımlamanın birkaç eşdeğer yolu vardır .
Sonsuz küçük tanım
X t , sürecin t anındaki durumunu tanımlayan rastgele değişken olsun . Tüm pozitif t ve h için , koşullu olarak { X t = i } üzerinde, X t + h ( X s : s ≤ t ) ' den bağımsızdır ve h 0'a meyilli için, hepimiz için j var
Pr(X(t+h)=j∣X(t)=ben)=δbenj+qbenjh+Ö(h),{\ displaystyle \ Pr (X (t + h) = j \ orta X (t) = i) = \ delta _ {ij} + q_ {ij} h + o (h),}burada δ ij O anlamına gelir Kronecker'in delta .
Atlamalarla tanım
Let Y ki burada n onun ardından sürecinin durumu inci atlama ve S , n durum için harcanan zaman Y , n . O halde ( Y n ) n ≥0 , ayrık zamanlı bir Markov zinciridir ve koşullu olarak açık ( Y 0 , ..., Y n ), bekleme süreleri ( S 0 , ..., S n ) bağımsız üstel değişkenlerdir. ilgili parametreler .
(-qY0Y0,...,-qYdeğilYdeğil){\ displaystyle (-q_ {Y_ {0} Y_ {0}}, \ ldots, -q_ {Y_ {n} Y_ {n}})}
Geçiş olasılıkları ile tanım
Tüm t 0 , t 1 , ... ve karşılık gelen tüm durumlar için i 0 , i 1 , ...
Pr(Xtdeğil+1=bendeğil+1|Xt0=ben0,Xt1=ben1,...,Xtdeğil=bendeğil)=pbendeğilbendeğil+1(tdeğil+1-tdeğil),{\ displaystyle \ Pr (X_ {t_ {n + 1}} = i_ {n + 1} | X_ {t_ {0}} = i_ {0}, X_ {t_ {1}} = i_ {1}, \ ldots, X_ {t_ {n}} = i_ {n}) = p_ {i_ {n} i_ {n + 1}} (t_ {n + 1} -t_ {n}),}burada p ij , Kolmogorov denkleminin (en) çözümüdür :
P′(t)=P(t)Q,{\ displaystyle P '(t) = P (t) Q,}başlangıç koşulu için P (0) = I , özdeşlik matrisi . Bu denklemi çözmek daha sonra
P(t)=etQ.{\ displaystyle P (t) = e ^ {tQ}.}
Özellikleri
İndirgenemezlik
Bir durum j olduğu söylenir erişilebilir bir durumdan ı (yazılı i → j elde edilmesi mümkün ise) j den i . Yani, eğer:
∃t≥0, Prben(X(t)=j)>0.{\ displaystyle \ var {t} \ geq 0 {\ text {,}} \ operatorname {Pr} _ {i} (X (t) = j)> 0.}Bir devletin demek ben o iletişim kuran bir devlet ile j (yazılı i ↔ j ise) i → j ve j → i . Durumları bir dizi C a, iletişim sınıfı ifadelerin her bir çift halinde C birbirleriyle iletişim ve eğer hiçbir devlet Cı olmayan bir halen mevcut olan iletişim kurar C . İletişim bir olduğu denklik ilişkisi , durum uzay S edilebilir paylaştırıldı sınıfları iletişim bir dizi içine. Sürekli zamanlı bir Markov süreci, S uzayının tamamı tek bir iletişim sınıfıysa indirgenemez .
Her şey için ve aynı C sınıfı iletişimde , sınırın ( subadditivity özelliklerini kullanarak )
ben{\ displaystyle i}j{\ displaystyle j}
limt→+∞günlükpben,j(t)t{\ displaystyle \ lim _ {t \ ile + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}}}vardır ve bağlı değildir veya bağlı değildir ; not ediyoruz .
ben{\ displaystyle i}j{\ displaystyle j}λ(VS){\ displaystyle \ lambda (C)}
Gösteri
Biz var . Hadi poz verelim . Yani ve . Bu alt katkı , sınırın
pben,ben(s+t)≥pben,ben(s)pben,ben(t){\ displaystyle p_ {i, i} (s + t) \ geq p_ {i, i} (s) p_ {i, i} (t)}ϕben(t)=-günlükpben,ben(t){\ displaystyle \ phi _ {i} (t) = - \ log p_ {i, i} (t)}ϕben(t)≥0{\ displaystyle \ phi _ {i} (t) \ geq 0}ϕben(s+t)≤ϕben(s)+ϕben(t){\ displaystyle \ phi _ {i} (s + t) \ leq \ phi _ {i} (s) + \ phi _ {i} (t)}
λben=limt→+∞ϕben(t)t=inft≥0ϕben(t)t{\ displaystyle \ lambda _ {i} = \ lim _ {t \ ila + \ infty} {\ frac {\ phi _ {i} (t)} {t}} = \ inf _ {t \ geq 0} { \ frac {\ phi _ {i} (t)} {t}}}ile var . Yani ve . Aksi takdirde,
λben≥0{\ displaystyle \ lambda _ {i} \ geq 0}ϕben(t)≥λbent{\ displaystyle \ phi _ {i} (t) \ geq \ lambda _ {i} t}pben,ben(t)≤e-λbent{\ displaystyle p_ {i, i} (t) \ leq e ^ {- \ lambda _ {i} t}}
pben,j(-de)pj,j(t)pj,ben(b)≤pben,ben(t+-de+b)≤e-λben(t+-de+b).{\ displaystyle p_ {i, j} (a) p_ {j, j} (t) p_ {j, i} (b) \ leq p_ {i, i} (t + a + b) \ leq e ^ { - \ lambda _ {i} (t + a + b)}.}Yani ve . Rollerini tersine çevirerek ve biz bulmak . En sonunda,
pj,j(t)≤Ke-λbent{\ displaystyle p_ {j, j} (t) \ leq Ke ^ {- \ lambda _ {i} t}}λj≥λben{\ displaystyle \ lambda _ {j} \ geq \ lambda _ {i}}ben{\ displaystyle i}j{\ displaystyle j}λben=λj=λ{\ displaystyle \ lambda _ {i} = \ lambda _ {j} = \ lambda}
günlükpben,j(-de)t+günlükpj,j(t--de)t≤günlükpben,j(t)t≤günlükpj,j(t+-de)t-günlükpj,ben(-de)t.{\ displaystyle {\ frac {\ log p_ {i, j} (a)} {t}} + {\ frac {\ log p_ {j, j} (ta)} {t}} \ leq {\ frac { \ log p_ {i, j} (t)} {t}} \ leq {\ frac {\ log p_ {j, j} (t + a)} {t}} - {\ frac {\ log p_ {j , bende}}.}Sol uzuv doğru eğilimlidir . Sağ el üyesi de. Yani eğilimlidir .
-λ{\ displaystyle - \ lambda}(günlükpben,j(t))/t{\ displaystyle (\ log p_ {i, j} (t)) / t}-λ{\ displaystyle - \ lambda}
Örneğin, 0 durumunun soğurduğu, {1,2, ...} durumlarının iletişim kuran bir sınıf oluşturduğu ve sistemin neredeyse kesin olarak 0 durumu tarafından soğurulduğu bir zincirde, sınır bazen d hız zincirinin soğurulmasını verir. Kingman parametresi olarak .
Başka bir örnek. Tamsayılar setinde rasgele yürüyüş düşünün jeneratör tarafından verilen , , ve diğer ipuçları için. Matris , üç köşeli bir Toeplitz matrisidir . Yani
{...,-2,-1,0,1,2,...}{\ displaystyle \ {..., - 2, -1,0,1,2, ... \}}Qben,ben=-1{\ displaystyle Q_ {i, i} = - 1}Qben,ben+1=p{\ displaystyle Q_ {i, i + 1} = p} (0<p<1){\ displaystyle (0 <p <1)}Qben,ben-1=q=1-p{\ displaystyle Q_ {i, i-1} = q = 1-p}Qben,j=0{\ displaystyle Q_ {i, j} = 0}Q{\ displaystyle Q}
limt→+∞günlükpben,j(t)t=2pq-1.{\ displaystyle \ lim _ {t \ ile + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}Sınırın kesinlikle negatif if ve sıfır if olduğunu fark ettik .
p≠1/2{\ displaystyle p \ neq 1/2}p=1/2{\ displaystyle p = 1/2}
Gösteri
Sistem , ortalama 1'lik üssel olarak dağıtılmış bir zamandan sonra olasılıkla bir olasılıkla sağa bir adım sağa ve bir adım sola hareket eder. Bir süre sonra , olasılıkla atlamalar olacaktır (bu bir Poisson sürecidir ). Sağa ve sola adımlar atmışsa (yani toplam adım sayısı) , sistem sonunda adımları sağa ( ) taşımış olacaktır . Bu nedenle
p{\ displaystyle p}q{\ displaystyle q}t{\ displaystyle t}j{\ displaystyle j}e-ttj/j!{\ displaystyle e ^ {- t} t ^ {j} / j!}k{\ displaystyle k}k≥0{\ displaystyle k \ geq 0}k+r{\ displaystyle k + r}r{\ displaystyle r}k+2r{\ displaystyle k + 2r}
pben,ben+k(t)=∑r=0+∞e-ttk+2r(k+2r)!(k+2rr)qrpk+r{\ displaystyle p_ {i, i + k} (t) = \ toplam _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r)!}} {K + 2r \ seçin r} q ^ {r} p ^ {k + r}}evet . Bunu fark ettik
k≥0{\ displaystyle k \ geq 0}
pben,ben+k(t)=e-t(p/q)k/2∑r=0+∞(pqt)k+2rr!(k+r)!=e-t(p/q)k/2benk(2tpq),{\ displaystyle p_ {i, i + k} (t) = e ^ {- t} (p / q) ^ {k / 2} \ toplamı _ {r = 0} ^ {+ \ infty} {\ frac { ({\ sqrt {pq}} t) ^ {k + 2r}} {r! (k + r)!}} = e ^ {- t} (p / q) ^ {k / 2} I_ {k} (2t {\ sqrt {pq}}),}burada bir modifiye Bessel fonksiyonu birinci tür. Aynı şekilde,
benk(⋅){\ displaystyle I_ {k} (\ cdot)}
pben,ben-k(t)=∑r=0+∞e-ttk+2r(k+2r)!(k+2rr)prqk+r=e-t(p/q)-k/2benk(2tpq){\ displaystyle p_ {i, ik} (t) = \ toplam _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r )!}} {k + 2r \ seçin r} p ^ {r} q ^ {k + r} = e ^ {- t} (p / q) ^ {- k / 2} I_ {k} (2t { \ sqrt {pq}})}evet . En sonunda,
k<0{\ displaystyle k <0}
pben,j(t)=e-t(p/q)(j-ben)/2ben|j-ben|(2tpq).{\ displaystyle p_ {i, j} (t) = e ^ {- t} (p / q) ^ {(ji) / 2} I_ {| ji |} (2t {\ sqrt {pq}}).}Gibi zaman , bu yüzden var
bendeğil(x)∼ex/2πx{\ displaystyle I_ {n} (x) \ sim e ^ {x} / {\ sqrt {2 \ pi x}}}x→+∞{\ displaystyle x \ ila + \ infty}
limt→+∞günlükpben,j(t)t=2pq-1.{\ displaystyle \ lim _ {t \ ile + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}
Başvurular
Kuyruk teorisi
Sürekli zamanlı Markov süreçlerinin bir uygulama alanı kuyruk teorisidir . Örneğin, bir M / M / 1 kuyruğu ( Kendall'ın notasyonuna göre ), bir işlemcinin bir kuyrukta biriken (sırayla) istekleri işlemesi gereken bir modeldir. Talepler üstel bir oran yasasına göre gelir ve işleyici bunları üstel bir oran yasası ile işler . Temel dize şudur:
λ{\ displaystyle \ lambda}μ{\ displaystyle \ mu}
Ve oran matrisi (sonsuz küçük üreteç):
Q=(-λλμ-(μ+λ)λμ-(μ+λ)λμ-(μ+λ)λ⋱){\ displaystyle Q = {\ başlar {pmatrix} - \ lambda & \ lambda \\\ mu & - (\ mu + \ lambda) & \ lambda \\ & \ mu & - (\ mu + \ lambda) & \ lambda \\ && \ mu & - (\ mu + \ lambda) & \ lambda & \\ &&&& \ ddots \ end {pmatrix}}}
Notlar ve referanslar
-
( Norris 1997 , Teorem 2.8.2)
Kaynakça
- P. Désesquelles: Biyoloji, sosyoloji, jeoloji, kimya, fizik ve endüstriyel uygulamalarda Markov süreçleri. Ellipses, 2016.
- E. Pardoux: Markov süreçleri ve uygulamaları. Dunod, 2007.
- B. Sericola: Markov zincirleri - Teori, algoritmalar ve uygulamalar. Lavoisier, 2013.
- (en) JR Norris , Markov Chains , Cambridge University Press ,1997
- JFC Kingman: Markov geçiş olasılıklarının üstel azalması . Proc. London Math. Soc. (1963) 337-358.
Dış bağlantı
Konuyla ilgili Dominique Bakry'nin "Stokastik modeller" (2002) adlı yüksek lisans dersinin "Poisson süreci" bölümü , daha çok ölçüm teorisine yöneliktir .
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">