Gibbs örneklemesi

Doğa	Algoritma
Mucitler	Stuart Geman ( içinde ) , Donald Geman ( içinde )
Buluş tarihi	1984
Referans olarak adlandırıldı	Josiah Willard Gibbs
Yönü	Markov zincirleriyle Monte-Carlo yöntemi

Gibbs örneklemesi a, MCMC . Verilen Bir olasılık dağılımı $tt$ bir ilgili evrenin $Q$ , bu algoritma bir tanımlayan Markov zinciri olan sabit dağılımı olan $π$ . Böylece mümkün rastgele bir öğe çizmek için yapar $Ê$ yasası uyarınca $tt$ (biz söz örnekleme ).

Giriş

Tüm Markov zinciri Monte-Carlo yöntemlerinde olduğu gibi,

kendimizi sonlu n boyutlu bir Ɛ vektör uzayına yerleştiririz ;
π olasılık dağılımına göre rastgele N vektörü x ( i ) üretmek istiyoruz ;
sorun basitleştirmek için, bir dağıtım tespit q x ( i ) rastgele oluşturmak için izin x ( i + 1) den x ( i ) .

Gibbs örneklemesinin özgüllüğü, q x ( i ) ' yi n koşullu olasılığa "bölmekten" oluşur :

vektörün birinci bileşeni, x ( i + 1) 1 , π ( x 1 | x ( i ) 2 , x ( i ) 3 ,…, x ( i ) n ) koşullu olasılığından üretilir ;
vektörün ikinci bileşeni, x ( i + 1) 2 , ( x 2 | x ( i + 1) 1 , x ( i ) 3 ,…, x ( i ) n ) koşullu olasılığından üretilir ;
x ( i + 1) j vektörünün j bileşeni , π ( x j | x ( i + 1) 1 , x ( i + 1) 2 ,…, x ( i + 1) koşullu olasılığından üretilir. j - 1 , x ( i ) j + 1 ,…, x ( i ) n ).

Bu nedenle rastgele oluşması probleminin yerini x ( i + 1) tarafından n biz basit olacaktır umut sorunları.

Prensip

Let $X = ( X- ı , ı \in S ) olmak$ dağılımı olan bir değişken $tt$ siteleri uzayda $G = ⟦1; n ⟧$ durum uzayı doğru $Q$ . İçin $X = ( x 1 ;, ... x , n \in) Ω$ ve şartlı yoğunlukları $tt i ( x i | x \neg i )$ burada $X \neg i = ( x j , j \neq i ), i \in S$ , kendi inşa Gibbs $π$ -değişmeyen çekirdekler üzerinde örnekleyici : $P i ( x , y ) = π i ( y i | x \neg i ) 1 ( x \neg i = y \neg i )$ .

Sistematik tarama örnekleyici

Biz ziyaret $S$ her adımda rahatlatıcı, sırayla $i$ değeri yasaya göre $π i$ mevcut durumu şartına. Geçiş $x$ için $y olan$ yazılı: $P \ left (x; y \ right) = \ prod _ {{i = 1}} ^ {n} \ pi _ {i} \ left (y_ {i} | y_ {1}, \ dotsc, y _ { {i-1}}, x _ {{i + 1}}, \ dotsc, x_ {n} \ sağ)$

Rastgele Taramalı Örnekleyici

Let $ν$ bir asla sıfır olasılık $S$ . Her bir adımda, bir site $i$ olasılıkla seçilir $ν i > 0$ ve y değeri koşullu yasasına göre gevşetilir $π i$ mevcut durumda. Geçiş yazılmıştır: $P \ left (x; y \ right) = \ sum _ {{i = 1}} ^ {n} \ nu _ {i} \ pi _ {i} \ left (y_ {i} | x _ {{\ neg {i}}} \ sağ) {\ mathbf {1}} \ left (x _ {{\ neg i}} = y _ {{\ neg i}} \ sağ)$

Özellikleri

Eğer $Ω$ sonlu, geçiş $P$ kesinlikle pozitif ve yakınsama hızı $νP k$ isimli üstel.
$π$ çarpım faktörüne kadar bilinebilir.

Kaynakça

C. Gaetan ve X. Guyon , böl. 9 “mekansal modellerin Simülasyonu” Jean-Jacques Droesbeke Michel Lejeune ve Gilbert Saporta, içinde, mekansal verilerin istatistiksel analizi: 10 inci istatistikte Çalışması gün, 4-8 Kasım 2002, Marsilya, Société Française de statistique , Paris, Technip,2006, 468 s. ( ISBN 978-2-7108-0873-2 , bildirim BNF n O FRBNF40225776 )