Maksimum olasılık
Maksimum olasılık
Gelen istatistik , maksimum olabilirlik tahmincisi bir olan istatistiki tahmincisi için kullanılan sonucuna parametrelerini olasılığı hukuk maksimize parametrelerin değerlerini bularak belirli bir numunede olabilirlik fonksiyonunu .
Bu yöntem, istatistikçi Ronald Aylmer Fisher tarafından 1922'de geliştirilmiştir.
Misal
Izin vermek aynı yasaya göre dokuz rastgele çekiliş x 1 ,…, x 9 ; çizilen değerler dikey noktalı çizgilerle karşılıklı diyagramlarda gösterilir. Bu değerleri normal bir dağılımla modellemek istiyoruz. Pratik nedenlerden dolayı, x i için indirgenmiş merkezli normal dağılımın (μ = 0, σ = 1) ondalık dilimlerini aldık , bu nedenle yöntem bu dağılımı ortaya çıkarmalıdır.
Aynı dağılımlı σ (standart sapma) ancak farklı bir μ (ortalama, beklenti ) pozisyonuna sahip iki model kanunu alalım . Her durum için, x i'deki yoğunluk fonksiyonunun değerine karşılık gelen h i yüksekliklerini belirleriz . Olasılığı L olarak tanımlıyoruz
L=h1×h2×...×h9{\ displaystyle L = h_ {1} \ times h_ {2} \ times \ ldots \ times h_ {9}}![{\ displaystyle L = h_ {1} \ times h_ {2} \ times \ ldots \ times h_ {9}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1b26bae3e8cc6ad7c4eac054daf4a4a62909572d)
.
Sağdaki mavi eğri durumunda, en fazla değerin olduğu yerde yoğunluk fonksiyonu maksimumdur - alan bir küme ayracı ile gösterilir. Bu nedenle, mantıksal olarak, olasılık mavi eğri için siyah eğriden daha önemlidir. Genel olarak, değerlerin yüksek yoğunluklu olmalıdır x i yoğunluk fonksiyonu önemli olduğu; bu nedenle maksimum olasılık, model yasanın bir anlamı olduğunda pozisyon parametresinin seçilmesi ile ilgilidir.
Şimdi, üçü de "doğru" konumda olan, ancak farklı standart sapmalara sahip olan üç model yasayı ele alalım. Soldaki yeşil eğri durumunda, dağılım çok önemlidir, eğri çok geniştir ve bu nedenle “çok yükseğe çıkmaz” (eğri ne olursa olsun, eğrinin altındaki alan 1 olmalıdır); bu nedenle h i düşük ve L düşüktür.
Sağdaki siyah eğri durumunda dağılım düşüktür; eğrinin tepesi yüksektir, ancak uçların h i değeri çok düşüktür, bu nedenle L ürünü çok yüksek değildir.
Merkezdeki mavi eğri, hem merkezdeki h i için nispeten yüksek yüksekliğe hem de uçlarda h i için önemsiz olmayan yüksekliğe sahiptir , bu da yüksek L ile sonuçlanır; bu nedenle maksimum olasılık, model kanunun bir anlamı olduğunda dağılım parametresinin seçilmesi ile ilgilidir.
Örneğimiz için, L olasılığının değerini μ ve σ parametrelerinin bir fonksiyonu olarak çizersek, maksimum değeri (μ = 0, σ = 1) olan bir yüzey elde ederiz. Bu maksimumu bulmak klasik bir optimizasyon problemidir .
Tarih
1912'de Ronald Aylmer Fisher , maksimum olasılık üzerine ilk makalesini yazdığında, en yaygın kullanılan iki istatistiksel yöntem, en küçük kareler yöntemi ve momentler yöntemiydi . 1912 tarihli makalesinde, o sırada mutlak kriter olarak adlandırdığı maksimum olasılık tahmin edicisini önerdi . Normal bir yasa örneğini alıyor.
1921'de aynı yöntemi bir korelasyon katsayısının tahminine uyguladı .
1912'de bir yanlış anlama, mutlak kriterin tek tip bir ön dağılımla Bayesci bir tahminci olarak yorumlanabileceğini öne sürdü . Fisher bu yorumu 1921'de reddetti. 1922'de kriterini açıklamak için iki terimli yasayı kullandı ve Bayesci bir tahminciden ne kadar farklı olduğunu gösterdi. Ayrıca 1922'de yöntemine maksimum olasılık adını verdi.
Prensip
Elemanları bilinen bir olasılık yoğunluğu (sürekli dağılım) veya f (x | θ) ile gösterilen bilinen bir kütle fonksiyonu (ayrık dağılım) ile ilişkili olan olasılık dağılımlarının D θ parametrik bir ailesi olsun . Bir çizim basit n -Örnek (bağımsız örnek) x 1 , x 2 , ..., x , n , gözlenen verilerle ilişkili bir olası yoğunluk dağılımı tekrar tekrar ve hesaplamak
f(x1,...,xdeğil;θ)=∏ben=1değilf(xben∣θ){\ displaystyle f (x_ {1}, \ noktalar, x_ {n}; \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i} \ orta \ teta) \,}![{\ displaystyle f (x_ {1}, \ noktalar, x_ {n}; \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i} \ orta \ teta) \,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d6839fb064807971411bab70a07325d0ace421c8)
Bu, x 1 ,…, x n sabit ile θ'nin bir fonksiyonudur , n bağımsız örnek için bir olasılıktır .
L(θ)=f(x1,...,xdeğil;θ){\ displaystyle L (\ theta) = f (x_ {1}, \ noktalar, x_ {n}; \ theta) \,}![{\ displaystyle L (\ theta) = f (x_ {1}, \ noktalar, x_ {n}; \ theta) \,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e96cfd24b3bae0cb8968ac3b06f9bd49457502ac)
Θ gözlemlenebilir olmadığında, maksimum olasılık yöntemi, values'nin L (θ) tahmin edicisini maksimize eden θ değerlerini kullanır : bu, θ'nın maksimum olasılık tahmin edicisidir . Örneğin, ayrık ürün durumunda, n değerli bir çizim gerçekleştirilir , bu nedenle, bu çizimi çizme olasılığını en üst düzeye çıkaran parametrenin bulunması gerekir.
θ^{\ displaystyle {\ widehat {\ theta}}}![\ widehat {\ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/89a031ed08d81ed4f0df984f0d9f30b7ae07be46)
Bu yöntem, için en olası değeri vermesi gerekmeyen tarafsız bir θ tahmin edicisini bulmaktan farklıdır.
Maksimum olasılık tahmincisi, eğer varsa, benzersizdir.
Tanımlar
Izin bir gerçek rasgele değişken bir parametre tahmin etmek isteyen çok sayıda ayrı veya sürekli hukuk, . Biz ifade parametrik yasaların bu aileye. Bu nedenle aşağıdaki gibi bir işlev tanımlarız :
X{\ displaystyle X}
θ{\ displaystyle \ theta}
Dθ{\ displaystyle {\ mathcal {D}} _ {\ theta}}
f{\ displaystyle f}![f](https://wikimedia.org/api/rest_v1/media/math/render/svg/132e57acb643253e7810ee9702d9581f159a1c61)
f(x;θ)={fθ(x)Eğer X sürekli gidişPθ(X=x)Eğer X sağduyulu bir hareket{\ displaystyle f (x; \ theta) = {\ begin {case} f _ {\ theta} (x) & {\ text {si}} X {\ text {sürekli devam ediyor}} \\ P _ { \ theta} (X = x) & {\ text {si}} X {\ text {ayrı bir va}} \ end {vakalar}}}
fθ(x){\ displaystyle f _ {\ theta} (x)}![f _ {\ theta} (x)](https://wikimedia.org/api/rest_v1/media/math/render/svg/89cd3997bd5a3cfa6b0918bdf94bec711dde861e)
X'in yoğunluğunu ( göründüğü yerde ) ve ayrı bir olasılığı ( göründüğü yerde ) temsil eder .
θ{\ displaystyle \ theta}
Pθ(X=x){\ displaystyle P _ {\ theta} (X = x)}
θ{\ displaystyle \ theta}![\ theta](https://wikimedia.org/api/rest_v1/media/math/render/svg/6e5ab2664b422d53eb0c7df3b87e1360d75ad9af)
Bir n- örnekleminin bağımsız ve aile hukukuna göre aynı şekilde dağıtılmış gözlemleri göz önüne alındığında olasılığınıθ{\ displaystyle \ theta}
şu sayı olarak adlandırıyoruz:
(x1,...,xben,...,xdeğil){\ displaystyle (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n})}
f(⋅;θ){\ displaystyle f (\ cdot; \ theta)}
Dθ{\ displaystyle {\ mathcal {D}} _ {\ theta}}![{\ mathcal {D}} _ {\ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/535b853521b60f60409c0d00fc9dd007ced63637)
L(x1,...,xben,...,xdeğil;θ)=f(x1;θ)×f(x2;θ)×...×f(xdeğil;θ)=∏ben=1değilf(xben;θ){\ displaystyle L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta) = f (x_ {1}; \ theta) \ times f (x_ {2}; \ theta) \ times \ ldots \ times f (x_ {n}; \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i}; \ theta)}![{\ displaystyle L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta) = f (x_ {1}; \ theta) \ times f (x_ {2}; \ theta) \ times \ ldots \ times f (x_ {n}; \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i}; \ theta)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/06ab0efad37ca5e6e011aab1f1c618ee4522927e)
Bu olasılığın maksimumunu bulmaya çalışıyoruz, böylece gözlemlenen gerçekleşmelerin olasılıkları da maksimumdur. Bu bir optimizasyon problemidir . Genel olarak, eğer L türevlenebilirse (ki bu her zaman geçerli değildir) ve eğer L bir değerde bir global maksimum kabul ederse , o zaman ilk türev kaybolur ve ikinci türev negatiftir. İlk türev yok olur Tersine, eğer ikinci türevi de kesinlikle negatif , o zaman a, lokal maksimum arasında . Daha sonra bunun gerçekten küresel bir maksimum olduğunu doğrulamak gerekir. Olasılık pozitif olduğundan ve doğal logaritma artan bir fonksiyon olduğundan, olasılığın doğal logaritmasını maksimize etmek eşdeğerdir ve genellikle daha basittir (ürün, türetilmesi daha kolay olan bir toplama dönüşür). İstenilen tahminci olan istatistik kolaylıkla oluşturulabilir .
θ=θ^{\ displaystyle \ theta = {\ şapka {\ theta}}}
θ=θ^{\ displaystyle \ theta = {\ şapka {\ theta}}}
θ=θ^{\ displaystyle \ theta = {\ şapka {\ theta}}}
θ=θ^{\ displaystyle \ theta = {\ şapka {\ theta}}}
θ=θ^{\ displaystyle \ theta = {\ şapka {\ theta}}}
L(x1,...,xben,...,xdeğil;θ){\ displaystyle L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)}
Ydeğil=Θ{\ displaystyle Y_ {n} = \ Theta}![Y_ {n} = \ Theta](https://wikimedia.org/api/rest_v1/media/math/render/svg/70d0bd7715623df7bbc9026221a2a922b1d7db5d)
Yani pratikte:
- Gerekli koşul veya değeri bulmaya izin verir .
∂L(x1,...,xben,...,xdeğil;θ)∂θ=0{\ displaystyle {\ frac {\ kısmi L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ kısmi \ theta}} = 0}![{\ frac {\ parsiyel L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ kısmi \ theta}} = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/2d4afd1145a07577cca97149aef849b4b54dde18)
∂lnL(x1,...,xben,...,xdeğil;θ)∂θ=0{\ displaystyle {\ frac {\ kısmi \ ln L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ kısmi \ teta}} = 0}![{\ frac {\ partial \ ln L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ kısmi \ theta}} = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/1852543bed9208f815b37f61d287bf6c990fa45c)
θ=θ^{\ displaystyle \ theta = {\ şapka {\ theta}}}![\ theta = {\ hat \ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cd1e3109f3bca10fcf1e91fe2517bff1ffe17cae)
-
θ=θ^{\ displaystyle \ theta = {\ şapka {\ theta}}}
kritik noktada yeterli koşul karşılanırsa yerel maksimumdur : veyaθ=θ^{\ displaystyle \ theta = {\ şapka {\ theta}}}![\ theta = {\ hat \ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cd1e3109f3bca10fcf1e91fe2517bff1ffe17cae)
∂2L(x1,...,xben,...,xdeğil;θ)∂θ2<0{\ displaystyle {\ frac {\ kısmi ^ {2} L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ kısmi \ theta ^ {2}} } <0}![{\ frac {\ kısmi ^ {2} L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ bölümlü \ theta ^ {2}}} <0](https://wikimedia.org/api/rest_v1/media/math/render/svg/89ebb011f9ef39f34758aaae5518904cc5d08544)
∂2lnL(x1,...,xben,...,xdeğil;θ)∂θ2<0{\ displaystyle {\ frac {\ kısmi ^ {2} \ ln L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ kısmi \ theta ^ {2 }}} <0}
Basitleştirmek için, bazen olasılık yoğunluğunun belirli bir aralıkta sıfır olduğu sürekli dağılımlar durumunda, yalnızca bu aralığın olasılığını yazmayı ihmal edebiliriz.
Genelleme
Bu bölüm, yayınlanmamış çalışmalar veya denetlenmemiş beyanlar içerebilir (Mart 2012) . Referans ekleyerek veya yayınlanmamış içeriği kaldırarak yardımcı olabilirsiniz.
Gerçek rasgele değişken için , X , bir ile tanımlanan herhangi bir yasa dağılım fonksiyonu F (x) , düşünülebilecek yakın çevre V bölgesinin (x 1 , ..., x, n ) olarak , örneğin, yarıçap s bir top. Böylece maksimum aradığımız bir olasılık işlevi elde ederiz . Daha sonra maksimum olasılık tahmin edicisini elde etmek için V'nin boyutunu 0 inç'e doğru eğiyoruz .
Rdeğil{\ displaystyle \ mathbb {R} ^ {n}}
L(θ;V)=P[(X1,θ,...,Xdeğil,θ)∈V]{\ displaystyle L (\ theta; V) = P [(X_ {1, \ theta}, \ ldots, X_ {n, \ theta}) \ V]}
θ=θ^(V){\ displaystyle \ theta = {\ şapka {\ theta}} (V)}
θ^(V){\ displaystyle {\ hat {\ theta}} (V)}
θ^{\ displaystyle {\ hat {\ theta}}}![\ hat \ theta](https://wikimedia.org/api/rest_v1/media/math/render/svg/f0eaae56d74c5844e86caeed8ae205ff9e413bba)
X'in kesikli veya sürekli bir yasası olduğunda önceki olasılık fonksiyonlarına geri dönüyoruz .
X yasası keyfi ise, yoğunluğu baskın bir ölçüye göre değerlendirmek yeterlidir .
μ{\ displaystyle \ mu}![\ mu](https://wikimedia.org/api/rest_v1/media/math/render/svg/9fd47b2a39f7a7856952afec1f1db72c67af6161)
Yasanın bir aile ölçüsü hakimdir eğer .
(Pθ)θ∈Θ{\ displaystyle (P _ {\ theta}) _ {\ theta \ in \ Theta}}
μ{\ displaystyle \ mu}
∀AT∈Ω,∀θ∈Θ,μ(AT)=0⇒Pθ(AT)=0{\ displaystyle \ forall A \ in \ Omega, \ forall \ theta \ in \ Theta, \ quad \ mu (A) = 0 \ Rightarrow P _ {\ theta} (A) = 0}![\ Forall A \ in \ Omega, \ forall \ theta \ in \ Theta, \ quad \ mu (A) = 0 \ Rightarrow P _ {\ theta} (A) = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/cd0c77d5d612ecbed3420ae998b5ea1ebfcd256b)
Eğer X, boyut 1 sürekli bir değişkendir, o zaman ilgili Lebesgue ölçümünü kullanarak bir (ya da bir aralık üzerinde baskın ölçüsü olarak. Eğer x boyut 1 ayrı bir değişken olduğu için, ilgili sayma ölçüsünü kullanabilir (veya a altkümesi ) Daha sonra kesikli ve sürekli durumlar için verilen olasılığın tanımlarını buluruz.
R{\ displaystyle \ mathbb {R}}
R{\ displaystyle \ mathbb {R}}
DEĞİL{\ displaystyle \ mathbb {N}}
DEĞİL{\ displaystyle \ mathbb {N}}![\ mathbb {N}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fdf9a96b565ea202d0f4322e9195613fb26a9bed)
Özellikleri
Maksimum olabilirlik yöntemiyle elde edilen tahminci:
Öte yandan, sonlu örneklemde önyargılı olabilir .
Güvenilirlik aralığı
Maksimum olasılık tahmincisi asimptotik olarak normal olduğundan, gerçek parametreyi bir olasılıkla içerecek şekilde bir güven aralığı oluşturabiliriz :
VSdeğil{\ displaystyle C_ {n}}
1-α{\ displaystyle 1- \ alpha}![1- \ alpha](https://wikimedia.org/api/rest_v1/media/math/render/svg/9afa7876fb8b4fb8c4d8039ebed6cd1cbc4781cd)
VSdeğil=(θdeğil^-Φ-1(1-α/2)σθdeğil^^,θdeğil^+Φ-1(1-α/2)σθdeğil^^){\ displaystyle C_ {n} = \ sol ({\ hat {\ theta _ {n}}} - \ Phi ^ {- 1} (1- \ alpha / 2) {\ widehat {\ sigma _ {\ hat { \ theta _ {n}}}}}, {\ hat {\ theta _ {n}}} + \ Phi ^ {- 1} (1- \ alpha / 2) {\ widehat {\ sigma _ {\ hat { \ theta _ {n}}}}} \ sağ)}![C_ {n} = \ left ({\ hat {\ theta _ {n}}} - \ Phi ^ {{- 1}} (1- \ alpha / 2) \ widehat {\ sigma _ {{{\ hat { \ theta _ {n}}}}}, {\ hat {\ theta _ {n}}} + \ Phi ^ {{- 1}} (1- \ alpha / 2) \ widehat {\ sigma _ {{ {\ hat {\ theta _ {n}}}}}} \ sağ)](https://wikimedia.org/api/rest_v1/media/math/render/svg/dcfd962a5867d8a94ce0b7a474d9bcc597e69ccf)
ile sipariş bir dağılım düşük merkezli normal dağılımın ve tahmini standart sapma . O zaman bizde
Φ-1(1-α/2){\ displaystyle \ Phi ^ {- 1} (1- \ alpha / 2)}
1-α/2{\ displaystyle 1- \ alpha / 2}
σθdeğil^^{\ displaystyle {\ widehat {\ sigma _ {\ hat {\ theta _ {n}}}}}}
θdeğil^{\ displaystyle {\ hat {\ theta _ {n}}}}![{\ hat {\ theta _ {n}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/060140e11229710f2b248bef246c84fdebe42da7)
P(θ∈VSdeğil)⟶değil→+∞1-α{\ displaystyle \ mathbb {P} (\ theta \ C_ {n}) {\ underet {n \ rightarrow + \ infty} {\ longrightarrow}} 1- \ alpha}![{\ mathbb P} (\ theta \ in C_ {n}) {\ underet {n \ rightarrow + \ infty} {\ longrightarrow}} 1- \ alpha](https://wikimedia.org/api/rest_v1/media/math/render/svg/cbdb378425049282ae65e7ad90efab0b9ba425a9)
Testler
Wald testi
Maksimum olasılık tahmincisi asimptotik olarak normal olduğundan, Wald testini uygulayabiliriz.
Boş hipotezi düşünüyoruz:
H0:θ=θ0{\ displaystyle H_ {0}: \ theta = \ theta _ {0}}![H_ {0}: \ theta = \ theta _ {0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/34b7b3db7f904a701a9b60e3a6b313f2516a20b2)
alternatif hipoteze karşı
H-de:θ≠θ0{\ displaystyle H_ {a}: \ theta \ neq \ theta _ {0}}![H_ {a}: \ theta \ neq \ theta _ {0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/43f2728de92191ddaab096300d5bce8b115a1b0c)
Tahmincisi asimptotik olarak normaldir:
θ^{\ displaystyle {\ hat {\ theta}}}![{\ hat {\ theta}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f0eaae56d74c5844e86caeed8ae205ff9e413bba)
θ^-θ0σθ^^∼DEĞİL(0,1){\ displaystyle {\ frac {{\ hat {\ theta}} - \ theta _ {0}} {\ widehat {\ sigma _ {\ hat {\ theta}}}}} \ sim {\ mathcal {N}} (0,1)}![{\ frac {{\ hat {\ theta}} - \ theta _ {0}} {\ widehat {\ sigma _ {{{\ hat {\ theta}}}}}} \ sim {\ mathcal N} ( 0.1)](https://wikimedia.org/api/rest_v1/media/math/render/svg/82903069f94c1b3aefc10dd36980d0aca23025c0)
ile tahmin edicinin tahmini standart sapmaσθ^^{\ displaystyle {\ widehat {\ sigma _ {\ hat {\ theta}}}}}
θ^{\ displaystyle {\ hat {\ theta}}}
Test istatistiğini tanımlıyoruz:
W=θ^-θ0σθ^^{\ displaystyle W = {\ frac {{\ hat {\ theta}} - \ theta _ {0}} {\ widehat {\ sigma _ {\ hat {\ theta}}}}}}![W = {\ frac {{\ hat {\ theta}} - \ theta _ {0}} {\ widehat {\ sigma _ {{{\ hat {\ theta}}}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/58e8537037abfb16001d087305e0b9debf3f8c55)
Daha sonra , test istatistiğinin mutlak değeri , indirgenmiş merkezli normal yasanın mertebesinden büyük olduğunda , sıfır hipotezini birinci tür riskle reddederiz :
α{\ displaystyle \ alpha}
1-α/2{\ displaystyle 1- \ alpha / 2}![1- \ alpha / 2](https://wikimedia.org/api/rest_v1/media/math/render/svg/3d89cd111892baef3eb29d9b8943859a18ed4b9d)
|W|>Φ-1(1-α/2){\ displaystyle | W |> \ Phi ^ {- 1} (1- \ alpha / 2)}![| W |> \ Phi ^ {{- 1}} (1- \ alpha / 2)](https://wikimedia.org/api/rest_v1/media/math/render/svg/be7f7fb287357006566f37ef40901440f50e55b3)
ile düşük merkezli normal dağılım miktarsal fonksiyonu.
Φ-1(.){\ displaystyle \ Phi ^ {- 1} (.)}![\ Phi ^ {{- 1}} (.)](https://wikimedia.org/api/rest_v1/media/math/render/svg/8160d9edc71eaa248be950a4ba285607946dddb8)
Daha sonra p değeri yazılır:
p değeri=2Φ(-|w|){\ displaystyle {\ text {p-değeri}} = 2 \ Phi (- | w |)}![{\ text {p-değeri}} = 2 \ Phi (- | w |)](https://wikimedia.org/api/rest_v1/media/math/render/svg/84ebfc9e75424e993ade7728013d62bae70df802)
Verilerdeki test istatistiğinin değeri w ile.
Olabilirlik oranı testi
Tahmini parametrelerin vektörünü çağırırsak , şu türden bir test düşünürüz:
θ{\ displaystyle \ theta}![\ theta](https://wikimedia.org/api/rest_v1/media/math/render/svg/6e5ab2664b422d53eb0c7df3b87e1360d75ad9af)
H0:θ∈Θ0{\ displaystyle H_ {0}: \ theta \ in \ Theta _ {0}}![H_ {0}: \ theta \ in \ Theta _ {0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/166c2acd34f0fdc93a952a8f672a7b06e8869f93)
karşısında
H-de:θ∉Θ0{\ displaystyle H_ {a}: \ theta \ notin \ Theta _ {0}}![H_ {a}: \ theta \ notin \ Theta _ {0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2867675c887b6eb23ccc65f5e4b03a6a1a9acc60)
Daha sonra maksimum olasılık tahmin edicisini ve maksimum olasılık tahmin edicisini altında tanımlarız . Son olarak, test istatistiğini tanımlıyoruz:
θ^{\ displaystyle {\ hat {\ theta}}}
θ0^{\ displaystyle {\ widehat {\ theta _ {0}}}}
H0{\ displaystyle H_ {0}}![H_0](https://wikimedia.org/api/rest_v1/media/math/render/svg/43910602a221b7a4c373791f94793e3008622070)
λ=-2günlük(L(θ0^)L(θ^)){\ displaystyle \ lambda = -2 \ log \ sol ({\ frac {{\ mathcal {L}} ({\ hat {\ theta _ {0}}})} {{\ mathcal {L}} ({\ widehat {\ theta}})}} \ sağ)}![{\ displaystyle \ lambda = -2 \ log \ sol ({\ frac {{\ mathcal {L}} ({\ hat {\ theta _ {0}}})} {{\ mathcal {L}} ({\ widehat {\ theta}})}} \ sağ)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/de47499632974cbb3bc9685ace72135c961949b9)
Boş hipotez altında, olasılık oranı testinin istatistiğinin , sıfır hipotezi (p) tarafından empoze edilen kısıtların sayısına eşit sayıda serbestlik derecesine sahip bir yasayı izlediğini biliyoruz :
χ2{\ displaystyle \ chi ^ {2}}![\ chi ^ 2](https://wikimedia.org/api/rest_v1/media/math/render/svg/8c0cc9237ec72a1da6d18bc8e7fb24cdda43a49a)
λ(x1,...,xdeğil)∼χ2(p){\ displaystyle \ lambda (x_ {1}, \ ldots, x_ {n}) \ sim \ chi ^ {2} (p)}![\ lambda (x_ {1}, \ ldots, x_ {n}) \ sim \ chi ^ {2} (p)](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e10044455098e5d8ca1448251f3187cec3e2f19)
Bu nedenle, test istatistiği p serbestlik derecesi yasasının nicelik derecesinden daha büyük olduğunda seviye testi reddedilir .
α{\ displaystyle \ alpha}
1-α{\ displaystyle 1- \ alpha}
χ2{\ displaystyle \ chi ^ {2}}![\ chi ^ 2](https://wikimedia.org/api/rest_v1/media/math/render/svg/8c0cc9237ec72a1da6d18bc8e7fb24cdda43a49a)
Bu nedenle , bu testin sınır değerini ( p-değeri ) tanımlayabiliriz :
p değeri=1-Fχp2(λ){\ displaystyle {\ text {p-değeri}} = 1-F _ {\ chi _ {p} ^ {2}} (\ lambda)}![{\ text {p-değeri}} = 1-F _ {{\ chi _ {{p}} ^ {2}}} (\ lambda)](https://wikimedia.org/api/rest_v1/media/math/render/svg/8da1c993be75daa8f65e1b7d2d51db854131abe8)
Örnekler
Poisson Yasası
Bir n- örneğinden bir Poisson dağılımının parametresini tahmin etmek istiyoruz :
λ{\ displaystyle \ lambda}![\ lambda](https://wikimedia.org/api/rest_v1/media/math/render/svg/b43d0ea3c9c025af1be9128e62a18fa74bedda2a)
f(x,λ)=Pλ(X=x)=e-λλxx!{\ displaystyle f (x, \ lambda) = P _ {\ lambda} (X = x) = e ^ {- \ lambda} {\ frac {\ lambda ^ {x}} {x!}}}![f (x, \ lambda) = P _ {\ lambda} (X = x) = e ^ {{- \ lambda}} {\ frac {\ lambda ^ {x}} {x!}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c739a75bf0b8eebe1f725041ffc8ed60f852ec6b)
Maksimum olasılık tahmin aracı: λ^ML=x¯{\ displaystyle {\ hat {\ lambda}} _ {ML} = {\ bar {x}}}
Gösteri
Olasılık şöyle yazılır:
L(x1,...,xben,...,xdeğil;λ)=∏ben=1değile-λλxbenxben!=e-değilλ∏ben=1değilλxbenxben!{\ displaystyle L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda) = \ prod _ {i = 1} ^ {n} e ^ {- \ lambda } {\ frac {\ lambda ^ {x_ {i}}} {x_ {i}!}} = e ^ {- n \ lambda} \ prod _ {i = 1} ^ {n} {\ frac {\ lambda ^ {x_ {i}}} {x_ {i}!}}}![L (x_1, ..., x_i, ..., x_n; \ lambda) = \ prod_ {i = 1} ^ ne ^ {- \ lambda} \ frac {\ lambda ^ {x_i}} {x_i!} = e ^ {- n \ lambda} \ prod_ {i = 1} ^ n \ frac {\ lambda ^ {x_i}} {x_i!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d0ea05e213be88213ddbec4a78e1b711745cc5bc)
Pozitif olma olasılığı, doğal logaritmasını göz önünde bulundururuz :
lnL(x1,...,xben,...,xdeğil;λ)=lne-λdeğil+ln∏ben=1değilλxbenxben!=-λdeğil+∑ben=1değillnλxbenxben!=-λdeğil+lnλ∑ben=1değilxben-∑ben=1değilln(xben!){\ displaystyle \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda) = \ ln e ^ {- \ lambda n} + \ ln \ prod _ {i = 1} ^ {n} {\ frac {\ lambda ^ {x_ {i}}} {x_ {i}!}} = - \ lambda n + \ sum _ {i = 1} ^ {n} \ ln {\ frac {\ lambda ^ {x_ {i}}} {x_ {i}!}} = - \ lambda n + \ ln \ lambda \ sum _ {i = 1} ^ {n} x_ {i} - \ toplam _ {i = 1} ^ {n} \ ln (x_ {i}!)}![\ ln L (x_1, ..., x_i, ..., x_n; \ lambda) = \ ln e ^ {- \ lambda n} + \ ln \ prod_ {i = 1} ^ n \ frac {\ lambda ^ {x_i}} {x_i!} = - \ lambda n + \ sum_ {i = 1} ^ n \ ln \ frac {\ lambda ^ {x_i}} {x_i!} = - \ lambda n + \ ln \ lambda \ toplam_ {i = 1} ^ n x_i - \ sum_ {i = 1} ^ n \ ln (x_i!)](https://wikimedia.org/api/rest_v1/media/math/render/svg/3095256f69274ead2379fe47c93b6d5e90ee9238)
İlk türev şu durumlarda kaybolur:
∂lnL(x1,...,xben,...,xdeğil;λ)∂λ=0{\ displaystyle {\ frac {\ kısmi \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda)} {\ kısmi \ lambda}} = 0}![{\ frac {\ kısmi \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda)} {\ kısmi \ lambda}} = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/3ec8fe7158a987aa08fd1c697fa467a934da1a2d)
dır-dir
λ^=∑ben=1değilxbendeğil{\ displaystyle {\ hat {\ lambda}} = {\ frac {\ sum _ {i = 1} ^ {n} x_ {i}} {n}}}![{\ hat \ lambda} = {\ frac {\ toplam _ {{i = 1}} ^ {n} x_ {i}} {n}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/53d9f8380a22de14f696358a4161834202551119)
İkinci türev yazılır:
∂2lnL(x1,...,xben,...,xdeğil;λ)∂λ2=-∑ben=1değilxbenλ2≤0{\ displaystyle {\ frac {\ kısmi ^ {2} \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda)} {\ kısmi \ lambda ^ {2}}} = - {\ frac {\ sum _ {i = 1} ^ {n} x_ {i}} {\ lambda ^ {2}}} \ leq 0}![{\ frac {\ kısmi ^ {2} \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda)} {\ kısmi \ lambda ^ {2} }} = - {\ frac {\ toplam _ {{i = 1}} ^ {n} x_ {i}} {\ lambda ^ {2}}} \ leq 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/4acd07c3a4cd00d38094785fcf509f78d46b6cc2)
Bu oran her zaman negatiftir, tahmin şu şekilde verilir:
Ydeğil=Λ=∑ben=1değilXbendeğil=X¯{\ displaystyle Y_ {n} = \ Lambda = {\ frac {\ sum _ {i = 1} ^ {n} X_ {i}} {n}} = {\ bar {X}}}
Bu didaktik örnekte ampirik ortalamayı bulmak oldukça normaldir, çünkü parametre için olası en iyi tahmin edicidir (aynı zamanda bir Poisson dağılımının beklentisini de temsil eder).
λ{\ displaystyle \ lambda}![\ lambda](https://wikimedia.org/api/rest_v1/media/math/render/svg/b43d0ea3c9c025af1be9128e62a18fa74bedda2a)
Üstel hukuk
Biz parametreyi tahmin etmek istiyorum bir bir üstel yasanın bir den n numunede.
α{\ displaystyle \ alpha}![\alfa](https://wikimedia.org/api/rest_v1/media/math/render/svg/b79333175c8b3f0840bfb4ec41b8072c83ea88d3)
f(x,α)=fα(x)={αe-αxEğerx≥00değilse{\ displaystyle f (x, \ alpha) = f _ {\ alpha} (x) = {\ başlar {vakalar} \ alpha e ^ {- \ alpha x} & {\ text {si}} \ quad x \ geq 0 \\ 0 & {\ text {aksi halde}} \ end {vakalar}}}
Maksimum olasılık tahmin aracı: α^ML=1x¯{\ displaystyle {\ hat {\ alpha}} _ {ML} = {\ frac {1} {\ bar {x}}}}
Gösteri
Olasılık şöyle yazılır:
L(x1,...,xben,...,xdeğil;α)=∏ben=1değilαe-αxben=αdeğil∏ben=1değile-αxben=αdeğiltecrübe(∑ben=1değil-αxben)=αdeğiltecrübe(-α∑ben=1değilxben){\ displaystyle L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alpha) = \ prod _ {i = 1} ^ {n} \ alpha e ^ {- \ alpha x_ {i}} = \ alpha ^ {n} \ prod _ {i = 1} ^ {n} e ^ {- \ alpha x_ {i}} = \ alpha ^ {n} \ exp \ left (\ toplam _ {i = 1} ^ {n} - \ alpha x_ {i} \ right) = \ alpha ^ {n} \ exp \ left (- \ alpha \ sum _ {i = 1} ^ {n} x_ { i} \ sağ)}![L (x_1, ..., x_i, ..., x_n; \ alpha) = \ prod_ {i = 1} ^ n \ alpha e ^ {- \ alpha x_i} = \ alpha ^ n \ prod_ {i = 1 } ^ ne ^ {- \ alpha x_i} = \ alpha ^ n \ exp \ left (\ sum_ {i = 1} ^ n - \ alpha x_i \ right) = \ alpha ^ n \ exp \ left (- \ alpha \ toplam_ {i = 1} ^ n x_i \ sağ)](https://wikimedia.org/api/rest_v1/media/math/render/svg/104dfdc7d6323a04964b872c30b0a50f3578e7d4)
Olumlu olma olasılığı, doğal logaritmasını dikkate alıyoruz:
lnL(x1,...,xben,...,xdeğil;α)=ln[αdeğiltecrübe(-α∑ben=1değilxben)]=değillnα-α∑ben=1değilxben{\ displaystyle \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alpha) = \ ln \ sol [\ alfa ^ {n} \ exp \ sol ( - \ alpha \ sum _ {i = 1} ^ {n} x_ {i} \ right) \ right] = n \ ln \ alpha - \ alpha \ sum _ {i = 1} ^ {n} x_ {i} }![\ ln L (x_1, ..., x_i, ..., x_n; \ alpha) = \ ln \ left [\ alpha ^ n \ exp \ left (- \ alpha \ sum_ {i = 1} ^ n x_i \ right) \ right] = n \ ln \ alpha - \ alpha \ sum_ {i = 1} ^ n x_i](https://wikimedia.org/api/rest_v1/media/math/render/svg/ff2c5d2985ac3654d8c6a322ffefff0d61122c32)
İlk türev şu durumlarda kaybolur:
∂lnL(x1,...,xben,...,xdeğil;α)∂α=değilα-∑ben=1değilxben=0{\ displaystyle {\ frac {\ kısmi \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alfa)} {\ kısmi \ alfa}} = {\ frac {n} {\ alpha}} - \ toplamı _ {i = 1} ^ {n} x_ {i} = 0}![\ frac {\ partial \ ln L (x_1, ..., x_i, ..., x_n; \ alpha)} {\ partial \ alpha} = \ frac {n} {\ alpha} - \ sum_ {i = 1 } ^ n x_i = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/f719995961dd6369c038d3ec68313d33bd646d77)
dır-dir
α^=değil∑ben=1değilxben=11değil∑ben=1değilxben{\ displaystyle {\ hat {\ alpha}} = {\ frac {n} {\ sum _ {i = 1} ^ {n} x_ {i}}} = {\ frac {1} {{\ frac {1 } {n}} \ toplam _ {i = 1} ^ {n} x_ {i}}}}![{\ hat \ alpha} = {\ frac {n} {\ sum _ {{i = 1}} ^ {n} x_ {i}}} = {\ frac {1} {{\ frac {1} {n }} \ toplamı _ {{i = 1}} ^ {n} x_ {i}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/792c6d6dd523912981fa0fafbd67f44c3a78e52b)
İkinci türev yazılır:
∂2lnL(x1,...,xben,...,xdeğil;α)∂α2=-değilα2≤0{\ displaystyle {\ frac {\ kısmi ^ {2} \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alfa)} {\ kısmi \ alfa ^ {2}}} = - {\ frac {n} {\ alpha ^ {2}}} \ leq 0}![{\ frac {\ kısmi ^ {2} \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alpha)} {\ kısmi \ alfa ^ {2} }} = - {\ frac {n} {\ alpha ^ {2}}} \ leq 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/c5bf64fc1d3f103c3c5dcf0ecf958da8f5531d31)
Bu oran her zaman negatiftir, bu nedenle tahmin şu şekilde verilir:
Zdeğil=AT=11değil∑ben=1değilXben=1X¯{\ displaystyle Z_ {n} = \ mathrm {A} = {\ frac {1} {{\ frac {1} {n}} \ toplamı _ {i = 1} ^ {n} X_ {i}}} = {\ frac {1} {\ bar {X}}}}
Yine, ampirik ortalamanın tersini bulmak oldukça normaldir, çünkü üstel bir yasanın beklentisinin parametrenin tersine karşılık geldiğini biliyoruz .
α{\ displaystyle \ alpha}![\alfa](https://wikimedia.org/api/rest_v1/media/math/render/svg/b79333175c8b3f0840bfb4ec41b8072c83ea88d3)
Normal hukuk
Beklenti maksimum olabilirlik tahmin edicisi ve varyans a normal dağılımın geçerli:
μ{\ displaystyle \ mu}
σ2{\ displaystyle \ sigma ^ {2}}![\ sigma ^ {2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/53a5c55e536acf250c1d3e0f754be5692b843ef5)
μ^ML=x¯=1değil∑ben=1değilxben{\ displaystyle {\ hat {\ mu}} _ {ML} = {\ bar {x}} = {\ frac {1} {n}} \ toplamı _ {i = 1} ^ {n} x_ {i} }
σ^ML2=1değil∑ben=1değil(xben-x¯)2{\ displaystyle {\ widehat {\ sigma}} _ {ML} ^ {2} = {\ frac {1} {n}} \ toplamı _ {i = 1} ^ {n} (x_ {i} - {\ çubuk {x}}) ^ {2}}![\ widehat {\ sigma} _ {{ML}} ^ {2} = {\ frac {1} {n}} \ sum _ {{i = 1}} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/837c7b166cc069d5d25828330feab56f829fa92d)
Gösteri
Normal bir yasanın yoğunluk işlevi vardır:
DEĞİL(μ,σ2){\ displaystyle {\ mathcal {N}} (\ mu, \ sigma ^ {2})}![{\ mathcal {N}} (\ mu, \ sigma ^ {2})](https://wikimedia.org/api/rest_v1/media/math/render/svg/863304aaa42a945f2f07d79facc3d2eebc845ce7)
f(x∣μ,σ2)=1σ2πtecrübe(-(x-μ)22σ2).{\ displaystyle f (x \ orta \ mu, \ sigma ^ {2}) = {\ frac {1} {\ sigma {\ sqrt {2 \ pi}}}} \ exp {\ sol (- {\ frac { (x- \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ sağ)}.}![f (x \ mid \ mu, \ sigma ^ 2) = \ frac {1} {\ sigma \ sqrt {2 \ pi}} \ exp {\ left (- \ frac {(x- \ mu) ^ 2} { 2 \ sigma ^ 2} \ sağ)}.](https://wikimedia.org/api/rest_v1/media/math/render/svg/a7b44f83b87a5f92fcc0c98f19bcfc44a312b3b0)
Bu durumda, n bağımsız değerden oluşan bir örnek için olabilirlik işlevi:
f(x1,...,xdeğil∣μ,σ2)=∏ben=1değilf(xben∣μ,σ2)=(12πσ2)değil/2tecrübe(-∑ben=1değil(xben-μ)22σ2),{\ displaystyle f (x_ {1}, \ ldots, x_ {n} \ orta \ mu, \ sigma ^ {2}) = \ prod _ {i = 1} ^ {n} f (x_ {i} \ orta \ mu, \ sigma ^ {2}) = \ left ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ sağ) ^ {n / 2} \ exp \ left (- {\ frac {\ toplam _ {i = 1} ^ {n} (x_ {i} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ sağ),}![f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma ^ {2}) = \ prod _ {{i = 1}} ^ {{n}} f (x _ {{i }} \ mid \ mu, \ sigma ^ {2}) = \ left ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ sağ) ^ {{n / 2}} \ exp \ sol (- {\ frac {\ sum _ {{i = 1}} ^ {{n}} (x_ {i} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ sağ) ,](https://wikimedia.org/api/rest_v1/media/math/render/svg/0893635bd018f4bff05f8f9316ac31f275eba2f7)
König-Huyghens teoremi ile daha basit bir şekilde yazılabilir :
f(x1,...,xdeğil∣μ,σ2)=(12πσ2)değil/2tecrübe(-∑ben=1değil(xben-x¯)2+değil(x¯-μ)22σ2),{\ displaystyle f (x_ {1}, \ ldots, x_ {n} \ orta \ mu, \ sigma ^ {2}) = \ sol ({\ frac {1} {2 \ pi \ sigma ^ {2}} } \ sağ) ^ {n / 2} \ exp \ left (- {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ sağ),}![f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma ^ {2}) = \ left ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ right ) ^ {{n / 2}} \ exp \ left (- {\ frac {\ sum _ {{i = 1}} ^ {{n}} (x_ {i} - {\ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ sağ),](https://wikimedia.org/api/rest_v1/media/math/render/svg/05d79d339a9e1dd6b8fb0d3b7f86c678fc910056)
örnek ortalama nerede .
x¯{\ displaystyle {\ çubuğu {x}}}![{\ bar {x}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/466e03e1c9533b4dab1b9949dad393883f385d80)
Burada iki parametremiz var: bu nedenle işlevi iki parametreye göre maksimize etmeliyiz .
θ=μ,σ2{\ displaystyle \ theta = \ mu, \ sigma ^ {2}}
L(μ,σ)=f(x1,...,xdeğil∣μ,σ){\ displaystyle {\ mathcal {L}} (\ mu, \ sigma) = f (x_ {1}, \ ldots, x_ {n} \ orta \ mu, \ sigma)}![{\ mathcal {L}} (\ mu, \ sigma) = f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma)](https://wikimedia.org/api/rest_v1/media/math/render/svg/8f91fb18fbd750c0037139a075539788693fd6a5)
Bu nedenle ilk türevi arayacağız ve onu sıfıra eşitleyeceğiz.
Bu durumda, burada maksimize edilen log-olabilirlik fonksiyonudur.
0=∂∂μln((12πσ2)değil/2tecrübe(-∑ben=1değil(xben-x¯)2+değil(x¯-μ)22σ2))=∂∂μ(ln(12πσ2)değil/2-∑ben=1değil(xben-x¯)2+değil(x¯-μ)22σ2)=0--2değil(x¯-μ)2σ2{\ displaystyle {\ başla {hizalı} 0 & = {\ frac {\ kısmi} {\ kısmi \ mu}} \ ln \ sol (\ sol ({\ frac {1} {2 \ pi \ sigma ^ {2} }} \ sağ) ^ {n / 2} \ exp \ left (- {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2 } + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ sağ) \ sağ) \\ & = {\ frac {\ kısmi} {\ kısmi \ mu}} \ left (\ ln \ left ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ right) ^ {n / 2} - {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2 }}} \ sağ) \\ & = 0 - {\ frac {-2n ({\ bar {x}} - \ mu)} {2 \ sigma ^ {2}}} \ end {hizalı}}}![\ başlangıç {hizala} 0 & = \ frac {\ kısmi} {\ kısmi \ mu} \ ln \ left (\ left (\ frac {1} {2 \ pi \ sigma ^ 2} \ right) ^ {n / 2 } \ exp \ left (- \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {2 \ sigma ^ 2} \ sağ) \ sağ) \\ & = \ frac {\ kısmi} {\ kısmi \ mu} \ left (\ ln \ left (\ frac {1} {2 \ pi \ sigma ^ 2} \ sağ ) ^ {n / 2} - \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {2 \ sigma ^ 2} \ right) \\ & = 0 - \ frac {-2n (\ bar {x} - \ mu)} {2 \ sigma ^ 2} \ end {hizala}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bf2b35d968cc74c06550aefb5df2870b9b629836)
ve böylece tahmin ediciyi beklentinin maksimum olasılığına göre elde ederiz:
μ^=x¯=∑ben=1değilxben/değil{\ displaystyle {\ hat {\ mu}} = {\ bar {x}} = \ toplam _ {i = 1} ^ {n} x_ {i} / n}![{\ hat \ mu} = {\ bar {x}} = \ toplam _ {{i = 1}} ^ {{n}} x_ {i} / n](https://wikimedia.org/api/rest_v1/media/math/render/svg/540b20286aa0031474e057f68a8aff13a0f02675)
Bu tahmincinin tarafsız olduğunu da gösterebiliriz:
E[μ^]=μ{\ displaystyle \ mathbb {E} \ sol [{\ widehat {\ mu}} \ sağ] = \ mu}![{\ mathbb {E}} \ left [\ widehat \ mu \ right] = \ mu](https://wikimedia.org/api/rest_v1/media/math/render/svg/700ad845f296cb3db78cc330ad52206c8f5ea0a8)
İkinci parametre için, σ, analoji yoluyla maksimumu σ'nun bir fonksiyonu olarak ararız.
0=∂∂σln((12πσ2)değil/2tecrübe(-∑ben=1değil(xben-x¯)2+değil(x¯-μ)22σ2))=∂∂σ(değil2ln(12πσ2)-∑ben=1değil(xben-x¯)2+değil(x¯-μ)22σ2)=-değilσ+∑ben=1değil(xben-x¯)2+değil(x¯-μ)2σ3{\ displaystyle {\ başla {hizalı} 0 & = {\ frac {\ kısmi} {\ kısmi \ sigma}} \ ln \ sol (\ sol ({\ frac {1} {2 \ pi \ sigma ^ {2} }} \ sağ) ^ {n / 2} \ exp \ left (- {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2 } + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ sağ) \ sağ) \\ & = {\ frac {\ kısmi} {\ kısmi \ sigma}} \ left ({\ frac {n} {2}} \ ln \ left ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ sağ) - {\ frac {\ toplamı _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ right) \\ & = - {\ frac {n} {\ sigma}} + {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - { \ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {\ sigma ^ {3}}} \ end {hizalı}}}![\ başlangıç {hizala} 0 & = \ frac {\ kısmi} {\ kısmi \ sigma} \ ln \ left (\ left (\ frac {1} {2 \ pi \ sigma ^ 2} \ right) ^ {n / 2 } \ exp \ left (- \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {2 \ sigma ^ 2} \ sağ) \ sağ) \\ & = \ frac {\ kısmi} {\ kısmi \ sigma} \ left (\ frac {n} {2} \ ln \ left (\ frac {1} {2 \ pi \ sigma ^ 2} \ sağ) - \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {2 \ sigma ^ 2} \ right) \\ & = - \ frac {n} {\ sigma} + \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {\ sigma ^ 3} \ end {hizala}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7398c0cf08e63b678026777110c4ad0512cd8a39)
bu nedenle
σ^2=∑ben=1değil(xben-μ^)2/değil{\ displaystyle {\ widehat {\ sigma}} ^ {2} = \ toplamı _ {i = 1} ^ {n} (x_ {i} - {\ widehat {\ mu}}) ^ {2} / n}![\ widehat \ sigma ^ {2} = \ toplam _ {{i = 1}} ^ {n} (x_ {i} - \ widehat {\ mu}) ^ {2} / n](https://wikimedia.org/api/rest_v1/media/math/render/svg/84906a5b7a1190147f2af12883736b8518a56141)
ve sonunda varyansın maksimum olasılık tahmin edicisini elde ederiz
σ^2=1değil∑ben=1değil(xben-x¯)2{\ displaystyle {\ widehat {\ sigma}} ^ {2} = {\ frac {1} {n}} \ toplamı _ {i = 1} ^ {n} (x_ {i} - {\ bar {x} }) ^ {2}}![\ widehat \ sigma ^ {2} = {\ frac {1} {n}} \ sum _ {{i = 1}} ^ {{n}} (x _ {{i}} - {\ bar {x} }) ^ {2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5c93cdf8ea743967d5dcb223a3a7adb63c07b633)
Öte yandan varyans tahmincisi önyargılıdır:
E[σ2^]=değil-1değilσ2{\ displaystyle \ mathbb {E} \ sol [{\ widehat {\ sigma ^ {2}}} \ sağ] = {\ frac {n-1} {n}} \ sigma ^ {2}}
Varyans tahmincisi, maksimum olasılığın yanlı tahmin ediciler sağlayabileceğini göstermek için iyi bir örnektir. Gerçekten de, tarafsız bir tahmincisi verilir: . Bununla birlikte, asimptotik olarak, n sonsuza eğilimli olduğunda, 0'a eğilimli olan bu önyargı, o zaman asimptotik olarak tarafsızdır.
σ^2=1değil-1∑ben=1değil(xben-x¯)2{\ displaystyle {\ widehat {\ sigma}} ^ {2} = {\ frac {1} {n-1}} \ toplamı _ {i = 1} ^ {n} (x_ {i} - {\ bar { x}}) ^ {2}}
-σ2değil,{\ displaystyle {\ frac {- \ sigma ^ {2}} {n}},}![{\ displaystyle {\ frac {- \ sigma ^ {2}} {n}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/539a1f5c28d5c12575286759126bfe4e18153494)
Üniforma Hukuku
Tek tip bir dağılımın üst sınırının tahmin edilmesi durumunda, olasılık türetilemez.
Biz parametre tahmin etmek istiyorum a a tekdüze hukuk bir den n numunede.
f(x,-de)=f-de(x)={1-deEğerx∈[0;-de]0değilse[0; a] \\ 0 & {\ text {aksi halde}} \ end {vakalar}}}![f (x, a) = f_ {a} (x) = {\ begin {case} {\ frac {1} {a}} & {\ text {si}} \ quad x \ in [0; a] \ \ 0 & {\ text {aksi}} \ end {vakalar}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f18b4c9eedf0c979225be78b83c58bee31873ac2)
Olasılık şöyle yazılır:
L(x1,...,xben,...,xdeğil;-de)=∏ben=1değilf-de(xben)={0Eğer-de<max(x1,...,xdeğil)1-dedeğilEğer-de≥max(x1,...,xdeğil){\ displaystyle L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; a) = \ prod _ {i = 1} ^ {n} f_ {a} (x_ {i} ) = {\ başla {vakalar} 0 & {\ text {si}} \ quad a <\ max (x_ {1}, \ ldots, x_ {n}) \\ {\ frac {1} {a ^ {n }}} & {\ text {si}} \ quad a \ geq \ max (x_ {1}, \ ldots, x_ {n}) \ end {vakalar}}}![L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; a) = \ prod _ {{i = 1}} ^ {n} f_ {a} (x_ {i}) = {\ {case} 0 ve {\ text {si}} \ quad a <\ max (x_ {1}, \ ldots, x_ {n}) \\ {\ frac {1} {a ^ {n} baş }} & {\ text {si}} \ quad a \ geq \ max (x_ {1}, \ ldots, x_ {n}) \ end {vakalar}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3e9e7ec8946b892ae121aa1e5bd77122d48b872f)
Bu işlev, içinde türetilemez . Türevi tüm aralık boyunca kaybolur . Bu fonksiyonun maksimumunu bulmak için türevin nerede kaybolduğuna bakılmaması gerektiği açıktır.
max(x1,...,xdeğil){\ displaystyle \ max (x_ {1}, \ ldots, x_ {n})}
[0,max(x1,...,xdeğil)[{\ displaystyle [0, \ max (x_ {1}, \ ldots, x_ {n}) [}![[0, \ max (x_ {1}, \ ldots, x_ {n}) [](https://wikimedia.org/api/rest_v1/media/math/render/svg/29de2f78b056aa13ad14be783b23a7cab7e9a177)
L' nin değeri maksimum olacaktır çünkü azalıyor .
-de^=max(x1,...,xdeğil){\ displaystyle {\ hat {a}} = \ max (x_ {1}, \ ldots, x_ {n})}
1-dedeğil{\ displaystyle {\ tfrac {1} {a ^ {n}}}}
-de>0{\ displaystyle a> 0}![a> 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/1f34a80ea013edb56e340b19550430a8b6dfd7b9)
Bu örnek aynı zamanda olasılığın logaritmasının her zaman iyi tanımlanmadığını gösterir (bunu kabul etmedikçe ).
ln(0)=-∞{\ displaystyle \ ln (0) = - \ infty}![\ ln (0) = - \ infty](https://wikimedia.org/api/rest_v1/media/math/render/svg/6ce280837cfb2a00cfbd338d2ca1a68ffb60177e)
Başvurular
Maksimum olasılık yöntemi çok sık kullanılır. Özellikle lojistik regresyon modelini veya probit modelini tahmin etmek için kullanılır . Daha genel olarak, genelleştirilmiş doğrusal modeli , lojistik regresyon içeren model sınıflarını ve probit modelini tahmin etmek için yaygın olarak kullanılır .
Kaynakça
- (tr) Larry Wasserman , All of Statistics: A Concise Course in Statistical Inference , New York, Springer-Verlag ,15 Eylül 2004, 461 s. ( ISBN 978-0-387-40272-7 , çevrimiçi okuyun )
- (en) Colin Cameron ve Pravin Trivedi , Mikroekonometri: Yöntemler ve Uygulamalar , Cambridge University Press ,2005, 1056 s. ( ISBN 978-0-521-84805-3 , çevrimiçi okuyun )
Notlar ve referanslar
Notlar
-
p-değerinin, testi reddettiğimiz birinci türün ( ) riskinin en küçük değeri olarak tanımlandığını hatırlıyoruz ( Wasserman 2004 , s. 156)α{\ displaystyle \ alpha}
Referanslar
-
(inç) John Aldrich , " RA Fisher ve 1912'den 1922'ye kadar maksimum olasılığın oluşturulması " , Statistical Science , Cilt. 12, n o 3,1997, s. 162-176 ( çevrimiçi okuyun , 19 Aralık 2011'de danışıldı )
-
(inç) Stephen Stigler , " Maksimum Olabilirliğin Destansı Hikayesi " , İstatistik Bilimi , Cilt. 22, n o 4,2007( çevrimiçi okuyun , 21 Aralık 2011'de danışıldı ).
-
(inç) Ronald Fisher , " Frekans eğrilerini uydurmak için mutlak bir kriter üzerine " , Messenger of Mathematics , n o 41,1912, s. 155-160
-
(in) Ronald Fisher , " " küçük bir örnekten çıkarılabilir korelasyon katsayısı muhtemel hata Üzerine " " , Metron , n o 1,1921
-
(in) Ronald Fisher , " Teorik istatistiğin matematiksel temelleri üzerine " , Philos. Trans. Roy. Soc. London Ser. A ,1922
-
Wasserman 2004 , s. 126
-
Cameron ve Trivedi 2005 , s. 119
-
Wasserman 2004 , s. 129, Teorem 9.18
-
Cameron ve Trivedi 2005 , s. 121
-
Wasserman 2004 , s. 129, Teorem 9.19
-
Wasserman 2004 , s. 153, tanım 10.3
-
Wasserman 2004 , s. 158, Teorem 10.13
-
Wasserman 2004 , s. 164
-
Wasserman 2004 , s. 123, örnek 9.11
-
Wasserman 2004 , s. 124, örnek 9.12
Ayrıca görün
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">