Okrem metódy momentov, ktorá je popísaná v predchádzajúcej časti, existujú aj ďalšie metódy bodového odhadu neznámych distribučných parametrov. Patrí sem metóda maximálnej pravdepodobnosti navrhnutá R. Fisherom.

A. Diskrétne náhodné premenné.Poďme X - diskrétna náhodná premenná, ktorá ako výsledok n testy nadobudli hodnoty x 1 , X 2 , ..., X p . Predpokladajme, že forma distribučného zákona veličiny X daný, ale parameter neznámy θ ktorý definuje tento zákon. Je potrebné nájsť jeho bodový odhad.

Označíme pravdepodobnosť, že výsledkom testu bude hodnota X sa ujme x i (i= 1 , 2, . . . , n), naprieč p(x i ; θ ).

Funkcia pravdepodobnosti diskrétnej náhodnej hodnotyhodnostiX zavolajte funkciu argumentu θ :

Ľ (x 1 , X 2 , ..., X p ; θ ) = p (x 1 ; θ ) r(x 2 ; θ ) . . . p (x n ; θ ),

kde x 1 , X 2 , ..., X p - pevné čísla.

Ako bodový odhad parametra θ ber tento význam θ * = θ * (x 1 , X 2 , ..., X p), pri ktorej funkcia pravdepodobnosti dosiahne svoje maximum. Posúdenie θ * volať najvyšší odhad pravdepodobnosti.

Funkcie Ľ a ln Ľ dosiahnuť maximum pri rovnakej hodnote θ , preto namiesto hľadania maxima funkcie Ľ hľadať (čo je pohodlnejšie) maximum funkcie ln Ľ.

Funkcia logaritmickej pravdepodobnostifunkcia ln Ľ... Ako je známe, maximálny bod funkcie ln Ľ argument θ môžete vyhľadávať napríklad takto:

3) nájdite druhú deriváciu; ak druhá derivácia pri θ = θ * je teda záporné θ * - maximálny bod.

Nájdený maximálny bod θ * berte ako odhad maximálnej pravdepodobnosti parametra θ .

Metóda maximálnej pravdepodobnosti má množstvo výhod: odhady maximálnej pravdepodobnosti sú všeobecne konzistentné (ale môžu byť skreslené), distribuované asymptoticky normálne (pre veľké hodnoty) n sú približne normálne) a majú najmenšiu odchýlku v porovnaní s inými asymptoticky normálnymi odhadmi; ak pre odhadovaný parameter θ existuje efektívne hodnotenie θ *, potom má rovnica pravdepodobnosti jedinečné riešenie θ *; Táto metóda maximálne využije údaje o vzorke o parametri, ktorý sa odhaduje, takže je obzvlášť užitočná v prípade malých vzoriek.

Nevýhodou tejto metódy je, že často vyžaduje zložité výpočty.

Poznámka 1. Funkcia pravdepodobnosti - funkcia argumentu θ ; skóre maximálnej pravdepodobnosti - funkcia nezávislých argumentov x 1 , X 2 , ..., X p .

Poznámka 2. Odhad najlepšej pravdepodobnosti nie vždy zodpovedá odhadu zistenému metódou okamihov.

Príklad 1.λ poissonovo rozdelenie

kde m - počet vykonaných testov; x i - počet výskytov udalosti v i-m ( i=1, 2, ..., n) skúsenosť (skúsenosť pozostáva z ttesty).

Rozhodnutie. Poďme si zostaviť funkciu pravdepodobnosti, pričom to vezmeme do úvahy. θ= λ :

Ľ = p (x 1 ; λ :) p (x 2 ; λ :) . . .p (x n ; λ :),=

.

Napíšme rovnicu pravdepodobnosti, pre ktorú prvú deriváciu prirovnáme k nule:

Nájdeme kritický bod, pre ktorý vyriešime výslednú rovnicu λ:

Nájdeme druhú deriváciu vzhľadom na λ:

Je ľahké vidieť, že pre λ \u003d druhá derivácia je záporná; preto je λ \u003d maximálny bod, a preto ako odhad maximálnej pravdepodobnosti parametra λ Poissonovej distribúcie musíme brať vzorkový priemer λ * \u003d.

Príklad 2. Vyhľadajte odhad parametra metódou maximálnej pravdepodobnosti p binomické rozdelenie

ak v n 1 udalosť nezávislých pokusov Aobjavil sa x 1 = m 1 krát a p 2 udalosť nezávislých pokusov Aobjavil sa x 2 \u003d t 2 čas.

Rozhodnutie. Poďme si zostaviť funkciu pravdepodobnosti a zohľadniť ju θ = p:

Nájdite funkciu pravdepodobnosti záznamu:

Nájdite prvú deriváciu s ohľadom na r:

.

.

Nájdeme kritický bod, pre ktorý vyriešime výslednú rovnicu p:

Nájdite druhú deriváciu s ohľadom na p:

.

Je ľahké to vidieť za druhá derivácia je záporná; teda je maximálny bod, a preto ho treba brať ako odhad maximálnej pravdepodobnosti neznámej pravdepodobnosti p binomická distribúcia:

B. Spojité náhodné premenné.Poďme X - spojitá náhodná premenná, ktorá ako výsledok n testy nadobudli hodnoty x 1 , X 2 , ..., x p . Predpokladajme, že forma hustoty distribúcie f(x) daný, ale neznámy parameter θ ktorá definuje túto funkciu.

Funkcia pravdepodobnosti spojitého náhodného zvoduhodnostiX zavolajte funkciu argumentu θ :

Ľ (x 1 , X 2 , ..., X p ; θ ) = f (x 1 ; θ ) f (x 2 ; θ ) . . . f (x n ; θ ),

kde x 1 , X 2 , ..., x p - pevné čísla.

Odhad maximálnej pravdepodobnosti neznámeho parametra distribúcie spojitej náhodnej premennej sa hľadá rovnakým spôsobom ako v prípade diskrétnej premennej.

Príklad 3. Metódou maximálnej pravdepodobnosti nájdite odhad parametra λ, exponenciálne rozdelenie

(0< x< ∞),

ak vo výsledku n test náhodná premenná X, rozdelené podľa exponenciálneho zákona, vzali hodnoty x 1 , X 2 , ..., X p .

Rozhodnutie. Poďme si zostaviť funkciu pravdepodobnosti a zohľadniť ju θ= λ:

Ľ= f (x 1 ; λ ) f (x 2 ; λ ) . . . f (x n ; λ ) =.

Nájdite funkciu pravdepodobnosti záznamu:

Nájdeme prvú deriváciu vzhľadom na λ:

Napíšme rovnicu pravdepodobnosti, pre ktorú prvú deriváciu prirovnáme k nule:

Nájdeme kritický bod, pre ktorý vyriešime výslednú rovnicu pre λ:

Nájdite druhú deriváciu vzhľadom na λ :

Je ľahké vidieť, že pre λ \u003d 1 / druhá derivácia je záporná; následkom toho je λ \u003d 1 / maximálny bod, a preto ako odhad maximálnej pravdepodobnosti parametra λ exponenciálneho rozdelenia musíme brať hodnotu inverznú k priemeru vzorky: λ * \u003d 1 /.

Komentovať. Ak je hustota distribúcie f(x) spojitá náhodná premenná X určené dvoma neznámymi parametrami θ 1 a θ 2, potom je funkcia pravdepodobnosti funkciou dvoch nezávislých argumentov θ 1 a θ 2:

Ľ= f (x 1 ; θ 1 , θ 2) f (x 2 ; θ 1 , θ 2) . . . f (x n ; θ 1 , θ 2),

kde x 1 , X 2 , ..., X p - pozorované hodnoty X... Potom sa nájde funkcia logaritmickej pravdepodobnosti a na zistenie jej maxima sa systém zostaví a vyrieši

Príklad 4. Nájdite odhad najlepšej pravdepodobnosti parametrov a a σ normálne rozdelenie

ak vo výsledku n hodnota testu X vzal hodnoty x 1 , X 2 , ..., X p .

Rozhodnutie. Poďme si zostaviť funkciu pravdepodobnosti a zohľadniť ju θ 1 =a a θ 2 \u003d σ

.

Nájdite funkciu pravdepodobnosti záznamu:

.

Nájdite čiastkové derivácie vzhľadom na a a pre σ:

Vyrovnanie parciálnych derivácií na nulu a riešenie výslednej sústavy dvoch rovníc pre a a σ 2 dostaneme:

Vyhľadávané odhady maximálnej pravdepodobnosti teda: a* = ;σ*= . Všimnite si, že prvý odhad je nestranný a druhý je zaujatý.

Metóda maximálnej pravdepodobnosti (MMP) je jednou z najbežnejšie používaných metód v štatistike a ekonometrii. Pre jeho aplikáciu je potrebné poznať zákon rozdelenia vyšetrovanej náhodnej premennej.

Nech existuje nejaká náhodná premenná Y s daným distribučným zákonom DE). Parametre tohto zákona nie sú známe a je potrebné ich nájsť. Všeobecne platí, že množstvo Y. považované za viacrozmerné, t.j. pozostávajúci z niekoľkých jednorozmerných veličín Y1, Y2, Y3 ..., Y.

Predpokladajme, že Y je jednorozmerná náhodná premenná a jej jednotlivé hodnoty sú čísla. Každý z nich (Ooh), ooh2, y3, ..., yn) sa považuje za realizáciu nie jednej náhodnej premennej Y, ale η náhodné premenné Y1; У2, У3 ..., У „. Teda:

уj - realizácia náhodnej premennej У];

y2 - implementácia náhodnej premennej Y2;

uz - implementácia náhodnej premennej Y3;

у „- realizácia náhodnej premennej У„.

Parametre distribučného zákona vektora Y, ktorý sa skladá z náhodných premenných Y.b Y.2, Y3, Y „, predstavujú ako vektor Θ, pozostávajúci z do parametre: θχ, θ2, vj) množstvá Υ ν Υ 2, Y3, ..., Υ η možno distribuovať s rovnakými parametrami aj s rôznymi; niektoré parametre môžu byť rovnaké, zatiaľ čo iné sa môžu líšiť. Konkrétna odpoveď na túto otázku závisí od problému, ktorý riešiteľ rieši.

Napríklad ak je úlohou určiť parametre distribučného zákona náhodnej premennej Y, ktorej implementáciou sú hodnoty Y1; Y2, Y3, Y, a potom sa predpokladá, že každá z týchto veličín je distribuovaná rovnakým spôsobom ako veličina Y. Inými slovami, akákoľvek veličina Y je opísaná rovnakým distribučným zákonom / (Y,) a s rovnakými parametrami Θ: θχ, θ2, ..., ddo.

Ďalším príkladom je nájdenie parametrov regresnej rovnice. V tomto prípade sa každá premenná Y považuje za náhodnú premennú s „vlastnými“ distribučnými parametrami, ktoré sa môžu čiastočne zhodovať s distribučnými parametrami iných náhodných premenných alebo sa môžu úplne líšiť. Aplikácia MMP na nájdenie parametrov regresnej rovnice bude podrobnejšie popísaná nižšie.

V rámci metódy maximálnej pravdepodobnosti sa množina dostupných hodnôt Y], y2, y3, ..., y „považuje za pevnú, nemennú. To znamená, že zákon / (Y;) je funkciou danej hodnoty a neznámych parametrov Θ. Preto pre p pozorovania náhodnej premennej Y majú p zákony / (U;).

Neznáme parametre týchto distribučných zákonov sa považujú za náhodné premenné. Môžu sa meniť, avšak vzhľadom na množinu hodnôt Yi, y2, y3, ..., y „sú najpravdepodobnejšie konkrétne hodnoty parametrov. Inými slovami, kladie sa otázka: aké by mali byť parametre Θ, aby boli hodnoty yj, y2, y3, ..., y „najpravdepodobnejšie?

Aby ste na ňu odpovedali, musíte nájsť zákon spoločného rozdelenia náhodných premenných Y1; U2, U3, ..., hore –KUi, U2, Uz, U „). Ak predpokladáme, že pozorované veličiny y ^ y2, y3, ..., yn sú nezávislé, potom sa rovná súčinu p zákony /

(Y;) (súčin pravdepodobnosti výskytu týchto hodnôt pre diskrétne náhodné premenné alebo súčin hustôt distribúcie pre spojité náhodné veličiny):

Aby sme zdôraznili skutočnosť, že hľadané parametre Θ sú považované za premenné, zavedieme do zápisu distribučného zákona ešte jeden argument - vektor parametrov Θ:

Berúc do úvahy zavedené označenia, zákon o spoločnej distribúcii nezávislý množstvá s parametrami sa zapíšu ako

(2.51)

Výsledná funkcia (2.51) sa volá funkcia maximálnej pravdepodobnosti a označiť:

Znovu zdôrazňujeme skutočnosť, že vo funkcii maximálnej pravdepodobnosti sa hodnoty Y považujú za pevné a premenné sú parametrami vektora (v konkrétnom prípade jeden parameter). Na zjednodušenie procesu hľadania neznámych parametrov je funkcia pravdepodobnosti logaritmizovaná a získaná funkcia pravdepodobnosti záznamu

Ďalšie riešenie MMF spočíva v nájdení takých hodnôt Θ, pri ktorých funkcia pravdepodobnosti (alebo jej logaritmus) dosiahne maximum. Nájdené hodnoty Θ; zavolal odhad maximálnej pravdepodobnosti.

Metódy zisťovania odhadu maximálnej pravdepodobnosti sú pomerne rozmanité. V najjednoduchšom prípade je funkcia pravdepodobnosti nepretržite diferencovateľná a má maximum v bode, pre ktorý

V zložitejších prípadoch nie je možné nájsť maximum funkcie maximálnej pravdepodobnosti diferenciáciou a riešením rovnice pravdepodobnosti, ktorá si vyžaduje vyhľadanie ďalších algoritmov na jej nájdenie, vrátane iteračných.

Odhady parametrov získané pomocou MMF sú:

• – bohatý, tie. s nárastom objemu pozorovaní sa rozdiel medzi odhadom a skutočnou hodnotou parametra blíži k nule;
• – nemenný: ak sa získa odhad parametra Θ rovný 0L a existuje spojitá funkcia q (0), potom bude odhad hodnoty tejto funkcie q (0L). Najmä ak by sme pomocou MLM odhadli hodnotu rozptylu nejakého ukazovateľa (af), potom koreňom výsledného odhadu bude odhad štandardnej odchýlky (σ,) získaný od MMF.
• – asymptoticky účinné ;
• – asymptoticky normálne distribuované.

Posledné dve tvrdenia znamenajú, že odhady parametrov získané od MMF vykazujú vlastnosti efektívnosti a normality s nekonečne veľkým nárastom veľkosti vzorky.

Zistiť parametre viacnásobnej lineárnej regresie formy

potrebujete poznať zákony rozdelenia závislých premenných 7; alebo náhodné zvyšky ε,. Nechajte premennú Y.t sa rozdelí podľa normálneho zákona s parametrami μ ,, σ ,. Každá pozorovaná hodnota y má v súlade s definíciou regresie očakávaná hodnota μ, \u003d MU „rovná sa jeho teoretickej hodnote, za predpokladu, že sú známe hodnoty regresných parametrov v bežnej populácii

kde xfl, ..., xip - hodnoty nezávislých premenných v systéme Windows і -sté pozorovanie. Keď sú splnené predpoklady na použitie OLS (predpoklady na zostavenie klasického normálneho lineárneho modelu), majú náhodné premenné Y rovnakú varianciu

Rozptyl množstva je určený vzorcom

Transformujme tento vzorec:

Keď sú podmienky Gauss - Markov uspokojené, že matematické očakávanie náhodných zvyškov je rovné nule a ich odchýlky sú konštantné, možno prejsť od vzorca (2.52) k vzorcu

Inými slovami, odchýlky náhodnej premennej Y, - a zodpovedajúcich náhodných zvyškov sa zhodujú.

Selektívny odhad matematického očakávania náhodnej premennej Yj bude naznačovať

a odhad jeho rozptylu (konštantný pre rôzne pozorovania) ako Sy.

Za predpokladu nezávislosti jednotlivých pozorovaní rpotom dostaneme funkciu maximálnej pravdepodobnosti

(2.53)

V danej funkcii je deliteľ konštantný a nemá vplyv na nájdenie jeho maxima. Preto je možné ho pre zjednodušenie výpočtov vynechať. Po zohľadnení tejto poznámky a po zohľadnení logaritmu má funkcia (2.53) tvar

V súlade s MMF nájdeme deriváty funkcie logaritmickej pravdepodobnosti vzhľadom na neznáme parametre

Aby sme našli extrém, porovnajme získané výrazy s nulou. Po transformáciách dostaneme systém

(2.54)

Tento systém zodpovedá systému získanému metódou najmenších štvorcov. To znamená, že MMP a OLS poskytujú rovnaké výsledky, ak sú splnené predpoklady OLS. Posledný výraz v systéme (2.54) poskytuje odhad rozptylu náhodnej premennej 7 alebo, čo je to isté, rozptylu náhodných zvyškov. Ako je uvedené vyššie (pozri vzorec (2.23)), objektívny odhad rozptylu náhodných zvyškov je

Podobný odhad získaný pomocou MLM (ako vyplýva zo systému (2.54)) sa vypočíta podľa vzorca

tie. je vysídlený.

Zvažovali sme prípad použitia MLM na nájdenie parametrov lineárnej viacnásobnej regresie za predpokladu, že hodnota Y je normálne distribuovaná. Ďalším prístupom k nájdeniu parametrov rovnakej regresie je zostrojenie funkcie maximálnej pravdepodobnosti náhodných zvyškov ε,. U nich sa to tiež predpokladá normálne rozdelenie s parametrami (0, σε). Je ľahké overiť, že výsledky riešenia sa v tomto prípade zhodujú s výsledkami získanými vyššie.

Doteraz sme verili, že odhad neznámeho parametra je známy, a študovali sme jeho vlastnosti, aby sme ich mohli použiť pri konštrukcii intervalu spoľahlivosti. V tejto časti sa budeme zaoberať otázkou, ako zostaviť odhady.

Metódy pravdepodobnosti

Nech je potrebné odhadnúť neznámy parameter, všeobecne povedané, vektor. V tomto prípade sa predpokladá, že forma distribučnej funkcie je známa až po parameter,

V tomto prípade sa všetky momenty náhodnej premennej stanú funkciami:

Metóda momentov vyžaduje nasledujúce kroky:

Vypočítame k „teoretických“ momentov

Na základe vzorky skonštruujeme k podobných vzorových momentov. V predloženom kontexte to budú okamihy

Vyrovnaním „teoretických“ a vzorkovacích momentov rovnakého mena dospejeme k systému rovníc pre komponenty odhadovaného parametra

Riešením výsledného systému (presne alebo približne) nájdeme počiatočné odhady. Sú to samozrejme funkcie vzorkovaných hodnôt.

Načrtli sme poradie akcií na základe počiatočných - teoretických a výberových bodov. Zachováva sa pod iným výberom momentov, počiatočných, centrálnych alebo absolútnych, čo je dané pohodlnosťou systému riešenia (25.1) alebo podobne.

Prejdime k skúmaniu príkladov.

Príklad 25.1. Nechajte náhodnú premennú rovnomerne rozložiť na segment [; ], kde sú neznáme parametre. Odoberaním vzorky () objemu n z distribúcie náhodnej premennej. Vyžaduje sa vyhodnotenie a.

V tomto prípade je distribúcia určená hustotou

1) Vypočítajme prvé dva počiatočné „teoretické“ momenty:

2) Vypočítajme prvé dva vzorkovacie momenty zo vzorky

3) Zostavme sústavu rovníc

4) Z prvej rovnice vyjadrujeme prostredníctvom

a dosadíme ho do druhej rovnice, v dôsledku čoho dospejeme ku kvadratickej rovnici

pri riešení ktorého nájdeme dva korene

Zodpovedajúce hodnoty sú

Pretože v zmysle úlohy musí byť podmienka splnená< , выбираем в качестве решения системы и оценок неизвестных параметров

Všimli sme si, že neexistuje nič iné ako rozptyl vzorky, a nakoniec sa dočkáme

Keby sme ako „teoretické“ momenty vybrali matematické očakávanie a odchýlku, dostali by sme sa do systému (berúc do úvahy nerovnosť<)

ktorý je lineárny a ľahšie riešiteľný ako ten predchádzajúci. Odpoveď sa samozrejme zhoduje s odpoveďou, ktorá už bola poskytnutá.

Na záver si všimneme, že naše systémy majú vždy riešenie a navyše jediné. Získané odhady sú samozrejme konzistentné, ale nemajú vlastnosti nestrannosti.

Metóda maximálnej pravdepodobnosti

Rovnako ako predtým študujeme náhodnú premennú, ktorej rozdelenie je určené buď pravdepodobnosťou jej hodnôt, ak je diskrétne, alebo hustotou rozdelenia, ak je spojitá, kde je neznámy vektorový parameter. Nech () je vzorka hodnôt. Je prirodzené brať ako odhad hodnotu parametra, pri ktorom je pravdepodobnosť získania už dostupnej vzorky maximálna.

Vyjadrenie

zavolal funkcia pravdepodobnosti, je to spoločné rozdelenie alebo hustota spoja náhodného vektora s n nezávislými súradnicami, z ktorých každý má rovnaké rozdelenie (hustotu) ako.

Ako odhad neznámeho parametra sa vezme jeho hodnota, ktorá poskytuje maximum funkcie považovanej za funkciu pri pevných hodnotách. Odhad sa volá odhad maximálnej pravdepodobnosti... Upozorňujeme, že to závisí od veľkosti vzorky n a hodnôt vzorky

a teda sama o sebe je náhodná premenná.

Nájsť maximálny bod funkcie je samostatná úloha, ktorá je ľahšia, ak je funkcia diferencovateľná vzhľadom na parameter.

V tomto prípade je vhodné zvážiť logaritmus namiesto funkcie, pretože extrémne body funkcie a jej logaritmus sa zhodujú.

Metódy diferenciálneho počtu vám umožňujú nájsť body, ktoré sú podozrivé z extrému, a potom zistiť, ktorá z nich je maximálna.

Z tohto dôvodu najskôr zvážime systém rovníc

ktorých riešením sú body podozrivé z extrému. Potom podľa dobre známej techniky výpočet hodnôt druhých derivátov

znakom determinantu zloženého z týchto hodnôt nájdeme maximálny bod.

Odhady maximálnej pravdepodobnosti sú konzistentné, aj keď môžu byť skreslené.

Uvažujme o niekoľkých príkladoch.

Príklad 25.2. Nechajte vykonať náhodný experiment, ktorého výsledkom môže byť nejaká udalosť A, ktorej pravdepodobnosť P (A) nie je známa a je predmetom odhadu.

Náhodnú premennú zavedieme rovnosťou

keby sa stala udalosť A,

ak sa udalosť A nestala (udalosť sa stala).

Rozdelenie náhodnej premennej je dané rovnosťou

Ukážkou v tomto prípade bude konečná postupnosť (), kde každá z hodnôt môže byť 0 alebo 1.

Funkcia pravdepodobnosti bude

Nájdite bod jeho maxima vzhľadom na p, pre ktorý vypočítame deriváciu logaritmu

Označme - toto číslo sa rovná počtu jednotiek „úspechov“ vo vybranej postupnosti.

Vyrovnajme výslednú deriváciu na nulu

a vyriešte výslednú rovnicu

Pretože derivácia mení znamienko z „+“ na „-“, pretože p sa zvyšuje z 0 na 1, bod je maximálnym bodom funkcie L a je odhadom maximálnej pravdepodobnosti parametra p. Pamätajte, že pomerom je frekvencia výskytu udalosti A v prvých n pokusoch.

Pretože m je počet „úspechov“ v rade n nezávislých pokusov (v Bernoulliho schéme), je to nestranný odhad. Na základe zákona veľkého počtu má Bernoulli tendenciu k pravdepodobnosti p a odhad je konzistentný.

Príklad 25.3. Vytvorme odhady pre neznáme matematické očakávanie a rozptyl bežne distribuovanej náhodnej premennej s parametrami.

Rozhodnutie.

Za podmienok príkladu je náhodná premenná určená hustotou distribúcie

Zapíšme si logaritmus pravdepodobnostnej funkcie

Zostavme systém rovníc na hľadanie krajných bodov

Z prvej rovnice nájdeme, z druhej, nahradením nájdenej hodnoty, nájdeme.

Vypočítajme druhé derivácie funkcie lnL v bode ():

A \u003d, B \u003d, C \u003d.

Pretože determinant

a A< 0, то найденная точка в самом деле точка максимума функции правдоподобия.

Upozorňujeme, že odhadom je priemer vzorky (nestranný a konzistentný odhad matematického očakávania) a ide o rozptyl vzorky (zaujatý odhad rozptylu).

Táto metóda spočíva v tom, že hodnota parametra, pri ktorej funkcia pravdepodobnosti dosiahne svoje maximum, sa berie ako bodový odhad parametra.

Pre náhodnú prevádzkovú dobu do poruchy s hustotou pravdepodobnosti f (t,) je funkcia pravdepodobnosti určená vzorcom 12.11: , t.j. je spoločná hustota pravdepodobnosti nezávislých meraní náhodnej premennej τ s hustotou pravdepodobnosti f (t,).

Ak je náhodná premenná samostatná a nadobúda hodnoty Z 1, Z 2... s pravdepodobnosťami P 1 (α), P 2 (α) ... sa pravdepodobnostná funkcia berie v inej podobe, konkrétne: kde indexy pravdepodobností naznačujú, že hodnoty boli pozorované.

Odhady maximálnej pravdepodobnosti parametra sa určujú z rovnice pravdepodobnosti (12.12).

Hodnotu metódy maximálnej pravdepodobnosti určujú nasledujúce dva predpoklady:

Ak existuje efektívny odhad parametra, potom má rovnica pravdepodobnosti (12.12) jedinečné riešenie.

Za určitých všeobecných podmienok analytickej povahy uložených pre funkcie f (t,) riešenie rovnice pravdepodobnosti konverguje k skutočnej hodnote parametra.

Zvážte príklad použitia metódy maximálnej pravdepodobnosti pre parametre normálneho rozdelenia.

Príklad:

Máme: , , t i (i \u003d 1..N) vzorka z populácie s hustotou distribúcie.

Je potrebné nájsť odhad maximálnej podobnosti.

Funkcia pravdepodobnosti: ;

.

Rovnice pravdepodobnosti: ;

;

Riešenie týchto rovníc má formu: - štatistický priemer; - štatistická odchýlka. Odhad je skreslený. Neobjektívny odhad je: .

Hlavnou nevýhodou metódy maximálnej pravdepodobnosti sú výpočtové ťažkosti, ktoré vznikajú pri riešení rovníc pravdepodobnosti, ktoré sú spravidla transcendentálne.

Metóda momentov.

Túto metódu navrhol K. Pearson a je vôbec prvou všeobecnou metódou pre bodový odhad neznámych parametrov. V praktickej štatistike sa stále často používa, pretože často vedie k pomerne jednoduchému výpočtovému postupu. Myšlienka tejto metódy spočíva v tom, že distribučné momenty v závislosti od neznámych parametrov sa rovnajú empirickým momentom. Keď vezmeme počet momentov rovný počtu neznámych parametrov a zostavíme zodpovedajúce rovnice, získame požadovaný počet rovníc. Najčastejšie sa počítajú prvé dva štatistické momenty: priemer vzorky; a rozptyl vzorky ... Odhady získané metódou momentov nie sú z hľadiska ich účinnosti najlepšie. Veľmi často sa však používajú ako prvé aproximácie.

Zvážme príklad použitia metódy momentov.

Príklad: Zvážte exponenciálne rozdelenie:

t\u003e 0; λ<0; t i (i=1..N) - vzorka z populácie s hustotou distribúcie. Je potrebné nájsť odhad parametra λ.

Urobme rovnicu: ... Teda inak.

Kvantilová metóda.

Ide o rovnakú empirickú metódu ako metódu momentov. Spočíva v tom, že kvantil teoretického rozdelenia sa rovná empirickému kvantilu. Ak sa má vyhodnotiť niekoľko parametrov, zapíšu sa zodpovedajúce rovnosti pre niekoľko kvantilov.

Zvážte prípad, keď zákon o distribúcii F (t, α, β)s dvoma neznámymi parametrami α, β ... Nechajte funkciu F (t, α, β) má kontinuálne diferencovateľnú hustotu, ktorá pre všetky možné hodnoty parametrov berie kladné hodnoty α, β. Ak sa skúšky vykonávajú podľa plánu , r \u003e\u003e 1, potom možno okamih objavenia sa tej poruchy považovať za empirický kvantil úrovne, i \u003d 1,2… , - empirická distribučná funkcia. Ak t l a t r - sú presne známe momenty výskytu l-tej a r-tej poruchy, hodnoty parametrov α a β možno nájsť z rovníc

Podstata problému bodového odhadu parametrov

BODOVÝ ODHAD PARAMETROV DISTRIBÚCIE

Bodový odhad predpokladá nájdenie jednej číselnej hodnoty, ktorá sa berie ako hodnota parametra. Takýto odhad je vhodné určiť v prípadoch, keď je objem ED dostatočne veľký. Navyše neexistuje jediný koncept dostatočného množstva DE, jeho hodnota závisí od typu posudzovaného parametra (k tejto problematike sa budeme musieť vrátiť pri štúdiu metód odhadu intervalov parametrov a za dostatočnú budeme predbežne považovať vzorku obsahujúcu minimálne 10 hodnôt). Pri malom množstve DE sa bodové odhady môžu významne líšiť od skutočných hodnôt parametrov, čo ich robí nevhodnými na použitie.

Problém bodového odhadu parametrov v typická verzia inscenácia je nasledovná.

K dispozícii: vzorka pozorovaní ( x 1, x 2, ..., x n) za náhodnou premennou X... Veľkosť vzorky nopravený.

Forma distribučného zákona pre množstvo Xnapríklad vo forme distribučnej hustoty f (Θ , X), Kde Θ - neznámy (vo všeobecnosti vektor) distribučný parameter. Parameter nie je náhodná hodnota.

Je potrebné nájsť odhad Θ* parameter Θ distribučný zákon.

Obmedzenia: vzorka je reprezentatívna.

Existuje niekoľko metód riešenia problému bodového odhadu parametrov, z ktorých najbežnejšie sú metódy maximálnej (maximálnej) pravdepodobnosti, momentov a kvantilov.

Metódu navrhol R. Fisher v roku 1912. Metóda je založená na štúdiu pravdepodobnosti získania vzorky pozorovaní (x 1, x 2, ..., x n)... Táto pravdepodobnosť je

f (x 1, Θ) f (x 2, Θ) ... f (x n, Θ) dx 1 dx 2 ... dx n.

Hustota pravdepodobnosti kĺbu

L (x 1, x 2 ..., x n; Θ) \u003d f (x 1, Θ) f (x 2, Θ) ... f (x n, Θ),(2.7)

sa považuje za funkciu parametra Θ sa volá funkcia pravdepodobnosti .

Ako odhad Θ* parameter Θ treba brať hodnotu, ktorá maximalizuje funkciu pravdepodobnosti. Na nájdenie odhadu je potrebné nahradiť funkciu pravdepodobnosti T na q a vyriešte rovnicu

dL / dΘ* = 0.

Pre zjednodušenie výpočtov sa prechádza z funkcie pravdepodobnosti do jej logaritmu ln Ľ... Táto transformácia je prípustná, pretože funkcia pravdepodobnosti je pozitívnou funkciou a svoje maximum dosahuje v rovnakom bode ako svoj logaritmus. Ak je distribučným parametrom vektorová veličina

Θ* \u003d (q 1, q 2, ..., q n),

potom sa odhady maximálnej pravdepodobnosti nachádzajú zo systému rovníc

dn L (q 1, q 2, ..., q n) / d q 1 \u003d 0;

dn L (qi, q2, ..., qn) / dq2 \u003d 0;

. . . . . . . . .

d ln L (q 1, q 2, ..., q n) / d q n \u003d 0.

Aby sme skontrolovali, či optimálny bod zodpovedá maximu funkcie pravdepodobnosti, je potrebné nájsť druhú deriváciu tejto funkcie. A ak je druhá derivácia v optimálnom bode záporná, potom nájdené hodnoty parametrov maximalizujú funkciu.

Nájdenie odhadov maximálnej pravdepodobnosti teda zahŕňa nasledujúce fázy: konštrukcia funkcie pravdepodobnosti (jej prirodzený logaritmus); diferenciácia funkcie požadovanými parametrami a zostavenie sústavy rovníc; riešenie sústavy rovníc s cieľom nájsť odhady; určenie druhej derivácie funkcie, kontrola jej znamienka v optimálnom bode prvej derivácie a tvorba záverov.

Rozhodnutie. Funkcia pravdepodobnosti pre objem vzorky ED n

Logaritmus pravdepodobnostnej funkcie

Systém rovníc na zisťovanie odhadov parametrov

Z prvej rovnice vyplýva:

alebo konečne

Aritmetický priemer je teda maximálnym odhadom pravdepodobnosti očakávania.

Z druhej rovnice nájdete

Empirická variancia je skreslená. Po odstránení zaujatosti

Skutočné hodnoty odhadov parametrov: m =27,51, s 2 = 0,91.

Aby sme skontrolovali, či získané odhady maximalizujú hodnotu funkcie pravdepodobnosti, vezmeme druhé derivácie

Druhé derivácie funkcie ln ( L (m, S)) bez ohľadu na hodnoty parametrov menšie ako nula, preto sú nájdené hodnoty parametrov odhadmi maximálnej pravdepodobnosti.

Metóda maximálnej pravdepodobnosti umožňuje získať konzistentné, efektívne (ak také budú, výsledné riešenie poskytne efektívne odhady), dostatočné, asymptoticky normálne rozdelené odhady. Táto metóda môže poskytnúť skreslené aj nestranné odhady. Predpätie je možné odstrániť predložením pozmeňujúcich a doplňujúcich návrhov. Metóda je obzvlášť užitočná pre malé vzorky.