【統(tǒng)計(jì)學(xué)習(xí)方法】第1章 統(tǒng)計(jì)學(xué)習(xí)方法概論(三)習(xí)題
點(diǎn)擊上方“公眾號(hào)”可訂閱哦!
“這個(gè)公眾號(hào)在我的新作品中幫助我毫不費(fèi)力地使用了解決萬有引力的問題。?我現(xiàn)在有更多時(shí)間站在樹下,被蘋果擊中?!?/p>
Isaac Newton
本篇筆記是第1章的兩道課后習(xí)題。
1
●
題目:
說明伯努利模型的極大似然估計(jì)以及貝葉斯估計(jì)中的統(tǒng)計(jì)學(xué)習(xí)方法三要素。伯努利模型是定義在取值為0與1的隨機(jī)變量上的概率分布。假設(shè)觀測(cè)到伯努利模型n次獨(dú)立的數(shù)據(jù)生成結(jié)果,其中k次的結(jié)果為1,這時(shí)可以用極大似然估計(jì)或貝葉斯估計(jì)來估計(jì)結(jié)果為1的概率。
解答:
1 極大似然估計(jì)
模型:

策略:最大似然估計(jì)
算法:

2 貝葉斯估計(jì)
模型:

策略:求參數(shù)期望
算法:

伯努利模型的極大似然估計(jì):
定義P(Y=1)概率為p,可以得到似然函數(shù):


可以得到p的值為0,1,k/n
伯努利模型的貝葉斯估計(jì)
定義?

根據(jù)似然函數(shù)和先驗(yàn)概率密度函數(shù),可以求解?

所以?

所以,
?
2
●
題目:
通過經(jīng)驗(yàn)風(fēng)險(xiǎn)模型最小化推導(dǎo)極大似然估計(jì)。證明模型是條件概率分布,當(dāng)損失函數(shù)是對(duì)數(shù)損失函數(shù)時(shí),經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化等價(jià)于極大似然估計(jì)。
解答:
假設(shè)模型的條件概率分布是?
極大似然估計(jì)的似然函數(shù)為:
?
兩邊取對(duì)數(shù),

反之,經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化等價(jià)于極大似然估計(jì),可通過經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化推導(dǎo)極大似然估計(jì)。
?END
掃碼關(guān)注
微信號(hào)|sdxx_rmbj

