題目：

說明伯努利模型的極大似然估計(jì)以及貝葉斯估計(jì)中的統(tǒng)計(jì)學(xué)習(xí)方法三要素。伯努利模型是定義在取值為0與1的隨機(jī)變量上的概率分布。假設(shè)觀測(cè)到伯努利模型n次獨(dú)立的數(shù)據(jù)生成結(jié)果，其中k次的結(jié)果為1，這時(shí)可以用極大似然估計(jì)或貝葉斯估計(jì)來估計(jì)結(jié)果為1的概率。

解答：

1 極大似然估計(jì)

模型：

策略：最大似然估計(jì)

算法：

2 貝葉斯估計(jì)

模型：

策略：求參數(shù)期望

算法：

• 伯努利模型的極大似然估計(jì)：
  

定義P(Y=1)概率為p，可以得到似然函數(shù)：

可以得到p的值為0，1，k/n

• 伯努利模型的貝葉斯估計(jì)

定義??的概率為??,??在[0, 1]之間的的取值是等概率的，因此先驗(yàn)概率密度??，可以得到似然函數(shù)，

根據(jù)似然函數(shù)和先驗(yàn)概率密度函數(shù)，可以求解??的條件概率密度函數(shù)：

所以??的期望為：

所以，

??

題目：

通過經(jīng)驗(yàn)風(fēng)險(xiǎn)模型最小化推導(dǎo)極大似然估計(jì)。證明模型是條件概率分布，當(dāng)損失函數(shù)是對(duì)數(shù)損失函數(shù)時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化等價(jià)于極大似然估計(jì)。

解答：

假設(shè)模型的條件概率分布是??,現(xiàn)推導(dǎo)當(dāng)損失函數(shù)是對(duì)數(shù)損失函數(shù)時(shí)，極大似然估計(jì)等價(jià)于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。

極大似然估計(jì)的似然函數(shù)為：

??

兩邊取對(duì)數(shù)，

反之，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化等價(jià)于極大似然估計(jì)，可通過經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化推導(dǎo)極大似然估計(jì)。

掃碼關(guān)注