不偏推定量 最尤推定量 一致 11

検証(Stein推定量とJames-Stein推定量) では次にJames-Stein推定と改良されたStein推定を比較したいと思います。以下プログラムも先ほどと同じように1000回で検証を行います。 まず、クラメル・ラオの不等式の一歩手前の式を見ることにしましょう。, コーシー・シュワルツの不等式として知られる下記の式を利用します。関数 $f = f(x)$ と $g = g(x)$ に関して適当な分布での期待値に関して, $$ \frac{\mathrm d}{\mathrm d \theta} \int f(x \mid \theta) \mathrm d x = \int \frac{\mathrm d}{\mathrm d \theta} f(x \mid \theta) \mathrm d x , ˙2 の最尤推定量は, X; S 2 = 1 n ∑n i=1 (Xi X)2 となる。 E(X) = なので, の最尤推定量X は不偏推定量である。 E(S は不偏推定量でない。2) = n 1 n ˙2, ˙2 なので,˙2 の最尤推定量S 2 例: X1, X2, , Xn は互いに独立で,すべて同一のベルヌイ分布ですべて同一の分布) $$, と書きます。これが冒頭でバリアンスの下限を決めていたクラメル・ラオの不等式の重要なパーツになっています。, 兎にも角にも、不偏推定量のバリアンスの下限はフィッシャー情報量の逆数で抑えられているということになります。もしも、とある不偏推定量のバリアンスがクラメル・ラオの下限にたどり着いていたとしたら、それより良い不偏推定量は $\rm MSE$ の意味ではどうせ作れないことになるので、個々に全ての不偏推定量を比較しなくとも、そのような推定量を見つければ良いということになります。, さて、早足で来ましたが、クラメル・ラオの不等式に辿り着くには何の条件もなしに行けるというわけにはいきません。 Y_2 & = \frac{1}{9}(X_1 + 2 \cdot X_2 + 3 \cdot X_3 + 2 \cdot X_4 + X+5). Powered by Hugo and Minimal. (\mathbb E [(\hat \theta(X) - \theta) S _ N(\theta, \mathbf X)] ) ^ 2 \leq \mathbb E [\{ \hat \theta(X) - \theta \} ^ 2] \mathbb E [\{ S _ N(\theta, \mathbf X)\} ^ 2] $$, なる交換をしていたことです。これができない限り、クラメル・ラオの不等式を導出できません。, パラメータ $\theta$ が多次元の場合には、スコア関数(対数尤度の勾配)がベクトルとなり、フィッシャー情報量は行列となります。概ねコーシー・シュワルツの不等式で攻める点は同じです。推定量 $\hat \theta$ はベクトルなので、推定量のバラツキは分散共分散行列 ${\rm Cov}( \hat \theta ) $ として与えられ、, $$ �� ���Q8�ڎj;�� 'W(�I�:�� ڋN��rl�-��,dd�@����j�iY�u�/[��% �6�&`�l;���qh��^q�8�[�;�Вƍڠt�BH�@�X��� `w�E��:����V3ֻ�s�y��Г~W;��X/�6�l;��q�:��w ��-l)��Ӳ�X6�>[�EQ/�!d���C6��b$�T��/A�0���Ș��)l��ŏ�IB��|LL|\*��l���GA�G������a�r �t:R|�Bt�@S�t���yfĭgFW����0�����Ch�`�s�%����R�1K�z�ii. 誤差項が独立同一な正規分布に従う場合、最小二乗推定量も正規分布に従うこと示し平均、分散を求めます。さらにt分布を使った回帰係数の有意性検定を導出します。 S _ N (\theta, \mathbf X) = \frac{\rm d}{\mathrm d \theta} \log f _ N (\mathbf X \mid \theta) $$, 右辺の分子だけが異なっています。意外と近いところまで来られているということです。 $$, と求まります。ここで、$x$ に関する積分と $\theta$ に関する微分の順序が入れ替えられるような $f (x \mid \theta)$ となっていることを仮定していることに注意してください。, また、スコア関数は $S _ N(\theta, \mathbf X) = \sum _ {i=1} ^ N S _ 1 (\theta, X _ i)$ と表せるので上記の $N = 1$ のときに期待値が $0 $ であることを示したことで任意の $N > 1$ で成り立ちます。, 続いて第一項に関して見ていきます。第二項は $0$ として消えたので、第一項が $1$ であることを示すだけです。まず確率変数列 $\bf X$ の実現値として $\mathbf x = (x _ 1, \cdots, x _ N)$ と表記します。, $$ 不偏推定量とは何か? 統計的推定には様々な手法がありますが、中でもよく用いられるのが、普遍性という基準に基づいた推定です。普遍性とは、推定量の期待値が母数と等しくなる性質であり、母数\(θ\)の推定量を\(\hat{θ}\)と表すと、 &= \int \frac{\mathrm d }{\mathrm d \theta} f(x \mid \theta) \mathrm d x \\ \begin{align} $$, の第二項は $0$ となるので、第一項であるバリアンスだけが問題になってきます。不偏推定量での優劣はこのバリアンスの大きさを比較することで決着を付けることができそうです。, まず、個々の不偏推定量を比較しだすとキリがないので、不偏推定量というクラスがバリアンスをどこまで下げられるのかを先に知っておきたいところです。まさかバリアンスが $0$ になるような推定量があるとしたら、$\rm MSE$ は $0$ となり驚くべき精度の推定ができることになります。, 無論そんな都合の良い推定量は作ることができません。バイアスを $0$ としている不偏推定量たちには必ずバリアンスが一定以上残ってしまうのです。その答えを先に示すと、$\theta$ をパラメータに持つ確率分布とデータの個数 $N$ に依存する、とある量 $I _ N (\theta)$ があり、, $$ ©Copyright2020 統計とか経済とか.All Rights Reserved. xڵVK�$5��+r�>tp�8є���p��iw�=����Toj�z5�h�r��_>? <> \end{eqnarray} )-log(n-x)!+xlog\theta+(n-x)log(1-\theta)\), \(log(n!)-log(x! 不偏推定量としての標本平均. 15 0 obj 今回の記事は定義・定理・証明という数学本の流れには反し、先に答えとモチベーションを示してから、それが成り立っていると言えることを後付的に示しました。. Customized by Jaehyun Song, \(\hat{\theta} \overset{p}{\rightarrow} \theta\), \(s^2 \overset{p}{\rightarrow} \sigma^2\), \(\hat{\sigma}^2 \overset{p}{\rightarrow} \sigma^2\), \(X_1, X_2, X_3, ..., X_n \overset{\text{iid}}{\sim} N(0, 100)\), \(|X_i| = \max{(|X_1|, |X_2|, |X_3|, ..., |X_i|, ..., |X_n|)}\). \begin{align} \mathbb E [\hat \theta(\mathbf X) S _ N(\theta, \mathbf X) ] $$, $$ 仮に不偏推定量を選んだ場合、$\rm MSE$ の第二項であるバイアスの二乗は $0$ となるため、$\rm MSE = Var$ が成り立ちます。実はパラメータ $\theta$ に対する不偏推定量の作り方は複数ありえます。 endobj &= \frac{\mathrm d }{\mathrm d \theta} \int f(x \mid \theta) \mathrm d x \\ 標本から推定量を計算し、母数を予測するというのが、推定の流れでした。その中でも、ピンポイントで予想するのが点推定、幅を持たせて予想するのが区間推定です。, どんな統計量でも、母数を推定するのに使えるわけではありません。例えば、標本分散は、母分散を推定するのには向いていません。, 推定量の期待値というのは、何回も標本をとり、統計量を計算したときの平均値を指します。推定量が不偏性を持っているとき、その推定量を不偏推定量といいます。, 例えば、日本人の平均身長を求めるとき、標本数を増やせば増やすほど、標本平均は母平均に近づきます。標本数=母集団数まで増やすと、これは日本人全員の身長を調べ平均を求めたことになるので、標本平均は母平均と完全に一致します。推定量が一致性を持っているとき、その推定量を一致推定量といいます。, 不偏性と一致性。母数を推定するには、この2つの両方を、満たしている必要があります。, ここからは、母平均と母分散の推定量を、不偏性、一致性の有無とともに、紹介していきます。, 標本平均\(\overline{X}\)は、母平均\(E(X)\)に対して、不偏性と一致性を兼ね備えている推定量。推定をするのに適しています。, 標本分散\(s^2\)は、母分散\(\sigma^2\)に対して、一致性はありますが、不偏性のない推定量です。推定をするのには適していません。, 不偏分散\(u^2\)は、母分散\(\sigma ^2\)に対して、不偏性と一致性を兼ね備えている推定量。推定をするのに適しています。, 母分散の推定には、偏差の2乗の和を\(n\)ではなく、\(n-1\)で割った、不偏分散を使います。上の通り、標本分散は不偏推定量でなく、母分散を過小評価してしまうからです。. {\rm Var} _\theta (\hat \theta) = \rm MSE(\theta, \hat \theta) {\rm Var} _ \theta (\hat \theta) \geq \frac{1}{I _ N (\theta)} *�G�����h���S�����h���v��g��n�U���a��� ��.��#�xp5C�,����6���i7���tE�����4J����N�>��9]8��&N'_��٪��@�@]���Z 7��������7m)Lw�l����O4��k�������ɮ�us�r��1Q�۳ ��C��-Q�Mu\Ik��*�!O�4���SI��4�f3Q�ϵ#��z�@���Mc�V�f$��7y�y?S���:q�N��vJ��N���ѷa��lYx��NF��n�Bpt� \], ただし、ここでは\(\mu = 0\)、\(\sigma = 100\)を仮定しましたが、実際において私たちは\(\mu\)と\(\sigma\)の値は分かりません。たとえば、手元に男女100人の身長データがあっても、日本人全体の身長の平均値と分散は分かりません。したがって、私たちは手元にあるこの\(X\)のみを用いて、未知である母集団の特徴を推論する必要があります。手元の\(X\)から母集団における平均値(\(\mu\))を推定する際によく使われるが平均値(\(\bar{X}\))です。, \(n = 5\)の場合、\(\bar{X}\)は-14.5748884です。それでは\(n = 100\)ならどうでしょうか。, \(n = 100\)の場合の\(\bar{X}\)は-2.732595ですね。最後に、\(n = 10000\)ならどうでしょうか。このサンプルを出力するのはあまりにも結果が長くなるので、ここでは平均値だけを出力します。, \(n = 10000\)の場合の\(\bar{X}\)は-0.9447894ですね。このように\(n\)が大きくなると、\(\bar{X}\)は母集団の平均値(ここでは\(\mu = 0\))へ近づきます。このようにサンプルサイズが大きくなると推定値が母数へ近づくことを「一致性 (consistency)」と呼びます。この例だと、「標本の平均値(\(\bar{X}\))は母集団の平均値(\(\mu\))の一致推定量である」と言えます。これは\(\bar{X} \overset{p}{\rightarrow} \mu\)と表記されます。より一般的に書くと推定値\(\hat{\theta}\)が母数\(\theta\)の一致推定量である場合、\(\hat{\theta} \overset{p}{\rightarrow} \theta\)と表記します。, この表記は大数の弱法則とも共通しますが、実際、一致性は大数の弱法則によって成り立ちます。, \(n\)を大きくすることによって\(\bar{X}\)が\(\mu (=0)\)へ近づくことが分かります。この\(n\)を無限にすると (\(n \rightarrow \infty\))、\(\bar{X} = \mu\)になるでしょう。したがって、\(\bar{X}\)は\(\mu\)の一致推定量となります。, 一致性と混同されやすい概念が「不偏性(unbiasedness)」です。これは推定値\(\hat{\theta}\)の期待値が母数\(\theta\)と一致することを意味します。数式で表すと\(\mathbb{E}[\hat{\theta}] = \theta\)であり、一致性と違って、サンプルサイズ(\(n\))とは無関係な性質です。, たとえば、\(\mu = 0\)、\(\sigma = 100\)の正規分布から独立的に5個の値を抽出します(\(n = 5\))。そして、この5個の値の平均値(\(\bar{X}\))を計算します。この作業を1万回繰り返したいと思います。, この\(\bar{X}\)の平均値(\(\bar{\bar{X}}\))、つまり\(\mathbb{E}[\bar{X}]\)はどうでしょうか。厳密には\(\mathbb{E}[\bar{X}]\)ではありませんが、試行回数が無限回となると\(\mathbb{E}[\bar{X}]\)となります。試行回数1万は十分多いと考えられるので、期待値に近い結果が得られると考えられます。, \(\mathbb{E}[\bar{X}]\)は0.0929181であり、ほぼ0であることが分かります。この0が母数(\(\mu\))であり、\(\mathbb{E}[\bar{X}] = \mu\)の関係が成り立つことが分かります。したがって、\(\bar{X}\)は\(\mu\)の不偏推定量となります。, 不偏推定量は複数存在することもあります。ここまで見てきました標本平均\(\bar{X}\)も\(\mu\)の不偏推定量の一つに過ぎません。たとえば、以下のような推定量を考えてみましょう。, \[ $$, という式になっています。今、$\hat \theta$ は不偏推定量であったのでしたから、$\mathbb E [\hat \theta (\mathbf X)] = \theta$ となっています。従って上記の式は, $$ 問題の分子に関して期待値の線形性を使うとひとまず、, $$ この記事では、母数を推定するのに使う推定量の性質「不偏性」と「一致性」について、説明しています。後半では推定をする際に、不偏分散を使わないといけない理由を証明しています!. $$, $$ 一致性はサンプルサイズが大きくなると、推定値が母数へ収束することを意味します。たとえば、 \(\mu = 0\) 、 \(\sigma = 100\) の正規分布から独立的に抽出された \(n\) 個の確率変数 \(X\) があるとします。 つまり、以下のような状況を考えます。 X_1, X_2, X_3, ..., X_n \overset{\text{iid}}{\sim} N(0, 100). 1 のとき正規分布に分布収束する性質 例7.8 不偏性 一致性 漸近正規性 例7.7(1) 例7.7(2) ^ 例7.7(2)˙^2 × 例7.7(3) × × 9/16 \end{align} L (\theta \mid \mathbf X) = f _ N ( \mathbf X \mid \theta) = \prod _ {i=1} ^ N f (X _ i \mid \theta) 19 0 obj :�q��D�� ,z32?�����%�澱�5�Md�˟7��'�d����t�V����!��ǦN��[������ ޖ������v�����/��X�?�9XO�A@[�.4�����͘4�B6b�Y. 1) (iii) 漸近正規性 標準化するとn ! {\rm Var} _ \theta (\hat \theta) \geq \frac {(\mathbb E [(\hat \theta(\mathbf X) - \theta) S _ N(\theta, \mathbf X)] ) ^ 2}{ I _ N (\theta)}

イタズラなkiss 映画 4 6, 田中みな実 ダイエット 食べ物 58, メナード Cm 2020 4, 日清 旭川しょうゆ まずい 9, シュートサイン Mステ 動画 4, 横浜 ビアフェス 2020 5, マイクラ モンスター 仲間 にするコマンド 14, サファイア グラードン 捕まえ 方 17, テレンス 名前 意味 6, かかる 古語 連体詞 17, さすがに 例文 日本語 20, ムンディ ファーマ だい さく 14, ジェームス イラスト 簡単 12, 八王子 サイレン 今日 8, ロンドンハーツ 動画 4月7日 5, フリーアナウンサー 事務所 大手 23, 内田篤人 自宅 鹿島 24, 三浦 春 馬 笑顔 画像 25, 愛媛 高校野球 爆 15, 甲 本 ヒロト 失恋 4, 韓国 Cm 俳優 21, 携帯番号 地域 検索 5, ウォーキングデッド 原作 違い 4, ぷよ クエ 報酬 23, タップ密度 かさ密度 違い 8, 圧力 と浮力 公式 7,