前に
喧嘩でも売ってみるか(検閲済) - 球面倶楽部 零八式 mark II
でも書いたけど、母数に対する確率ではなくて信頼区間に対する確率が信頼率なんだってばよ。
もちろん、そのためには、現実が確率分布族として正しくモデル化できていることが前提になっているので、現実が正規分布に従っていないのに正規母集団を仮定した手法から得られた数字の意味は希薄なのは、当然で、それは信頼区間がどーたらという話とも関係ない。
母数が区間に含まれる確率と、区間が母数を覆う確率、同じようにみえて全然違う。
信頼区間の枠組みでは、どのような区間がどのような確率で生成されるかということがモデル化されて計算できるけど、母数がどのような確率で生成されているかということはモデル化されていないのだから、区間が母数を覆う確率は計算できても、母数が区間に含まれる確率は計算できない。
その計算を可能にするために、母数がどのような確率で生成されているかを考えるのがベイズ統計やがな。
もちろん、あたり前なことだけど、母集団分布を表現する確率分布族、母数の生成モデル(事前分布)が実際と乖離していれば、理想的なモデルで計算された95%が現実の値と異なるのは当然で、お前は何をいってるんだ？としか思えない。
結論: 信頼度は、パラメータが信頼区間に含まれている確率ではないが、信頼区間がパラメータを覆っている確率である。
ちな、パラメータの事前分布が、全実数に対する一様分布(非正則事前分布)に従うと仮定したとき、パラメータが信頼区間に含まれる確率が信頼度に一致する，けど細けえことはいいんだよ。真実をモデル化することは無理なので、ざっくり推定して数値もざっくりするのが現実的。事前分布も単なる正則化だと思っておけばいい。95%信頼区間だけど実際の確率が92％だとしてもざっくりOK。リッジ回帰とかする人で、正則化パラメータの真の値は何であるべきか、とかあんまり気にせずに SOTA な値を見つければ採録されて満足なのじゃ。
