信頼区間の話を何度か書いたけど

tarotan.hatenablog.com

は私の下手な文章よりもわかり易く書いている(確率信頼区間と実現信頼区間)。

このブログの

tarotan.hatenablog.com

にある、

Fisherが提示した有名な解釈の1つは,p値が小さい場合,<帰無仮説が成立しているもとで珍しいことが生じたか,もしくは,帰無仮説が成立していないか,のいずれかである>と判断する,というものです.しかし,この判断は弱気すぎると思います.

私自身は現在,<特定の帰無仮説もしくは前提が成立していないことをデモンストレーション(例証)する証拠の1つとして,現在,得られた結果がどれぐらい統計的に意味があるか>を示す指標である,とp値を解釈するのがいいのではないかと思っています.p値が大きな場合には,帰無仮説/前提が成立していないことを例証する証拠の1つに現在の結果がなっていない,と判断します.一方,p値が小さな場合には,帰無仮説/前提が成立していないことを例証する証拠の1つに現在の結果がなっている,と判断します.この解釈が,実用的であり,かつ,誤用や誤解もそれほどしていないと私は思います.

は参考になる。同じことを考えていたとしても良い表現になっているなぁと思う。

ただ何にせよ、

Fisherは,<1回きりの有意な結果だけでは,実験的に例証可能(experimentally demonstrable)だとは言えない>と述べ,<統計的に有意にはならないことが滅多にない実験の手順をしっているときに初めて,その現象は実験的に例証可能であると主張できる>と述べました(Fisher 1966:8th ed, pp.13-14).

というのはまさにそうで、1回きりの調査で真実がわかったような言い方をそもそもするのが良くないんだよね。

p値でなく、Neyman-pearson の仮説検定の立場で言うと

有意水準5%で帰無仮説は棄却され対立仮説が採択されたということは、
帰無仮説と標本が従う分布(通常の教科書では正規母集団)の仮定が正しく、かつ、
5%以下でしか起きないことは起きていないと考える方が自然であるという立場においては、
帰無仮説と標本が従う分布(通常の教科書では正規母集団)の仮定のいずれか、または両方が
成立していない「と考えられる証拠が1つ得られた」

ということになるし、

有意水準5%で帰無仮説が受容されたということは、
帰無仮説と標本が従う分布(通常の教科書では正規母集団)の仮定が正しく、かつ、
5%以下でしか起きないことは起きていないと考える方が自然であるという立場においては、
帰無仮説と標本が従う分布(通常の教科書では正規母集団)の仮定のいずれか、または両方が
成立していない「と考えられる証拠が得られなかった」

ということになる。これら長い文章を表現するために術語が存在するのだが、
(例えば「または」が日常と数学では意味が異なるように)
日常語に近い術語を用いるとユーザーが勝手に間違って解釈してしまうので良くないということになるのだろうか
(この点については、黒木玄さんは正しいと思う)。

ただ実際の境界付近だとどうなるの?というのだが、私自信は
確率的なものを Yes/No で無理矢理表現するのだから、検定の結果を鵜呑みにすることは危険であり、検定は1つの判断枠組みであり絶対的なものではないと説明している。

あと、これも読んでおこう。

tarotan.hatenablog.com