引用メモその６。有意性検定に対する言及。
第３章「いろいろな形の定量的推論」の第１節「単純な有意性検定」より。強調は引用者。
科学研究における有意性検定の有効性を説明するために、検定にもとづくいろいろな命題が正しかったり誤ったりする頻度を引き合いに出そうという試みは、仮説検定の本質を見逃しているようである。ある人が、1%以上で有意なときには仮説を一時的に"棄てる"ことを習慣としているとすると、この人は、確かに、棄てるという決定で1%以上誤ることはないだろう。なぜなら、仮説が正しいときにはちょうど1%の割合で誤り、仮説が正しくないときには棄てて誤ることがないからである。したがって1%より小さいといえる。だがこの計算はばかげた空論である。実際科学研究者は、誰も、年がら年中どんな条件のもとでも一定の水準で検定を行いはしない。彼はむしろ明白な根拠と観念とに照らして、個々の場合について注意をはらう。検定を適用しようとする場合は明らかに、とくに選ばれた場合だけであることを忘れてはならない。また議論の際に、実際の有意水準を、この水準だけを用いるのが一生の習慣であるかのように選ぶのは明らかに不当である。さらに、有意水準の計算は仮説だけにもとづいているが、事実に照らして考えると必ずしも真でないものを仮説とすることがしばしばある。したがって誤った決定を下す実際の確率は、このような言葉に意味があるとして、有意水準を定義している頻度よりもずっと小さくなる。有意性検定は仮説の"採択"については何の規準も含んではいない。場合場合によって、検定が、仮説の採択の程度に影響することもあるししないこともある。
ここでの「ばかげた空論」というのはネイマンの"inductive behavior"の立場ですかね（過去記事参照）。
「実際科学研究者は、誰も、年がら年中どんな条件のもとでも一定の水準で検定を行いはしない」という部分には、フィッシャーが「科学研究者」に対して求めているハードルの高さが伺えます*1。
もう一箇所引用。フィッシャーの立ち位置は明快。
一般に有意性検定は、帰無仮説から計算される仮説的な確率に基づいている。検定からは、現実の世界に関する確率的な命題は何もでてこない。ただ、検定する仮説を採択することにたいする抵抗の、合理的な十分よく定義された尺度が導かれるだけである。
有意性検定は「現実の世界に関する確率的な命題」とは関係がなく、われわれの側の仮説の受け入れに関する意思決定に属する問題である、ということですかね。
そのため、フィッシャーにとっては、受け入れを検討する仮説にまつわる諸コンテクストを無視して有意性検定を行うことはナンセンスということなのでしょう。真っ当な意見だと思われます。
追記：有意性検定に対するよくある誤解とGelmanの反応
ちょうど今日こんな記事がでていたのでついでに引用メモ：
Noooooooooooooooooooooooooooooooooooooooooooooooo!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! « Statistical Modeling, Causal Inference, and Social Science Statistical Modeling, Causal Inference, and Social Science
上記との関連で言うと「検定からは、現実の世界に関する確率的な命題は何もでてこない」ということですよね。広く誤解されているところですが。
*1:実際には殆んどの科学者が「年がら年中どんな条件のもとでも一定の水準」で検定を行っているのが現状でありますが
