サヨナラ検定、グッバイ統計的有意性／統計を使うつもりなら必読の論文はこれ 読書猿Classic: between / beyond readers
ここで指摘されているのと同様に、外国語教育研究や社会言語学でも「統計的有意」至上主義に対する懐疑が徐々に生まれつつあり、効果サイズを元にした議論が増え始めているようです。とはいっても、まだ、ごくわずかですが。
効果サイズで、僕が個人的によく使うのは、オッズ比とファイ係数です（社会学、ことに社会調査の2次分析では質的変数を扱うことが多いので）。
で、このふたつのどちらを調べたらいいか迷うことがあると思いますが、教科書的に言えば、
- どちらも必ず調べる
だと思います。というのも、普通は、数値の大きさ（の解釈）は一致しますが、たまに、かなり大きなオッズ比であるにもかかわらず、ファイ係数の値が小さいことがありますから。両方チェックして、問題なければ、先行研究や理論に合う方を採用すればいいと思います。
では、どういうときに違いが生ずるかという問題。定義式を見てもらえばわかりますが、両者は等価ではありません。
乱数生成で２×２のクロス表をつくり、対数オッズ比とファイ係数をプロットしてみるとこんな風になります。
基本的には線的関係が見られますが、外れているプロットも散見されます。
外れ値の理由。
たとえば、以下のクロス表が「外れ値」を生むクロス表の典型です。
| Factor A | Factor B | Total | |
|---|---|---|---|
| Factor I | 1 (0.02%) | 5000 (99.98%) | 5001 (100%) |
| Factor II | 5 (0.99%) | 500 (99.01%) | 505 (100%) |
- Log Odds Ratio: -3.91
- Phi-Coefficient: 0.09
周辺度数が大きく歪んでおり、各セルのパーセンテージも非常に偏っています。
オッズ比は、「比の比」、もっとわかりやすく言えば、２つのパーセンテージの比をとっているので、極端なパーセンテージがあれば、それに引きずられるわけです。一方､ファイ係数は、２つのパーセンテージの差に注目しているので、差が小さい場合には（たとえ比が大きくても）、小さな値となります。
それにも関係しますが、ファイ係数とオッズ比には階層的関係があります。上の図で見ると一目瞭然ですが、外れ値は「＜」字型の外側にはいくつもあるものの、内側には全くありません。つまり、「大きなファイ係数 × 小さなオッズ比」というのは定義上存在しないことを意味します。
そういう点で言うと、ファイ係数のほうが「保守的」でしょうが、生起確率は小さいが重大なリスクを強調する必要があるような研究の場合（疫学とか？）であれば、許容されるでしょう。
追記
どうでもいいことですが、上の図で、ネメシス2面のボスを思い出しました。
