2016年3月13日(日)に開催される日英・英語教育学会2015年度(第15回)研究会で「Evidence-Based Education Policy と日本の英語教育学」という題目で講演する。ここはそのメモ帳。
なお、学会ブログにはまだ詳細は載っていない（1月9日現在）：http://blog.goo.ne.jp/jabaet
講演の目的
英語教育学独自のエビデンスの格付けを行う。
背景
エビデンス階層
「エビデンスの格付け」とは要は「エビデンス階層」のことである。ただ、残念なことに、「〜階層」という言葉に対して誤解に基づいた批判をする研究者もいるので（まあ、基本書を読んでないからだと思うが）、この用語を使わず別の言葉で言い換えて乗り切る（こういう戦略は短期的には有効）。
格付け基準は「ヨソから借りてくればOK」という代物ではない
EBMにおいても分野によって格付けの仕方は異なる。
有名なオックスフォード大学EBMセンターのガイドラインでも、5つの分野ごとに異なる格付けが提示されている。
Oxford Centre for Evidence-based Medicine - Levels of Evidence (March 2009) - CEBM
いずれも各分野に適したものを構築している。
格付けを貫く2つの原理
分野によって格付方法は異なるが、だからといってまったくバラバラに行われているわけではない。
いずれの「格付け」も、概して言えば、2つの異なる基本原則に基いている。以下に示す2つの原理は、どんな分野にも普遍的に適用可能であり、実際、専門家の間でも合意がとれている。
ちなみに、「階層」という言葉には「下から上へ」という一元的なイメージがあり、2つの異なる原理が関わっているという点がわかりづらい。この辺にも誤解を招く原因があると思う。
最強のエビデンス、最弱のエビデンス
当然ながら、因果が近く、かつ、バイアスの小さいエビデンス（CU）が最強である。どんな方法を採用してもこれは変わらない。具体的な介入に関するRCTのシステマティックレビューがほとんどの場合で「最上位」に置かれるのはこのためである。（ここにランダムサンプリングがあるとなお良い、とされる）
同様の理由から、因果が遠く、かつ、バイアスの大きいエビデンス（DB）は最弱である（もちろん、ノーエビデンスよりはましだが）。たとえば、特定の刺激と脳波の相関関係を観察した研究によるエビデンスは間違いなくここにあてはまるだろう。多くの専門家も同意すると思う。
どちらの原理をどれだけ重視するか
ただし、2つの原理のうちどちらにどれだけウェイトを置くかということになると、分野や専門家によって意見が異なる。これが、総論として合意があるにもかかわらず具体的な格付け方法では異論が噴出してしまう理由のひとつでもある。
たとえば、「因果の近さ」を「バイアスの小ささ」より優越させたのが以下の図。図1を左に約70度傾けた。
この結果、CBがDUより上位に来ている。つまり「因果は近いがバイアスの大きいエビデンス」のほうが「因果は遠いがバイアスの小さいエビデンス」よりマシだと評価されたことになる。
反対に、「バイアスの小ささ」を「因果の近さ」に優越させたのが以下の図である。今度は約20度傾けている。
図が示す通り、DUがCBより上にくる。つまり、「因果は遠いがバイアスの小さいエビデンス」のほうが比較的マシだという評価である。
2つの原理は、理論上はもちろんのこと実務上もある程度独立しているので、どちらを優越させるかは、各分野の目的や研究の状況（実験がどれだけ現実的なのか等）を考慮して総合的に判断する必要がある。
