LET2018パネルディスカッション登壇という個人的事情により、専門外なのに、ウォッシュバックエフェクト（波及効果）について勉強している。
まあ、専門外とは言っても、件のパネルでは、「ウォッシュバック話法を政策研究としてどう考えたらよいか」という話しかしないので、私の専門のど真ん中と言えばど真ん中ではある（→要するにこういう話）。
で、その話の流れで、ウォッシュバックに関する先行研究を見渡す必要があった。その点で以下の論文はとても勉強になった。タイトルがそのものずばり「ウォッシュバック研究のレビュー」である。
ウォッシュバック研究のレビュー
90年代前半にウォッシュバック研究が隆盛してから分析時点までの約20年間のウォッシュバック研究を渉猟し（博論にも目配りしている）、87個の実証研究を抽出。そのうえで、ある枠組みに基づいて、個々の研究を簡潔に紹介している。
個々の研究を知るという点ではとても勉強になったのだが、整理の枠組み、つまりウォッシュバック研究の分類のやり方がよくわからない。
タイトルにもあるとおり、Michael T. Kane の "interpretation/use argument (IUA)" を唯一の分類基準に使っている（他の分類は利用していない）。
不思議な分類枠組み
ただ、Kane's IUA をなぜ使うのかの説明がない（5節で突然「使うよ！」と書いてあるのみ）。
Validation の枠組みを、先行研究の categorization の枠組みに使うのは、かなり違和感がある。validation と 先行研究の分類はぜんぜん目的が違うし、直感的にも異なる性質の作業だ。メソドロジーマニアとしていろんな研究の categorization をしてきた自分からするととても気持ち悪い。
著者らが用いた分類枠組みは以下。なお、最初の3つは Kane (2013) にインスパイアされたものだとあるが、その論文を読むと微妙に違う（決定的な違いではないものの）。
- Category 1: 「テストがどれだけ意図したアウトカムを達成できたか」の研究
- Category 2: 「テストが民族的マイノリティに不利に働いていないか」の研究
- Category 3: テストが教育制度に及ぼす全体的影響の研究
- 3.1. 指導への影響
- 3.2. 学習への影響
- Category 4: 教室でのテストが及ぼすウォッシュバック（←これは著者らのオリジナルカテゴリ）
Category 1 は、要するに最初に「こういう効果がありますよ！」と言った触れ込みで始まったテストを対象に、それが実際に成果を出せたのかを検証したもの。ここには、教育改革の切り札としてのウォッシュバックも含まれる。
Category 3は、意図した効果ではなく、意図せざる効果を、ポジティブなものもネガティブなものも包括的に検証しましょう、何なら間接的な影響を含めてマクロな観点から検討しましょうというタイプの論文。
最初に読んだ時、このCategory 1 と 3 の違いがよくわからなかった（Kane [2013] を読んでやっと理解できた）。その違いは、要するに、たとえば試験制度の変更と教育改革の関係を検証している研究群があったとして、政策立案者が「改革の切り札！」と明示的に宣言していたら前者に分類、していなかったら後者に分類ということになる。ということは、リサーチデザインじゃなくて、試験制度の政策過程で分類していることになると思うんだが、それはなんだかとても奇妙だ（政策研究の論文じゃないわけだし）。
これはそもそも前述の通り、validation のための枠組みが リサーチ分類の枠組みとは相性が悪かったということのように思う。そんなに複雑でもなさそうなので著者らのオリジナルの観点で分類すれば良かったのでは…と思わずにはいられない。
件のパネルディスカッションとの関連でいうと、四技能入試・外部試験導入推進派の「テストがもたらす教育改革！」話法は、どちらのタイプをエビデンスとして利用できるのだろうか。「改革の切り札だ」と言っている部分に焦点化すると、Category 1 とも言えるし、一方で、「教育改革」というマクロなことを言っている部分に注目すれば Category 3 と言えなくもない。上記の分類枠組みでは、「テストを変えることで社会が変わる！みたいなデカイことを言ってる研究」をきれいに分類することは苦しいようだ。
論文冒頭で紹介されている、色々な分類
それはさておき、論文の Introduction で、ウォッシュバックに関する用語の見取り図が紹介されていて参考になる。
- インパクト impact: テストが及ぼす、マクロレベル（教育制度や社会）への影響
- ウォッシュバック washback: テストが及ぼす、ミクロレベル（教室での指導・学習）への影響
- 帰結 consequence: テストが及ぼす、直接的な影響。たとえば、テストの成績が悪かった帰結としての留年。
