『統計学が最強の学問である』と、英語教育学の統計教育と

『統計学が最強の学問である』読了。僕の周囲では微妙な評価だったのであまり期待してなかったんだけど（すみません）、意外にもけっこう面白かった。ちなみに、どうでもいい話だけど、BookLive というマイナー（すみません）な電子書籍サービスで読んだ。

統計学が最強の学問である

特に6章の「統計家たちの仁義なき戦い」はおもしろかった。

このタイトルだけ見ると誤解する人もいるかもしれないが、フィッシャー vs. ネイマン／ピアソン論争とか、統計学史の話ではない。本章のテーマは、言うなれば「現代の統計家たちの冷戦」について。

統計屋にはいろんな派閥があって、哲学や作法がそれぞれ異なるという話。同じ統計学を学び、まったく同じ手法を使っていたとしても、たとえば、疫学者や実験屋さんと社会調査屋さんや計量経済学者とでは、こだわるポイント（≒「真実だ」「正確だ」と思う条件）がそれぞれ互いに違うんだということが書いてあった。もちろんそれぞれの人が特有の「こだわり」「ローカルルール」を持っているということは感じていたけれど、それがきちんと言語化されており、いろいろ腑に落ちる点が多かった。

英語教育学での統計教育に関して

本のレビューは（読みたい人もいないだろうし）もうやめて、以下、我田引水的に英語教育学の統計教育へのヒントになりそうなことを書く。

「ランダム化比較実験」

筆者はことあるごとに「ランダム化比較実験」という用語を使っているがこれはなかなか良いアイディアではないか、と思った。単に「実験」と言わず、めんどうでも積極的に使って行くことは重要だと思う。

ランダム化が「実験」的な手法のキモだからだ。ランダム化がなされていないものは、実験ではなく「準実験」と表現した方が誤解が少なくなるのでよいと思う。

英語教育学でもっともよく行われているものは「準実験」のカテゴリに入るものだが、これらはかなり頻繁に「実験」と呼ばれる。いままで何人もの学者・院生と会ったが、そもそも両者が区別されていることを知らない人も多かったように思う。たぶんこの理由は、業界内で、どういうわけか「実験と準実験は区別不要」とされている、ローカルルール・お作法なんだと思うけれど。

ちなみに、この僕の批判は、「準実験しかできないなんて、非科学的ー！」ということではもちろんない。準実験しかできない分野は、医療分野や公衆衛生、社会政策など多数あり、もちろん教育研究も含まれるが、そこでは「準実験に最適化された手法」というものが開発されている。（本書にもその点がきちんと解説してある）。なので、実験と準実験を区別している人であれば、準実験で得たデータを実験向けの手法で解析するようなことはしなくなるだろう、という話。

さらに言っておくと、「実験だなんて、生徒たちをモルモットにする気か！」という倫理的な批判（これもごく正当な批判だが）でもない、念のため。

「実験」と「（社会）調査」との差違

もうひととつは、「実験」の統計解析と、「調査」の統計解析の差違である。

英語教育学では、「実験」の伝統が強く、「調査」まで「実験」的な枠組みで分析するような論文や口頭発表をけっこう見る。たとえば、「実態調査」をうたい、アンケートを配っているだけなのに、なんでもかんでも、差の検定をしないと気がすまないような。（差の検定をしたらいけないということでもちろんはないが、検定結果を示す紙幅・時間的余裕があるんであれば、より詳細な「実態」を視覚的に表現したほうがいいんじゃないだろうか。）

あと、これは特に「社会調査」と「実験」のギャップであるけれど、標本サイズによって、都合の良い（「正しい」ではない）手法が変わる、という点もあまり知られていないように思う。

「実験」的な手法が支配的な分野のせいか、小標本を前提にした手法で社会調査のような大標本を分析するような事案はたまに見る。たとえば、比較的ケース数の多い調査で、5件法設問を、そんなことはしなくてもいいのに連続尺度に変換してしまう、とか。