イランの英語学習者の意識調査をランダムサンプリングで行ったという、ちょっと驚くべき調査。第二言語学習に対する意識設問を含むランダムサンプリング調査は色々な国に存在するが(例、日本:JGSS、米国:GSS、欧州:ユーロバロメーター)、外国語学習に特化したものはまだ聞いたことがない。
ランダムサンプリング調査は、実施上のコストはきわめて膨大だが、一度実行してしまえば、その後の色々な有意抽出調査の指針となり得る点で価値が大きいものである。その意味で、そのメリットは単なる「結果が母集団に一般化できる」とか「××検定を正統な方法で使用できる*1」にとどまらず、学術界全体への貢献も含む。たとえば、以下の論文集(とくに第8章)では、無作為抽出データを基礎にして、インターネット調査のバイアスを補正する方法が議論されている。
- 「信頼できるインターネット調査法の確立に向けて」SSJDA-42. March 2009.http://ssjda.iss.u-tokyo.ac.jp/rps/RPS042.pdf
話を戻すと、上述の論文は、イラン社会と英語学習の関係を考えるうえで重要な研究だと言えるが、かなり根本的なところでよくわからない部分があった。したがって、正直なところ、そもそも評価が難しい。
以下、その点。
母集団が明示されていない
ランダムサンプリング調査であるにもかかわらず、何を母集団と設定してランダム抽出を行ったか明記されていない。好意的に読めば「イラン人英語学習者」を母集団にしているとも考えられるが、標本抽出に用いた抽出台帳(抽出に用いた名簿)が何なのか示されておらず、イラン国籍を持つ人々全体を含むのか、それともイランの教育機関に所属する人だけなのか、不明。
質問紙の配布方法に関する詳細な記述がない
手渡しかインターネット経由の調査、としか書いてない。「無作為抽出なのにネット配布」というのも(特段な注記がない限り)いろいろ気持ち悪いが、いつ配布して、どれだけ回収したか、といった情報がない。まさか「ランダム(無作為)」に対するよくある誤解――「誰かに意図的に渡すんじゃなくてデタラメにばらまけば、それがランダムサンプリング!」というというよくある誤解でないことを祈るばかり。
蛇足。
統計的有意の判断基準がおかしい。t統計量が1.0未満なのに、p = 0.00 で有意だと判断している部分が2箇所ある。