国別TOEFLスコアの規定要因分析（OLS）

1. Snow, M. 1999. Economic, statistical, and linguistic factors affecting success on the test of English as a foreign language (TOEFL). Information Economics and Policy, 10(2), 159-172.
2. Kim, M. & Lee, H. 2010. Linguistic and nonlinguistic factors determining proficiency of English as a foreign language: a cross-country analysis. Applied Economics, 42, 2347-2364.

上記いずれの論文も、国・地域をケースにした重回帰分析（OLS）によって、国別TOEFLスコア（の平均値）の規定要因を探るというもの。

両者は、TOEFLの国別スコアを、「国民の英語力レベル」の代理指標としているが、まずもって、この仮定は無理がある（「どうにかして英語力の代理指標を得たい」という気持ちはわかるけれど）。TOEFL自体は優れて信頼性のあるテストだが、その使用目的がかなり特殊である。TOEFLは、主に北米の高等教育機関に留学して、そこで勉強するのに支障がないだけの英語力を持っているかどうかをチェックするためのテストなので、受験者層は国によってかなりバラツキがあるはずである。よって、その推定は困難をきわめるだろうとと考えられるのである。

2019年4月3日追記 じっさい、私は既に以下の本の3章で、ランダムサンプリングで得られた国民の平均的英語力とTOEFL国別スコアの相関を検討し、その結果、緩やかな相関はあることを明らかにしている。緩やかな相関ということは、つまり、TOEFLスコアで数十点の差がある国について優劣を「推測」することは可能だが、たかだか数点〜十数点程度の差の国に関してはその優劣を判断することは明らかに筋悪である。

「日本人と英語」の社会学 −−なぜ英語教育論は誤解だらけなのか

というわけで、私は、あくまで「TOEFLスコア」を予測する分析として ―つまり「英語力の国際比較」などという一般化はせずに― 、本論文を読んだ。以下の私のコメントも基本的にその方針にのっとる。

とはいえ、検討の究極の対象が「TOEFLスコア」で終わってしまうというのは、けっこう物足りないと思う人もいるかもしれない。一商業テストの点数の変異を云々するのは少々空しく、そんなわけで「国民の英語力」にまで一般化したい気持ちも分からないではない。ただし、日本の英語教育言説では「TOEFLスコア」自体が、わりと大きな影響力を持っていると言えるので、TOEFLそれ自体の分析でもじゅうぶん意義があると思える。また、そもそも受験者がこれほど国によってバラツキがあるというのも興味深い。つまり、「英語力の国際比較」としてではなく、いわば「英語試験をめぐる社会分析」に読み替えるのである。

さて、このTOEFLのスコアに国によって大きな差があることはすでに有名だが、これには色々な説明がなされてきた。もっとも「一般ウケ」しやすいのが、「日本の英語教育の後進性」という説明である。一方、日本の英語教育を（部分的にせよ）擁護しようとする論者は、「受験者層が異なる」とか「日本は英語国による植民地化経験がない」とか「日本語は、他の欧州言語に比べ、英語からの言語的距離が遠い」などと説明が行われてきた。こうした説明のうち、どれが正しいのかを明らかにするうえで、本論文の知見は興味深い。

論文の概要

２つの論文は、それぞれ微妙に異なる説明変数を使っているが、基本的なモデルは同一である。すなわち、

概略上記のような回帰式をつくり、各説明変数の規定力を検討している（上記の式はあくまで簡略化したもの）。

説明変数は、大ざっぱにわけて、４種類に分けられる（それぞれ上記のβ1〜β4に対応）。

Distance

英語との言語的距離、「習得のしやすさ」の代理指標

EducSystem

教育システム、「英語教育」の充実度の代理指標

Economic

経済的要因、「英語の政治経済的浸透度」の代理指標

Testee

受験者に関する要因、受験者層の相違の補正

上記の諸変数の操作化で気になるところが少々（かなり？）ないではないが*1、ツッコミを入れるのが目的ではないので、それはとりあえず目をつぶる。

受験者層？言語的距離？植民地経験？あるいは、日本の「ダメ」な英語教育？

上で述べたとおり、いろいろまずい操作化・パラメータ推定がなされているが、それはなかったことにして（笑）、とりあえず、規定要因としてどれが効いているかを見てみる。当然といえば当然だが、言語距離や、教育レベル、GDPに占める対外貿易額（＝「他国への依存度」の代理指標）は、強力な予測要因であることが実証されている。一方で、受験者層や「旧英語国植民地ダミー」の効き目はよくない。（植民地経験が効かないというのはにわかには信じがたいが、おそらく、比較的スコアの高いヨーロッパによって相殺されたのではないかと思われる。ヨーロッパを除いて再分析したら効果が見られそうな気はする）。

というわけで、言語的距離が重要だという（わりと常識的な）結論に落ち着きそうだ。ただし、上記のような回帰式（しつこいようだが、その推定値はかなり怪しいので注意）を元に算出された予測値よりも、実際のスコアが大幅に低いのは「日本」であることも付け加えておくべきだろう（対照的に、韓国は予測値を実測値が上回っている）。これをかみ砕いて言うと、「言語距離や社会・教育環境その他もろもろがこの水準なら、日本のスコアはもっと高くなっているはずなのに、そうはなっていない」ということである。これを、「日本の英語教育の後進性」と読み替えたくなる人もいるだろうが、前述の通り、TOEFL平均スコアという代理指標はかなり使いづらい代物なので、それは何とも言えない。

TOEFLをめぐる社会分析

最後に、TOEFLそのものを社会科学的に分析する上で興味深い点をいくつか。上記の論文では、TOEFL受験者の特徴が国によって異なることも一応考慮しているものの（回帰式の4番目の変数）、あまり有効なコントロールをしているとは思えない。

両論文とも、「全人口に占めるTOEFL受験者のパーセンテージ」を使っているが、これをコントロールしたからといって、比較の妥当性が保証されるとは思われない。極端な例を出すと、全国民の英語レベルが等しいA、Bという２つの国があったとして、A国は英語力階層の最上層1パーセント（＝エリート層）がTOEFLを受験し、B国は色々なレベルの人が受験した結果人口の1パーセントを占めたとする。この場合、両国とも受験者のシェアが等しい（1パーセント）とはいえ、A国のスコアが高く算出されることは自明だろう。

私は高等教育におけるトランスナショナルな社会移動に関してまったくの勉強不足なのでよくわからないが、北米（特に米国）への留学行動（つまり、TOEFLの受験者と近似する要因）は、おそらくヨーロッパと東アジアでは相当異なるのではないか。

さらに、母国のメリトクラシー・教育達成の構造も、確実にTOEFL受験者に影響するだろう。つまり、日本のように、「留学」が、社会的達成のための「傍流」に位置づけられる社会と（日本では「主流」は国内の「一流大学」）、特に旧植民地国でしばしば見られる「留学」こそが社会的達成の主要な手段である場合とでは、かなり受験層に相違が生じると考えられるのである。

*1:たとえば、「言語的距離」変数は、言語教育の理論的知見とかなり乖離しているように思える。例えば、Kim & Lee (2010) の論文では、語族関係をもとにしたスケール化を行っている。つまり、西ゲルマン語群に「9」を、北ゲルマン語群に「8」を、...（中略）...サテム語派に「5」を、非印欧語族に「0」を割り振っており、つまり「量的変数」化しているわけだが、これらの順序関係はともかく、その間隔について理論的根拠は明示されていないないだろう。また、語族関係のみに依拠した算出方法も問題が多いと思う。TOEFLで測られるものは、「自然」場面で習得される言語能力ではなく、リテラシーを含んだアカデミックな英語力である。したがって、当然、第一言語と英語の書記体系が異なれば、それも「距離」になりうるはずである。しかしながら、上記の論文では、チェコ語（ラテン文字使用）もロシア語（キリル文字使用）もベンガル語（独自の文字）もいずれも「5」が割り振られているのである。）