文科省がTOEFL国別英語力ランキングを作成。TOEFL運営元は「やめて」と注意喚起
2022年8月8日、文部科学省が「英語教育・日本人の対外発信力の改善に向けて（アクションプラン）」を発表しました。
同資料のなかで、運営元が「やめて」と言っていることを、文科省は平気でやっています。
問題の箇所は同アクションプラン（スライド全12枚）の2枚目。TOEFL国別平均スコアをもとに、各国の英語力ランキングをグラフ化しています。
図の説明は、以下のように、日本の英語力の低さに焦点を当てています。
各国における受験者数や受検者層は異なるため、スコア差が各国の英語力差をそのまま表しているわけではないことに留意が必要ではあるが、各種の英語資格・検定試験において、我が国の平均スコアは諸外国の中で最下位クラス。
こういうTOEFL国別ランキング話法は、しばらく前から、いたるところで見かけます。
日本人の英語力の低さを指摘したい。でも、「根拠は私の印象！」とか「みんながそうだって言ってるよ」といった語り方はどうも格好良くない。そう思う人達にとっては、TOEFLの数値はきわめてスマートな「エビデンス」に見えるのでしょう、とても重宝されています。実際、評論家やコンサルタント、マスメディア記者、さらには一部の研究者までもが、こぞってTOEFL国別ランキングを語るのを見ると、知的職業人（あるいは知的さを演出することで儲けを叩き出す職業人）を魅惑する力はなかなかのものだと思います。
でも、この方々は、原資料（つまり元データ）をおそらくまったく確認していないのではないでしょうか。
なぜなら、このデータの掲載元（運営元であるETSのウェブサイト）には次のような文言が書いてあるからです。
＊本データを扱う上で下記の点にご注意ください。
TOEFLテストスコアデータサマリーに掲載されている平均スコア（Table15、Table16）は受験者個人が、自分と同じ母語・同じ出身国の他の受験者との比較をするためにご利用いただくものです。TOEFLテストスコアを元に国別のランキングを作ることはデータの誤った使用であり、テストを作成しているETSはそれを認めていません。
TOEFL国別ランキングは、データの誤った使用
大事な点なのでもう一度引用します。「TOEFLテストスコアを元に国別のランキングを作ることはデータの誤った使用であり、テストを作成しているETSはそれを認めていません」。ちなみに、原文資料（英語）でも、"ETS, creator of the TOEFL test, does not endorse the practice of ranking countries on the basis of TOEFL scores, as this is a misuse of data." と書いてあります。
もっとも、文科省も元の資料で「留意が必要であるが」と断りを入れています。しかしながら、「留意が必要であるが」と言えば何を言っても許されるわけでもないので、実質的には意味のない譲歩でしょう。本来は、どういった留保がどの程度で必要で、それに基づいて、眼前の数値がどの程度信頼できるものかを述べなくてはいけません。しかし、文科省はそういう説明を一切していません。実際のところ、体の良い逃げ口上として使われているだけですね。
日本人の英語力が世界的に低いことは事実。だが…
日本人の英語力が世界的に低いことは事実です。最下位（つまりワースト1位）であるとは断言できませんが（そんなデータはありません）、世界的に見れば相対的に低いグループに入っていることは確かでしょう。
日本は、日常的に英語が使われておらず、国際的ビジネスに従事する人の割合も少ない（日本の2020年度の貿易依存度は世界207地域中184位です。以前からずっとそうです ）。このような国は、日本に限らず、英語ができる人が少ないのは自然なことです。
ですから、運営元から間違いと言われるような「エビデンス」など提示せず、「自然の道理として、日本は（その他の非英語圏と同程度に）英語力が低い」と言えばよいのです。
非英語圏内での「微妙な」背比べをさせたいからTOEFLスコアのような1点刻みの数値が重宝するのでしょうが、TOEFL運営元が言う通り、そして、以下に詳述する通り、まともな解釈は導けません。
TOEFL スコアのそもそも論
そもそも TOEFLは、北米留学希望者が受けるものです。なぜなら、TOEFLの目的は、北米の大学の授業についていけるだけの英語力を持っているかどうかを判断することだからです。
ひょっとしたら、TOEFLランキングを引用する人は、PISAなどの国際学力調査と誤解しているのかもしれません。しかし、TOEFLはあくまで個人の能力（英語力という点での留学適性）を判定するテストです。社会の平均像を明らかにする社会調査とはまったく異なります（社会調査の実施者は、社会の平均像を推定するための様々な工夫、たとえばランダムサンプリングなどをしています。興味がある方は、何でもよいので「社会調査法」と名のつく入門書を読むとよいと思います）。
TOEFL国別スコアは、留学希望者個人のスコアの平均値なので、各国民を代表しないことは明らかです。「平均的○○人」と比較して、「○○人の北米留学希望者」はかなり特殊なグループではないでしょうか。
さらに、たとえばヨーロッパなどではイギリス等との地理的・政治統合的な事情から、他のテストがより一般的である場合もあります。また、ややこしい例として、日本のように「（長期）留学しないのに生徒・学生がTOEFLを受ける（受けさせられる）」という特殊な国もあります。
TOEFL国別スコア とランダムサンプリング調査の相関
「TOEFL国別スコアが万能ではないことなどわかってる！あくまで参考情報として見てるんだ！」と言う人もいるかも知れません。上記の文科省の「お断り」はまさにそういう言い草ですね。
それが「お断り」になると思っている人は、「参考情報」という言葉を都合よく使いすぎです。結局、この話で重要なのは、参考になるかどうかではなく、どれだけ参考になるかという点だからです。
結論からいうと、以下に述べる通り、TOEFL国別スコアはたいして参考になる情報ではありません。
ランダムサンプリングによる国際比較調査とTOEFL国別スコアの相関を見た研究があります。実は私の研究です。なお、こちらの調査は2000年のものである点、英語力は自己報告設問である点、そして比較対象となるTOEFLは旧式のスコアである点に「留意が必要」ですが、各国の個別事情を見ているわけではなく全体的な相関を見るのが目的ですので、大きな問題は生じないと思います。
相関を図示したグラフを拙著『日本人と英語の社会学』から引用します。
図の説明およびその解釈も同書から引用します。
図を見ると、全体的にはTOEFL スコアが高ければ「英語力あり」の割合も高くなる傾向がある。しかしながら、その予測力は必ずしも優秀というほどではない。たとえば、[上記左のグラフ]の決定係数はR^2＝0.376 であり、全分散の37.6％ しかTOEFL スコアで説明できないことを意味している。これは、TOEFL の文脈に近い[上記右のグラフ] になるとR^2＝0.535 と多少改善するものの、それでも説明力は53.5％，つまり半分程度である。実際、図中にも、近似曲線から大きく外れている国がいくつもある（特に、イタリアとスペインの乖離が大きい）。
もちろん、全体的な相関関係を説明するという用途であれば、R^2＝0.376という説明力はじゅうぶん実用に値するレベルだと思われる。しかしながら、それはあくまで全体的な関係・平均的な傾向をめぐる議論に限られる。逆に、日本より数十点だけ高い国X をとりあげて、「X 国民は日本人よりも英語ができる」と結論付けたりすれば、それはあきらかに言い過ぎである。本章冒頭で、TOEFL スコアを引きながら「日本は最低レベル」という結論を導き出していた議論を紹介したが、シンガポールやスウェーデンと比較するならまだしも、スコアの近い東アジアの国々と比較するのは正しい統計の使い方とは言い難い。
上記はやや専門的な記述も含まれているので、もう少し噛み砕いて、以下のようにまとめてみます。
■ TOEFLには、国際比較調査と「まあまあ」の相関はあるが、「まあまあ」程度の相関の指標をつかって点数が近い国同士を比較するのは無意味。
■ 一方、日本と大きく点数が離れている国、たとえばシンガポールと比較するならば、「日本人はシンガポール人に比べて英語ができませんねえ」とは言えそうだ。
■ しかし、前述の通り、それは自然の道理としてわかりきったことなので、わざわざデータを見る必要はない。（念のためいうと、シンガポールは、4つの公用語の一つが英語）。
要するに、スコアが近い国同士の場合、実際のところどちらの英語力が上かを判断することはほぼ無理ということです。
おわりに
以上、TOEFL国別ランキングの問題点について述べてきました。上述した通り、理屈上も、実証データ上も、そして運営元の注意喚起の点でも、TOEFL国別スコアで英語力ランキングを論じることは明らかな間違いです。
この記事では、時事的なニュースという性格上、文科省の文書を俎上に載せましたが、TOEFLランキング話法は官民問わずいたるところで見かけます（より正確には、前述の通り、評論家やコンサルといった民間人のほうがむしろ頻繁に手を出す印象です）。
このような統計の誤用は、数値の背後の事情などおかまいなく数字があれば何でも正しい・スマートだと思いこんでいる点で権威主義的でダサいです。しかし、そればかりか、本来なされるべきはずだった調査をキャンセルすることにつながりかねないので、社会的にも害が大きいものです。
以上の点で、私は、TOEFLランキング話法が、一日でもはやく撲滅されることを祈っています。みなさんもこのような不適切な作法をポストしている人を見かけたら、TOEFL運営のウェブサイト（およびこの記事）を教えてあげてください。
