最近よく見かける「日本の英語力××位!」という調査はいったい何なのか?

日本の英語力、世界35位に下落 - 東京五輪を前に今やるべきこととは - BIGLOBEニュース

留学・語学教育事業のEF、世界最大の国別英語能力指数 EF EPI 2016 発表:時事ドットコム

【EF EPI 2016】6年で16位もダウン…日本の英語力が世界72ヵ国中35位に低迷する理由とは?

 

「日本の英語力××位!」と報じたニュース風の記事をよく見かけるなあと感じたことはないだろうか。この手の記事のソースは、十中八九、EF(イーエフ)という留学斡旋企業が発表している英語力「指標」だろう。

ここで、英語力「指標」とカギカッコでわざわざ強調したことに注意して欲しい。なぜなら、これは英語力調査ではなく、あくまで指標=参考情報だからだ。

 

以下がEF社がEF英語力指標について説明しているものである。

EF EPI - この指標について

非常に長いのだが、ポイントは次の通りである。

  • 対象者は、無料のオンラインテスト「EF-EPI」の受験者
  • 国別に平均スコア(平均正解率)を算出
  • 受験者が400人以上の国だけ使用(2016年で72カ国)

要は、EF社のオンラインテストの受験者情報を各国比較に利用(悪く言えば流用)したもの、言ってみれば「副産物」がこの英語力指標である。

そもそも国ごとの英語力の調査が目的なら、もう少しマシな調査設計にするだろう。たとえば、各国の「国民」からランダムに受験者を募集したり、それが難しいのであれば属性(年齢・ジェンダー・居住地域・学歴・職種など)で層化し、各グループから偏りなくサンプルをとってくることが考えられる。調査であれば当然の手続きを省略している事実を見れば、EF社としては当初からそこまでの正確性・妥当性を追求していないことがわかる。

どれだけ信頼できるか

スコアは、EF社のオンラインテストにアクセスできるかどうかに大きく左右される―――ネット環境の有無だけでなく、このテストを知っているかどうか、英語学習意欲があるか、留学志向があるかも影響する。

その結果として、国によってはスコアの乱高下が激しい。(図)

画像

以下、特に変動の大きい三カ国のトレンドを示す(ちなみに、日本は過去5年で最高が55.14(2012年)、最低が51.69(2016年)で分散 1.1 であり、精度は比較的優秀である)。

カザフスタン

2011年- 31.7

2012年- データなし

2013年- 43.5

2014年- 43.0

2015年- 47.0

2016年- 47.4

分散 32.4

ドミニカ共和国

2011年- 44.9

2012年- データなし

2013年- データなし

2014年- 53.7

2015年- 56.7

2016年- 57.2

分散 24.4

トルコ

2011年- 37.7

2012年- 51.2

2013年- 49.5

2014年- 47.8

2015年- 47.6

2016年- 47.9

分散 18.8

言語習得には非常に長い年月がかかるものであり、「国民の英語力」が数年で大きく変動するということはあり得ない。この乱高下は、「EF英語力指標は国民の英語力を代表していない」と考えれば簡単に説明がつくのである。つまり、この指標は特定の集団の英語力を示していて、その「特定の集団」は年ごと・国ごとに異なるということである。

なお、誠実と言うべきか開き直りと言うべきか、「調査」ではない点、そして受験者に大きな偏りがある点について、EF社はきちんと断っている。

この試験は無料でオンライン受験ができるため、インターネット接続がある人なら誰でも参加することができます。受験者の大多数が労働年齢または学業を修了したばかりの若年層の人たちです。インターネットにアクセスできない人は含まれていません。インターネットの使用率が低い国の結果では、このような受験者の除外による影響を大きく受けていると考えられます。

出典:http://www.efjapan.co.jp/epi/about-epi/

この指標で表されている受験者は任意で受験した人々であり、その国全体のレベルを代表するわけではありません。これから英語を勉強したいと思っている人、あるいは自分の英語力を知りたいと思っている人だけがこの試験を受けているため、一般人口よりも高いまたは低いスコア結果になっている可能性があります。

出典:http://www.efjapan.co.jp/epi/about-epi/

ただ、「調査」ではない点について断っているからと言って、EFの発表の仕方を見る限り、明らかに国別比較調査を思わせる書き方である。

国別ランキングや、スコアをもとにした世界地図の色分けは、「その国全体のレベルを代表」しているように受け取っても仕方がない。実際、メディア記事のなかにはそういった誤解に基いて執筆されているものも散見される。

国別ランキングを広報する意味

「調査」でもない国別ランキングをメディアが積極的に報道する意義は何なのか?

究極的には各メディア、そしてEF社に聞いてみないとわからないが、おそらくは (a) 企業としての知名度をあげること、(b) 英語力テストの認知度をあげ受験者を増やすこと、(c) 受験してもらうことで本業の顧客になり得る人々(留学志望者等)の情報を得ることなどが考えられる。

認知度があがればそれだけ潜在的な顧客が増えるので、調査でなかろうが何であれ、広報することに意味があると考えているのだと思う。

そう言えば、私のところにも以前、以下のようなメールが来た。

はじめまして。EFの***と申します。

弊社は、世界40カ国に語学学校・学生寮を運営しております

教育事業者でございます。

Yahoo!ニュース・個人で寺沢さまのブログ記事を拝見致しました。

寺沢さまのブログ記事のネタに弊社の調査データ等をご活用頂ければと思いメール致しました。

弊社では、以下のような情報を保有しております。

グローバル調査:

各国の英語ランキング

http://www.efjapan.co.jp/epi/

国内調査:

大学生の4割は留学を勧められた経験がある

http://www.dreamnews.jp/press/0000117109/

社会人と高校生、大学生の英語力に対する意識の違い

http://www.dreamnews.jp/press/0000116603/ 

大学生の将来のための留学ニーズ

http://www.dreamnews.jp/press/0000115817/

突然のご相談で大変恐縮ではございますが何卒ご検討のほど

よろしくお願い致します。

出典:2015年8月のメール

「書いてもいいですけど、でしたら集計済みデータじゃなくて生データが欲しいです」と答えたところ、断られてしまったのでこの話は立ち消えになった。「研究者に生データは提供しない、でも何か書いて欲しい」というのは、「正確な分析は期待しないけど、言及してほしい」ということで、要は認知度アップを主眼にしているのだろう。