文科省「英語教育実施状況調査」の信頼性・妥当性には問題が多い

4月16日、昨年度の英語教育実施状況調査の結果が文部科学省より発表された。

平成30年度「英語教育実施状況調査」の結果について - 文部科学省

報告書では、生徒の英語力や学習状況、英語教育条件について都道府県別(政令指定都市含む)の集計値を出しており、さながら都道府県ランキングの様相を呈している。

文科省は「自治体間の競争を煽るランキングとして使われるのは本意ではない」ときっと言うだろうが、そういう見え方を黙認していることは明らかである(理由は後述)。

実際、マスメディアには、ランキング風に報じている記事が散見される。

 

そもそも実態の正確な把握を目的としていない

この調査は、2013年から毎年行われているが実態の正確な把握はそもそも目的としていない。

各数値の出所はかなりあやふやで、実際のところ「調査」と呼べる水準に達しているのか疑問である。

たとえば、英語民間資格(英検・TOEICなど)を持っている生徒や教員の割合も、資格所有状況一覧のような統計が存在していてそこからデータを抽出したわけではない(そもそもそのようなデータベースは存在しない)。自治体の教育委員会が各校の教員に報告させた数値であり、実は主観的な報告がベースである。

もっとも、正確を期して各種記録をひっくり返しながら極力丁寧に報告した学校も少なくないだろうが、もっとおおざっぱな集計方法を現職の教員から聞いたことがある。たとえば、職員会議等で「教育委員会からこういう調査依頼が来てるんですが、これこれこういった生徒はだいたいどれくらいですか?はあ、○○人くらいですか。じゃあ、そういう風に報告しときます」というようなもの。もっとも、多忙な現場の教員の業務に、「調査員としての業務」は含まれていないのだから、正確・精確な報告をしなかったからといって責められることではない。

 

主観的な「生徒の英語力」

「ランキング」の目玉である生徒の英語力は、もっとはっきりと主観的である。

文科省が設定した「中学生・高校生それぞれの英語力目標」を上回った生徒が何人いるかが報告されている。目標は、中学生でCEFR(ヨーロッパ言語共通参照枠)のA1以上、高校生でA2以上である。

しかし、この人数というのがなかなかの曲者であり、実は、

  • (1) 目標レベルに相当する英語資格を取得した生徒の数
  • (2) (資格は取得していないが)目標レベルに相当すると教員が見なした生徒の数

の合算なのである。

(1) はまだ透明性があるが(とはいえ、資格取得者に関する記録にきちんと依拠しない限り、あやふやな数値になるのは避けられないが)、(2) は完全に主観である。

もっとも、この手の「見なし人数」が報告する人によってランダムに変動するのなら問題は小さいが、そのようなことはありえない。現実には、「見なし人数」には、生徒の英語力だけでなく、管理職や教育委員会・文科省に対する現場の忖度の度合いも反映されているはずである。たとえば、「うちの校長は『前向き』に言ってほしそうだ。ここはひとつ『未来志向』の数値を報告しておこうか」のように。

メディアでは上記の合算値しか報道されていないが、報告書には別々に集計があるのでそれを明示しながら図示すると以下の通りになる。

ここでは中学生の結果だけ示す。

文科省報告書(上掲)の集計値をもとに筆者作成
文科省報告書(上掲)の集計値をもとに筆者作成

資格取得者の割合が多い自治体、「見なし」の割合が多い自治体、どちらも少ない自治体と、自治体によって様々だということがわかる。

調査の目的はあいまい

この調査には雑多な目的がつめこまれているため、正確な実態把握が二の次、三の次になっているのである。雑多の目的とは、たとえば、調査を通した現場の意識改革(もっと直截に言うと、自治体を競争させることによるコントロール・支配)、事業の構成要素としての調査(予算消化)、次期施策を推し進めるための根拠集めなど。この結果、正確性・代表性が犠牲になってしまっている。

調査企画者が正確な実態把握を真に優先していたのなら、抽出調査を選んでいたはずだ。学校をランダムに抽出したうえで、その学校の生徒の英語力・学習状況を丁寧に測定・調査する。全数調査ではないから、限られた調査対象に最大限のリソースを投入でき、結果、調査の精度は高まる。一方、抽出している分、自治体別のランキングを作成するのは無意味になるので、競わせるような目的では使えない。

結論として、この調査はデザインに問題が多く、結果から言えることは何もない。

もっとも、官僚・行政職員であれば、このデータで何かしら強弁せざるを得ない場面もあるかもしれない。限りなく黒に近いグレーであっても「黒ではない」と言い張らなければいけないときもあるだろう。「使えるものは何でも使う」の精神である。

一方で、正確性を重視すべき研究者、中立的報道に努めるべきメディアが、この調査結果から何か意味のあることを引き出すのはほぼ不可能だと思う。ランキング話法などに安易に手を出さずに、ただ黙殺するのが正しい姿勢である。

余談:資格を取得した生徒数もけっこう適当に報告されているのでは?

次の図は、縦軸に前述の (1) 目標レベル以上の英語資格を取得した生徒の割合を置き、一方、横軸には資格試験受験者の割合を置いたものである。

文科省報告書(上掲)の集計値をもとに筆者作成
文科省報告書(上掲)の集計値をもとに筆者作成

要するに、この図は、英語試験を受けた生徒がどれくらい存在し、そしてそのうちどれだけの生徒が目標をクリアできたのか、各自治体の状況を示したものである。

一見してわかるとおり、相関はかなり高い(相関係数は、0.67)。多数の自治体が左下から右上にかけて一直線に並んでいるように見える、実際、図の右下や右端の6つの自治体(秋田県・和歌山県・高知県・大阪市・岡山市・熊本市)を外れ値として除外した場合の相関係数は0.92と、社会科学的なデータとしては驚くほど高い。

異常にも見える相関の高さだが、すこし考えてみるとその背景が推測できた。ポイントは、縦軸が横軸のちょうど半分になっている点である。たとえば、受験した生徒が40%の場合、目標レベルを突破した生徒が20%という具合に。まるで、

  • 目標レベル以上の資格保持者の割合 = 0.5 × 受験者の割合

という等式で表せるような関係である。

調査に協力した教員の多くは、外部試験を受験した人数をまず報告し、次に、その2分の1の数字を「目標を達成した生徒数」と報告したのではないか。「まあ、これについてはだいたい半分くらいでいいかな?」といったノリで。

もっともこれは完全な私の邪推である。ひょっとしたら、全国どこの自治体でも、達成率が受験率の2分の1になるような「美しい関係」が存在するのかもしれない。おそらくそんなことはないと思うが。