英語教育調査は「ゴミ」だらけ、補遺(具体的な調査について)

先日の次の記事の補足である。(補足だが今回のほうが具体的なので役に立つだろう)

英語教育調査は「ゴミ」だらけ

この記事では、英語教育・英語学習実態調査にはいい加減なものが多いので注意すべきだということを書いた。

手っ取り早くチェックできる項目として、どのように対象者を集めた調査かという点を指摘しておいた。

再掲するとこのような形である(表現は簡潔にしている)。

Excellent

|1. 回答者を無作為に選んでいる調査

|2. 偏り防止のための相応の配慮がある調査

|3. ネット調査会社のモニターを使用した調査

|4. 上記以外(ネット調査の多くがこれ)

Poor

このように書いてもなかなか具体的な調査のイメージがわかないと思う。また、英語教育・英語学習に多少なりとも関わる人であれば、質の高い調査として具体的にどういうものがあるのか知っておくと何かと役に立つだろう。

実は当該コラムが載った本の出版社は(僕のいままでの「業界の常識」からすると過剰反応かと思えるほど)センシティブな反応をしていたので、具体的な調査名を挙げることは(とくに'Poor' 水準のものは)考えられなかった。というわけで、こちらの記事ではその補足としてリストを作っていきたい。

なお、一番下の水準のものは大量にありすぎるし、覚えてもあまり意味がないので、質の高いものを中心に書いていきたい。他にも何か思いつくものがあったら遠慮なくコメント欄・メールなどで教えていただければ幸いです。

1. 回答者を無作為に選んでいる英語教育調査=

文科省

文科省の英語教育関連の実態調査は無作為抽出のものが多い(そうでないものもあるので注意が必要だが)

ベネッセ教育総合研究所

ベネッセ教育研究所の「英語教育」に関する調査にも無作為抽出のものが多い(これもそうでないものもあるため要注意)

「英語教育」での検索結果 - 調査・研究データ│ベネッセ教育総合研究所

学術系調査

日本を代表する大規模社会調査である日本版総合的社会調査(通称JGSS)には、数年に一度のペースで英語関連の設問が含まれている。

以下のサイトでは基礎集計が確認できる。

大阪商業大学 JGSS研究センター

マスコミの世論調査

マスメディアの世論調査はほぼすべて無作為抽出である(ランダムに電話をかける手法)。ごくたまに英語教育について聞かれることもある。

小学校英語に関する世論調査、一覧

蛇足

ちなみに、英語学力の調査ではないが、しょっちゅうメディアを賑わすPISA(「日本の読解力が○位!」的な)という国際学力調査も無作為抽出である。

2. 偏り防止のための相応の配慮がある調査

ベネッセ

上記のベネッセ教育研究所の調査には、無作為抽出ではないものもあるが、その場合でも偏りを防ぐ色々な考慮がなされていることが多い。

3. ネット調査会社のモニターを使用した調査

産業能率大学「新入社員のグローバル意識調査」

調査報告書 | 産業能率大学

アルク 「日本人の仕事現場における英語使用実態調査」

(属性による補正はあるが基本はネット調査)

4. 上記以外(ネット調査の多くがこれ)

語学産業が自前で行ったアンケート

英会話スクール・英語学習サービス等の語学産業が自分の顧客を対象に行うアンケート調査が該当する。

英検「英語力とQOLの関係性調査」

「企業が求める英語力調査」

http://ci.nii.ac.jp/ncid/BB01640359

大規模科研の調査であり有名な研究者が参加していることもあり、英語教育界では有名だが、典型的な便宜抽出調査。抽出法に伴うバイアスを軽減しようという配慮はほぼしていないようだ。批判の詳細→http://d.hatena.ne.jp/TerasawaT/20130815/1376585335「仕事と英語」言説と英語教育、そして「欠陥」調査

EF英語力指標 国別英語スコア

「日本の英語力、第○○位!」としょっちゅうウェブメディアを賑わす調査(たぶんウェブメディアへの営業努力がすごい)だが代表性は低いので要注意。

最近よく見かける「日本の英語力××位!」という調査はいったい何なのか?

TOEIC/TOEFL

しばしばTOEICやTOEFLのスコア国別比較を持ち出す人もいるが、これらはそもそも英語力試験であって調査ではない。したがって、各国で同じような層を調査しているという保証はまったくない。(しばしば、韓国はTOEIC受験者が日本並に多いから比較可能だと主張する人がいるが、それでは正当化にならない。重要なのは同数・同割合かどうかではなく、同質かどうかだからである)