news HACKとは
編集者がテクノロジーに出会うとき、見出しはどう変わる？～A/Bテストで見えた「渋滞45km」と「混雑ピーク」の差とは
突然ですが、以下3つの見出しの中でどれがいちばんクリック率が高かったと思いますか？今年の夏の甲子園1回戦、敦賀気比（福井）が勝利の校歌を斉唱していた際、音楽が止まってしまいアカペラで熱唱した、というニュースです。
- 校歌中断 甲子園で観衆手拍子
- 甲子園勝利の校歌 音楽止まる
- 甲子園珍事 アカペラで校歌
Yahoo!ニュース編集部の田中です。Yahoo!ニュース・トピックスの13文字の見出しでは現在、「A/Bテスト」を導入しています。A/Bテストとは、「Webサービス上で複数のパターンを実際に一部ユーザーに公開して、効果をチェックする手法」のことです（詳しくはこちらの過去記事）。
先日、行ったイベントでも、以下のようにご紹介させていただきました。この記事では、実際の使用例を紹介しつつ、開発の裏側にも迫っていきます。
Yahoo!ニュースでは現在、トピックス見出しのA/Bテストを日常的に実施している。この見出しは従来、重大な間違いがない限りは変更されることがなかったが、現在ではA/Bテストツールを使うことにより、最大3本の見出しのCTRを比較検討しているという。
―出典：編集という職人芸はどこまで機械化できるのか？月間100億PVのYahoo!ニュースに見る編集とエンジニアのいい関係【real news “tech” HACKレポ】 - エンジニアtype
たとえば、冒頭の3つの見出しだと「甲子園」と「校歌」という要素は、すべての見出しに盛り込みました。その上で、より効果的にニュースの価値・インパクトを伝えてより多くの方に読んでもらうため、どの要素をどういう順序で入れるべきか考慮。3つの見出しをA/Bテストにかけました。たとえば、最初に甲子園を持ってきたほうがいいのか、それとも校歌中断という出来事を最初に持ってきたほうがいいのか、アカペラというワードを入れるべきか否か、といった具合です。
※横軸：時間
結果、いちばん数値が高かったのは上の図のように1番目の「校歌中断 甲子園で観衆手拍子」でした。この結果について編集部で議論したところ、「校歌中断」という具体的でインパクトのあるフレーズが前半にあること、さらに後半の「観客手拍子」というポジティブな要素と落差があることが数値の高さにつながったと推測しました。
似た見出しでも大きく数値が変化
13文字という限られた空間において、より多くの方に適切にニュースを伝えるには――。Yahoo!ニュースはサービス開始以来、人の手とデータによって繰り返し研究してきました。しかし、当然ひとつのニュースにひとつの見出しが大原則でした。そのため、見出しA/Bテストの導入によってひとつのニュースにつき複数の見出しをリアルタイムで比べられるようになったことは、Yahoo!ニュースにとって大きな意味を持ちました。
これまでの事例の中から、特徴的なテスト結果を見てみましょう。
◆略称か、フルネームか
- 加藤清史郎 成長の陰に海老蔵
- 清史郎 海老蔵と獅童から影響
- 清史郎 海老蔵から愛のムチ
※横軸：時間
13文字という限られたスペースでニュースを表現するため、しばしば愛称や略称を使用します。しかし、略称で本当にその人だと伝わっているのかは編集部でもしばしば議論になります。過去に「ダル・ダルビッシュ論争」もご紹介しました。加藤清史郎くんの場合も、ダルビッシュ選手と同じように略さないほうが数値が高くでました。もちろん例外もありますが、略称よりもフルネームのほうが数値が高くなることが多いようです。
◆入れるべき要素はどれ？
- 元イエモン吉井 48歳で初孫
- 眞鍋と結婚 吉井48歳で初孫
- 眞鍋と結婚 吉井和哉に初孫
※横軸：時間
眞鍋かをりさんとの結婚を発表した元「THE YELLOW MONKEY」の吉井和哉さんに初孫が誕生していた、というニュースです。まずは、ニュースの肝である「吉井和哉さんに初孫が誕生していた」という事実を表現できるように留意しなければなりません。その上で「元イエモン」か「眞鍋と結婚」か、「吉井和哉」か「吉井48歳」か、要素を入れ替えて3つの見出しを作りました。この場合は「眞鍋と結婚」と「吉井48歳」という2つの要素が数値を高めたようです。
◆ギャップが大事？
- 競泳渡部が銀 不振から急成長
- 競泳・渡部 最下位から逆転劇
- 香生子銀メダル 驚異の逆転劇
※横軸：時間
水泳の世界選手権の200メートル個人メドレーで渡部香生子選手が銀メダルをとったときのニュースです。冒頭でご紹介した事例と同じように、「最下位」というショッキングなワードと「逆転劇」との落差がより多くの関心を集めたのではないでしょうか。同じニュースで似たようなことを表現していても、すこし文言を変えるだけで大きく数値に差がでることがあります。
◆具体性が大事？
- 渋滞45kmも 高速で激しい混雑
- 高速で混雑ピーク 各地で渋滞
- 秋の連休 高速渋滞がピーク
※横軸：時間
シルバーウイークの高速道路の渋滞についてのニュースです。「ピーク」よりも、「渋滞45kmも」と具体的なフレーズを打ち出した見出しの数値が最も高くでました。冒頭で紹介した事例で「校歌中断 甲子園で観衆手拍子」が最も数値が高かったように、一部を具体性とインパクトのあるフレーズに変えることで大きく数値が高まることがあります。
◆順番を変えるだけで…
- 澤が結婚を報告「人妻です」
- 人妻です 澤が同僚に結婚報告
- 澤が同僚に結婚報告 人妻です
（時間）
サッカーの澤穂希選手が結婚した際のニュースです。「人妻です 澤が同僚に結婚報告」と「澤が同僚に結婚報告 人妻です」は前後を入れ替えただけです。結果、「人妻です」という言葉を前半にもってくると大きく数値が高まりました。「校歌中断 甲子園で観衆手拍子」や「渋滞45kmも 高速で激しい混雑」の事例でも示唆されたように、印象的なフレーズは後半でなく前半にもってくると数値が高くでやすいようです。
最後は人が判断するという設計
上に挙げたように、A/Bテストは数値面から見出しの作成・選択に大きなヒントを与えてくれます。しかし、ニュースの価値がきちんと伝わるか、必要な情報が分かりやすく伝わるか、人権侵害になっていないか、そして「釣り」になっていないか――。見出しでクリアしなければならない諸条件について、最後はあくまで編集者が判断しなければなりません。
この思想は、見出しA/Bテストのツールの設計にも現れています。ツールは数値を示してくれますが、最も数値のいい見出しに自動で修正してくれるわけではありません。数値を参考にしながらも、最終的にどの見出しにするかはあくまで編集者が判断します。開発を担当したエンジニア陣に話を聞いてみました。
庄司和正・プラットフォームサービスマネージャー
――最後は編集者が判断する、という設計に至るまでにどういう議論があったのですか？
庄司和正 最終的に何かのものに収束させるのは編集者に委ねないとだめだよね、というのは、社内のいろいろな人から言われました。技術的には自動で数値の高い見出しに修正することもできるんですが、それをやらずに最終的に編集者が選ぶのが大事だよね、と。自動で選んでしまうと、釣りのような見出しも数値が高くなってしまう。そこを防ぐためにも、最後のジャッジは編集者が下すというポリシーです。
横田将志 ぜんぶ機械に任せるよりも、機械と編集者のコラボでやるほうが最終的にいい精度になるし、むしろそれがヤフーの強みを生かせると考えています。
横田将志・開発部
――開発あたって、何に苦労しましたか？ 編集的な事情と開発の事情が衝突することはありましたか？
横田 最初はなかなかリアルタイムで数値がとれませんでした。そこでひとつ、つまずきましたね。ひとつの見出しに収束するまでのデータをどこまでとるか。編集者としてはあまり複数のパターンを出し続けず、はやく決めてしまいたい。でも、エンジニアとしてちょっと待ってよ、もうちょっと待たないといい結果のとこまでたどりつけないよ、というせめぎあいのバランスを考えるのが大変でした。
このA/Bテストツールは完全に独自開発されたもの。取り上げられるトピックスは通常2、3時間で入れ替わるため、1時間かけてベストを検討するのでは意味がない。膨大なトラフィックを捌きながらリアルタイムでデータを分析し、およそ10分で優劣を判断するためのツールが必要だった。
―出典：編集という職人芸はどこまで機械化できるのか？月間100億PVのYahoo!ニュースに見る編集とエンジニアのいい関係【real news “tech” HACKレポ】 - エンジニアtype
池田健人 こういう問題は、Yahoo!ニュースの部署だけでなく、データサイエンスを牽引する社内の専門部署の助けも借りながら解決していきました。開発者がいて、編集者がいて、サイエンス系の集団がいて、いくつもの要因が重なったから実現できたと思います。
池田健人・開発部
――今後、やっていきたいことは？
庄司 編集者のナレッジ、知見を色々なところで蓄えて活用していきたいです。長年培ってきた編集のナレッジをいかに吸い上げて、技術的にサービスにいかすか。Yahoo!ニュースは、テクノロジー1本でやっていくことはないと思っています。
Yahoo!ニュースの編集者はエンジニア陣やデータアナリシスのチームと共に、見出しに限らずさまざまな編集・編成の場面で研究を重ねています。先日のイベントで、Yahoo!ニュースの編集者は以下のように話しています。
「データを見て効果測定できるのが、ネットの一番の特徴だと思う。それをリアルタイムに見ることができるのが、ニュースを伝えるときにはすごく大事なのだということを、Yahoo!ニュースで働いてみて痛感している。いまの報道に、エンジニアの存在は不可欠ではないかと思っている」
―出典：Yahoo!ニュースの編集者とエンジニアとデザイナーは何を考えているのか？（その2／ABテストの活用法） - メディア漂流記
ただし、エンジニア陣も話すように、テクノロジーに頼りきるわけでは決してありません。Yahoo!ニュースのスタンスは「人にしかできないことをテクノロジーで加速する」というもの。人間だけでも機械だけでも到達できないベストな伝え方を目指して、Yahoo!ニュースはこれからも研究を重ねていきます。
Yahoo!ニュースからのお知らせ
Yahoo!ニュースでは、フロントエンド・バックエンドエンジニア（正社員・中途採用）と編集者（正社員・中途採用）を募集中です。
こちらに各職種の募集要項を記載しております。日本最大級のニュースサービスを一緒につくってみませんか？
お問い合わせ先
このブログに関するお問い合わせについてはこちらへお願いいたします。
