news HACKとは
最先端の自然言語処理モデルとスパコン「kukai」を活用したコメント対策、および並び順名称の変更について
（画像：アフロ）
Yahoo!ニュースでは、最先端の深層学習ベースの自然言語処理モデルを使用したコメント対策を開始しました。
今回、開始したのは、「記事との関連性の低いコメント」への対策です。
Yahoo!ニュースでは、コメント欄について、これまでも専門チームによるパトロールや機械的な対策を実施してきましたが、「記事との関連性の低いコメント」の機械的な対策については、未だ技術的課題のある状況でした。従来のニューラルネットワークを用いた自然言語処理モデルでは、1コメント単体の判定は可能であるものの、記事とコメントの関連度については判定が困難だったためです。
そこで、最先端で強力な深層学習ベースのアーキテクチャである「Transformer」およびGoogleの研究者が発表した画期的な自然言語処理モデルの「BERT」を使用することとし、そのために必要となる巨大なデータの学習に圧倒的な処理性能をもつスーパーコンピュータ「kukai」をコメント対策に活用することとしました。これにより、記事とコメントの関連度の機械的な判定が投稿時に即座にできるようになり、パトロールの専門チームの確認を経た削除までの時間が飛躍的に短くなりました。
Yahoo!ニュースは、コメント欄について、
- ニュースや世の中のできごとに関連する多様な意見や考え、感想があつまる場所であること
- コメント欄で他の人の意見や考えに触れることが、自分の考えを改めて整理したり、ニュースをより深く、多角的に理解したりするきっかけを作ること
などをポリシーとして運営しています。
そのため、記事との関連性の低いコメントのほか、人権侵害や誹謗（ひぼう）・中傷、ヘイトスピーチ、不快な内容を含むコメントなどを明示的に禁止するとともに、専門チームによるパトロールやマルチポスト対策、複数アカウントからの投稿の制限、不適切コメントの自動検知など、さまざまな対策を講じてきました。
また、上記と並行して、コメントの並び順に関しても改善を重ねています。それに伴い、コメントの並び順文言を「共感順」から「おすすめ順」に変更いたします。「おすすめ順」は多様な意見や考え、感想を含む良質なコメントを機械学習によって優先的に表示する仕組みです。
（並び順文言の変更日は2020年1月下旬を予定しております）
今後もユーザーのみなさんにコメント欄を便利にお使いいただくことを目指して、適切な対策をとり続けていきます。
お問い合わせ先
このブログに関するお問い合わせについてはこちらへお願いいたします。
