4月18日にスープストックトーキョーが離乳食の無料提供を発表しました．

その結果，「今後、絶対に行かない」など批判の声が上がったり，批判に対して批判が行われるなど炎上状態になったとニュースが流れました．最終的にはスープストックトーキョーが声明を発表し，その声明が素晴らしいとまた話題になりました．

リプライの分析

実際にどの程度の批判がスープストックトーキョーに寄せられていたのかを明らかにすべく，ツイートを収集して分析をしてみました．

ここでは，先のスープストックトーキョーの公式アカウントのツイートに対する4月28日までの890リプライからランダムに190ツイートを抽出して，好意的なツイートか，批判的なツイートか，批判への批判か，判定不能かを分類しました．

なお，この際普段は根性マイニング（筆者が頑張って目で見る手法．精度は高いが筆者がつかれる）を使っているのですが，今回は最近話題のChatGPTのAPIを利用してみました．

プロンプトとしては，

として，いくつか例文を追加しました．

190ツイートを分類した結果が以下の通りとなります．

この結果から，50%以上は好意的なリプライであり，批判的なツイートは20%程度であったことが分かりました．

批判の批判も20%程度あり，トータルで見ると70%程度はスープストックの施策を良いものと考えているといえそうです．

時間変化

次に，それぞれのタイプのツイートがどのタイミングで投稿されたのかを見てみましょう．

時間ごとの変化を示したのがこちらの図です．

これより，批判的なツイートの多くが4月19日の時点で投稿されていることが分かります．この時点では好意的なリプライよりも批判的なリプライが多かったといえそうです．最大で3分の2が批判的なリプライで占められていたタイミングもあったようです．ただし，4月20日以降は好意的なリプライが圧倒的に多くなっており，最終的には好意的なリプライがほとんどを占めるようになったということでよさそうです．

その意味では批判的な声は，殺到したというほど多くはなかったが，全くないというほどでもなかった，といったところではないでしょうか．

その意味でもスープストックトーキョーの対応は間違っていなかったといってよいのではないかと思います．

ChatGPTに根性はあるか？

最後に，技術的な話で，ChatGPTによる根性マイニングの精度について述べておきます．

今回は，190のツイートを分類しましたが，さすがにそれをそのまま使って分析するほどChatGPTを信用もできないため，最終的には筆者自身が目で見て確認を行いました．その結果，190件中23件のリプライについてラベルの修正を行うことになりました．というわけで，87.9%の精度で正しくラベリング可能だったと言えそうです．

なお，修正されたラベルは

・好意的→批判の批判が4件

・批判的→批判の批判が12件

と，69.5%が批判の批判を正しく分類できていなかったものでした．批判の批判という複雑なリプライはまだ精度よく分類するのが難しいと言えそうです．

ただし，プロンプトによる違いはあるはずですので，もっと良いプロンプトを用意すればうまくいく可能性もあります．

とはいえ，どの程度正しく分類できているのかは確認する必要があるので，結局人間の根性はある程度必要なままのようです．

終わりに

スープストックトーキョーの離乳食提供に関する炎上について分析を行ってみました．非実在型炎上というべきかどうかは微妙なラインですが，少なくとも批判が大半ということはない事例だったと言えそうです．

また，分析にChatGPTを使ってみましたが，人間の根性をある程度の精度で代替することはできましたが，100%置き換えられるかどうかは問題やプロンプトに依存しそうで，まだまだ研究の余地がありそうです．