「生成AI vs. 著名な詩人」どっちの詩が好き? シェイクスピアやディキンソンなどとAI詩を比較(生成AIクローズアップ)
1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深い技術や研究にスポットライトを当てる生成AIクローズアップ。 【この記事の他の写真を見る】 今回は、AIが生成した詩と詩人による作品とが区別できるのか、またどちらが好まれるかを調査した論文「AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably」に注目します。 ▲シェイクスピア(Wikipediaより引用) 研究チームは、1634人の参加者を対象に、AIが生成した詩と有名な詩人による作品を区別できるかを検証する実験を実施しました。 実験では、ChatGPT 3.5を使用して、10人の著名な詩人それぞれのスタイルで5編ずつ、計50編の詩を生成しました。 Geoffrey Chaucer (1340年代-1400年) William Shakespeare (1564-1616年) Samuel Butler (1613-1680年) Lord Byron (1788-1824年) Walt Whitman (1819-1892年) Emily Dickinson (1830-1886年) T.S. Eliot (1888-1965年) Allen Ginsberg (1926-1997年) Sylvia Plath (1932-1963年) Dorothea Lasky (1978年- ) これらの詩は、特別な調整や人間による選別を行わず、AIが最初に生成したものをそのまま使用しています。同時に、各詩人の実際の作品からも5編ずつを選び、比較対象としました。 その結果、参加者の正答率は46.6%にとどまり、これは偶然による判別率を下回る水準でした。さらに興味深いことに、参加者はAIが生成した詩を、実際の人間の詩人による作品よりも頻繁に「人間が書いた」と判断する傾向が明らかになりました。 次に、696人の参加者を対象に、どの詩が好きかという質的評価を実施しました。質的評価では、リズム、美しさ、感情表現、意味の深さなど14の評価項目に基準を分け、細かく評価しました。 結果は、ほとんどの評価項目において、AIが生成した詩の方が高い評価を得ました。 ▲詩の質的評価における14の尺度 ▲詩の全体的な質の評価を、AIと人間の作者別に比較した図 参加者は「AIは韻を踏むのが苦手」「長い詩を作れない」という誤った思い込みを持っていましたが、実際にはAIの詩の方が韻を踏む割合が高く(AI:89%、人間:40%)、長さにも有意な差はありませんでした。 また、参加者は詩がAIによって生成されたと告げられた場合、その評価を下げる傾向がありました。この結果は、人々のAIに対する期待や先入観と、実際のAIの能力との間にギャップが存在することを示しています。
TechnoEdge 山下裕毅(Seamless)
【関連記事】
- PDFを生成AIの学習用データに変えるIBM製AI「Docling」、1枚の画像から動く3Dシーン生成する「DimensionX」など生成AI技術5つを解説(生成AIウィークリー)
- “生成AI活用”の上位10%は生産性が2倍近く向上するが「下位3分の1は効果なし」の理由。研究者1000人以上でMITが検証(生成AIクローズアップ)
- ゲームエンジン不要。プレイ操作に応じてAIがリアルタイム生成するオープンワールドゲーム「Oasis」、Minecraftに500体の自律AIによる文明構築など生成AI技術5つを解説(生成AIウィークリー)
- この世に“存在しない”DNA配列をAIが創造。生成した人工DNA配列をマウスや魚に組み込む(生成AIクローズアップ)