影や反射も考慮し、画像内の物体だけを自然に消す・挿入が可能なシステム「ObjectDrop」をGoogleなどが開発

画像の編集において、物体を画像から除去したり、新たに挿入したりする技術は需要が高まっています。しかし、影や反射など、物体が周囲に及ぼす影響をリアルに再現するのは容易ではありません。 そこで研究チームは、「ObjectDrop」と呼ばれる手法を開発しました。ObjectDropは、画像内の物体だけを消し去り、あたかもなかったかのような自然な仕上がりに合成します。また新たな物体を画像内に挿入し、影や反射も考慮した、調和した合成を可能にします。画像内の物体を少しずらすなどの移動もできます。 この手法の肝は、物体の有無による画像ペアを大量に集めた「Counterfactualデータセット」を用いて学習を行う点です。物体除去については、2,500組の画像ペアを専門の写真家に依頼して撮影。同じ場所で、物体がある状態とない状態の写真を撮ってもらいました。このデータを用いて学習することで、物体の影響を考慮した除去が可能になりました。 一方、物体挿入はさらに難易度が高いタスクです。除去モデルで作成した35万点の合成データを追加で活用することで、わずか2500点の教師データから、影や反射までリアルに再現できるモデルの構築に成功しました。 物体除去・挿入ともに、従来手法を大きく上回る性能を達成。定量的指標とユーザー評価の双方で、ObjectDropの優位性が示されています。