AIが果実の熟度を高精度判定、農研とデンソーらが自動収穫ロボットを共同開発
農業・食品産業技術総合研究機構(以下、農研機構)は2020年12月23日、立命館大学やデンソーと共同で果実収穫用ロボットのプロトタイプを開発したと発表した。収穫ロボット本体のハードウェアをデンソーが、ロボットの果実認識技術や果実の収穫適期判断技術、収穫ロボット本体と自動走行車の制御ソフトウェアを立命館大学がそれぞれ開発した。 果実収穫用ロボットの機器構成*出典:農研機構
樹列と並行して自動走行、ロボットアームで果実を収穫
今回発表した果実収穫ロボットは、リンゴやナシ、セイヨウナシの収穫を想定して開発したものである。 ロボットは大まかに果実収穫ロボット搭載部と、それをけん引するための、ゴルフカートをベースに設計された自動走行車両(UGV:Unmanned Ground Vehicle)部で構成されている。果実収穫ロボットの上方と下方にはデンソーのロボットアームが1台ずつ搭載されている。この他、果実の着果位置測定や熟度判定のためにRGB-Dカメラを4台搭載した。 UGVの左右前方には2次元LiDAR(Light Detection and Ranging、ライダー)をそれぞれ1台ずつ搭載した。UGVはLiDARのセンシング情報を基に周囲環境を認識して、果樹列のラインを自動検出。果樹列と並行する形で走行する。樹列間を抜けた後は、圃場内に設置された白色ポールを検出することで自己位置を把握し、あらかじめ設定された経路に沿うように旋回、次の樹列間に入る。 走行中は果実収穫ロボット部のRGB-Dカメラが樹列を認識して、収穫に適した熟度の果実を見つけると、UGVがいったん停止した上でロボットがアームを伸ばして果実を収穫する。この際、ロボットは自身と果実の着果位置や大きさを、RGB-Dカメラのセンシングデータを基に把握し、果実を傷つけないようにアームの軌道計画を設定する。なお、収穫の作業スピードは人間と同等(1個当たり11秒程度)以上の速度を目標に開発したという。
AIが果実底面を画像認識して熟度判定
収穫した果実は荷台にある自動コンテナ収納システムへと送られる。同システムはコンテナが果実で満杯になると、新しいコンテナに自動で交換して、収穫作業が継続できるようにする。コンテナは1台当たり16個の果実収納が可能で、全部で20台を搭載しており、一度の走行で最大320個の果実を収穫できる。 カメラ映像内の果実認識と熟度判定には、専用に開発したAI(人工知能)を用いる。果実の底面(ていあ部)を画像認識し、熟度進行を確認する。ていあ部は日焼けによる色の劣化が生じにくいため、熟度判定に適しているという。同AIでニホンナシの果実認識と熟度判断の確度を検証したところ、日中、夜間を問わず90%以上の精度で判定できることを確認した。