seoil e&m

見える視覚にどんな物体があって、どこに何があるかを認識し理解することはコンピュータビジョンの基本作業で、自動運転車からロボット、拡張現実(AR)等の様々な分野で広く使われている。



このようなシステムが3D空間を認識するように訓練することは、一般的にセンサー(時々3Dセンサー)を使用して場面をキャプチャした後、
3Dボックスに位置表示を含めて場面で客体の空間範囲にラベルを指定することを含む。

これは人工知能(AI)モデルを学習させる最も大衆的かえ強力な方法であるが、手動ラベリングは非常に時間がかかる。
平均的に小さな室内3D場面でラベリングは普通20分以上かかるといわれる。
3D場面にラベルを指定することは、ボックスなしで場面にある客体リストと同じ場面レベルのラベル集を使用して、より早くて容易に行うことができるだろう。

5月14日に公開されたFacebook AI研究では、訓練中の場面レベルタグ(例:場面に存在する客体リスト)のみを監督として使用し、3Dデータ(例:ポイントクラウド)から空間認識(例:客体を感知してセグメンティング)を行えるか？ に対して研究チームはポイントクラウド認識のために弱く監督されるフレームワークであるWyPRを発表した。

WyPRはポイントレベルの意味分割、3D提案の生成及び3D客体の感知という3つの核心3D認識作業を共同で解決し、独自及び交差作業の一貫性損失を通じて予測を結合する。

WyPRが標準多重インスタンス学習目標とともに訓練時間に空間ラベルにアクセスしなくてもポイントクラウドデータから客体を感知して分割できることを示して、スタンフォード大学、プリンストン大学、ミュンヘン技術大学の豊富な注釈が付いた室内場面の3D再構成フレームワークであるScanNet及びS3DIS(Stanford 3DIndoorSceneDataset)のデータセットを使用して、弱めに監督される分割に対する以前の状態を6%mloU以上乗り越えることwで確認された。

又、研究チームは2つのデータセットで弱く監督される3D客体の感知のための最初のベンチマークを設定したが、ここでWyPRは標準アプローチ方式を乗り越え、今後の作業のための強力な基準線を確立した。

これは自然にお互いを拘束する細分化と探知の二つの課題を共同で扱いながら、弱めに監督された問題設定に対する効果的な表現を学ぶことができるのを示したものであり、自然にお互いを拘束する分割と検出という二つの作業を共同で処理することで、弱めに監督される問題設定に対する効果的な表現を学習することができることを示している。

このフレームワークWyPRは、まず標準3Dディープラーニング技法を使用して、入力からポイントレベルの特徴表現を抽出する。
又、客体分割を得るためには各ポイントを客体クラスに分類する。
WyPRはネットワークのこの部分を訓練させるためにポイントレベルの監督を仮定しないため、学習のために自己監督目標(例:入力の増強された観点にわたる予測が一貫性あるべき)とともに、多重インスタンスラーニング(Multiple-Instance Learning、以下、MIL)を使用する。

その次、客体境界ボックスを得るために選択的検索からインスピレーションを得て幾何学的選択的検索(Geometric Selective Search, GSS)と呼ばれる研究チームの新しい3D客体提案技法を活用する。
各提案は以前のようにMILを使う客体クラスの一つとして分類され、それと類似な独自の監督損失も含まれる。

最後に、WyPRは分割および探知下位システムによって作られた予測にわたって一貫性を適用する。
例えば、検知された境界ボックス内の全てのポイントがボックスレベルの予測と一致するように行う。

結論的に、セマンティック分割結果からも分かるようにWyPRはポイントレベルでラベルが指定された場面を見なくても、場面で客体をかなりよく感知し分割することができるものである。
又、WyPRは基準線及びベンチマーク設定を含め、弱めに監督される3D検知問題の設定を公式化し、この領域で今後の研究に拍車をかけると予想される。

例えば、サービスロボットが高齢者が他の部屋から物を持ってくるのを手伝わなければならない時やAR装置を通じて誰かの食卓に座っている仲間たちを投影する時のような多様な下流作業において空間3D場面の理解は非常に重要である。
WyPRはモデルにとって非常に時間がかかる過程であるポイントレベルで、ラベルが指定された学習過程が必要なく空間3D理解能力を提供する。

このようにWyPRは、訓練データの障壁を低くし、より多くの授業についてより詳しい理解を可能とすることで空間3D場面の理解をより容易に出来るようにして、以前想像した経験が現実に一歩近づけたものである。
FacebookのAI研究チームのこの研究結果は5月13日にアーカイブを通じて発表され、このフレームワークはWyPRプロジェクトのホームページを通じて早いうちにオープンソースとして公開される予定である。

＊本件についてお問い合わせ事項がございましら、当ホームページの「お申込み/お問い合わせ」か下記の連絡先へご連絡お願いします。
部署名：SEOIL E&M 企画マーケティンググループ
TEL ：+82）2-6204-2033
E-mail : pl@seoilenm.com