seoil e&m

Tensor Holographyという新しい方法を使えば、仮想現実、3Dプリンティング。医療イメージング等のためのホログラムを作ることが出来て、スマートフォンで実行できる。現在研究チームはコード・データセットをオープンソースとして公開した状態である。


より良い3D視覚化のための解決策として、デジタル世界のための60年過ぎた伝統技術、ホログラム(Hologram)が挙げられる。

ホログラムはフォルムや感光乾板等の記録媒体にレーザー光等の光の干渉パターンを記録したもので、ある対象物体の3D立体像を再生することで、我々の周辺の3D世界をとてもよく表現してくれる。

ホログラムは位置によって刻一刻変化する視野を提供して、前景と背景に互い違いに焦点を合わせるように焦点の深さを調整できる。
しかしこのプロセスは、スーパーコンピューターの物理シミュレーションを通じて具現するが、これは時間が長くかかるし事実的結果に及べない結果を生成するのが、課題である。

それで、MIT研究チームが人工知能を通じてほぼ瞬間的にホログラムの制作が出来る、新しい深層神経網「Tensor Holography」を開発した。
又、このソリューションはディープラーニング基盤で、とても効率的にスマートフォンで実行できる。

MITの電気工学及びコンピューター工学部(EECS)の研究チームの博士課程の研究院Liang Shi氏は、"既存の消費者等級のハードウェアではリアルタイム3Dホログラムの具現が不可能と考えていた"と言って“我々は日常的に、商業的に利用可能なホログラフィック・ディスプレイが10年以内にでる、とたびたび言ってきたが、この話は数十年前からありました”と述べた。

付け加えて、“研究チームはTensor Holographyと呼ぶこの新しい接近法で、ついに10年という理解しづらい目標に到達できると信じている。
このような発展は、ホログラムがVRやえ3Dプリンティングのような分野へ波及することを加速化出来ます”と強調した。

この研究は、Liang Shiを始めで EECSのWojciech Matusik氏とMITのコンピューター科学人工知能研究所(CSAIL)のBeichen Li氏、前MIT CSAIL研究院Changil Kim氏(現Facebook社)、Petr Kellnhofer氏(現スタンフォード大学)等が共同で参与した。

1900年代の中盤初めて開発された初期のホログラムは、光学的にレーザービームを分割する必要があって、ビームの半分は被写体を照らすことに使われて、残りの半分は光波の位相基準として使われる。結果的に映像が静的であったため、動きの捕捉が出来なく、ハードコッピ―に過ぎないため、複製と共有が困難であった。

コンピューターで生成されたホログラフィーは、光学設定をシミュレーションすることで、このようなチャレンジから避けられる。
しかし、その過程は具現の困難さを伴う。現場の各地点ごとに深さが違うため、全ての地点に同一な作業を適用することは出来ない。

このように物理学基盤のシミュレーションを実行するためにクラスターされたスーパーコンピューターを使用してもホログラフィック1枚当りに何秒～何分までかかることがある。さらに、既存のアルゴリズムは光現実的な精密度を持ってオクルージョン(Occlusion)をモデリングしない。従って、研究チームは違う接近法を選択した。即ち、コンピューターが物理学を自分で学習するようにすることである。

研究チームはコンピューターで作られたホログラフィーを加速化するためにディープラーニングを使用し、リアルタイムホログラムの生成を可能とした。このチームはコンボリューション神経網を設計したが、この処理技法は人間が視覚情報を処理する方法を模倣するために学習可能なTensorを使用することである。しかし、神経網を訓練するためには一般的に3Dホログラムに対して、以前までは存在しなかった大きくて高品質のデータセットが必要だった。

このために研究チームは4,000ペアのコンピューター生成イメージで構成された使用者定義データベースを構築した。各ペアは各ピクセルの色と深さ情報を含んだイメージを、当該ホログラムと一致させた。

又、新しいデータベースでホログラムを具現するために複雑で可変的な形態と色合の場面と、背景から前景まで均一に分布されたピクセルの深さ、オクルージョン処理のための新しい物理基盤計算セットを使用した。そのような接近方式は、事実的な訓練データを生成して、アルゴリズムが作動し始めた。

即ち、各イメージのペアから学習することで、Tensor Networkは自体計算の媒介変数を調整してホログラムの生成能力を成功的に向上させた。完全に最適化されたネットワークは、物理基盤計算よりも早く作動した。その効率性は研究チームの皆を驚かしたようである。

研究チームのWojciech Matusik氏は“我々はそれがどれほど良い性能を発揮するか驚きました”と言って、“ただのミリ秒だけでTensor Holographyは一般的なコンピューター生成イメージによって提供され、多重カメラ設定又はライダー (LiDAR)センサーで計算できる深さ情報を持っているいねーじからホログラムを作ることが出来ました"と述べた。

このような発展はリアルタイム3Dホログラムのパラダイムを変えることである。さらに、Compact Tensor Networkは1MB未満のメモリを要求する。これは“最新モデルのスマートフォンで数十、数百GBを使えることを考えると無視しても良い水準”と強調した。

一方、研究チームの新し神経網のTensor Holographyを使用して、以前のホログラムより画質が顕著に向上された、使用者には現実感と安らかさを加えると予想される。
この研究結果はNature誌に「深層神経網を使用したリアルタイムの事実的な3Dホログラフィー(Towards real-time photorealistic 3D holography with deep neural networks)」とのタイトルで、3月10日に掲載された。

研究チームのホログラム製作のための神経網Tensor Holographyは、現在コードとデータセットをオープンソースとして公開している。

＊本件についてお問い合わせ事項がございましら、当ホームページの「お申込み/お問い合わせ」か下記の連絡先へご連絡お願いします。
部署名：SEOIL E&M 企画マーケティンググループ
TEL ：+82）2-6204-2033
E-mail : pl@seoilenm.com