リンク一覧
5 限界と結論
我々は、ディープ イメージ プライアを使用したマット抽出アプローチを導入しました。アルゴリズムは単純で、既存の U-net に数十行のコード変更を加えるだけで済みます。我々のアプローチはトレーニング不要であるため、エンターテイメント ビデオ制作における多様で種類の少ない主題に特に適しています。また、マット抽出問題の性質と解決の点で、本質的に理論的に興味深いものとなるかもしれません。さらに、DL トレーニングに使用するグラウンド トゥルース マットを作成することもできます。多くのマット アルゴリズムと同様に、トライマップまたは同様の制約の形で大まかなガイダンスが想定されます。これは、アーティストがすぐに利用できる半自動ツールを使用して作成できます。
計算コストは、従来の方法 (Levin 他 2008) と同様に、この方法の主な制限です。論文で示されている例の計算時間は、前世代の Nvidia Volta GPU 1 台で数分 (数時間ではありません) で測定されています。このため、このアルゴリズムの使用は、主に映画やビデオなど、大規模な非リアルタイム計算が標準である高品質のオフライン アプリケーションに限定されます。一方、計算では、ディープラーニング フレームワークで提供される複数の GPU のサポートを活用でき、中間結果を視覚化できます。
私たちの方法は、前のフレームから最適化をウォームスタートすることで、ビデオから時間的に一貫したマット抽出を生成できます (付属のビデオを参照)。ただし、私たちの経験では、これにはトライマップがフレーム間でスムーズに動くことが必要です。今後の課題は、トライマップの選択をより許容できる可能性のあるリカレント ネットワーク アーキテクチャまたはその他のネットワーク アーキテクチャを検討することです。この論文では、DIP マット アルゴリズムの紹介に焦点を当てました。アーキテクチャとパラメータの調査は比較的少なく、さらに改善できる可能性があります。
謝辞
GG Heitmann、Peter Hillman、Kathleen Beeler は有益な洞察とフィードバックを提供しました。
参考文献
Adobe 2018。Photoshop で「被写体を選択」を使用してワンクリックで選択する方法。https: //www.photoshopessentials.com
Yagiz Aksoy、Tae-Hyun Oh、Sylvain Paris、Marc Pollefeys、Wojciech Matusik。2018。セマンティックソフトセグメンテーション。ACM Trans. Graph。37、4（2018）。
ゴジラVSキャット2021。https://www.youtube.com/watch?v=nf7GsKFepDg.
Mikhail Erofeev、Yury Gitman、Dmitriy Vatolin、Alexey Fedorov、Jue Wang。2015。ビデオマッティングの知覚的動機付けベンチマーク。British Machine Vision Conference にて。
Yossi Gandelsman、Assaf Shocher、Michal Irani。2019。「Double-DIP」：結合されたディープイメージ事前分布による教師なし画像分解。Comp. Vision and Pattern Recognition に掲載
Kaiming He、Christoph Rhemann、Carsten Rother、Xiaoou Tang、Jian Sun。2011。アルファマットのためのグローバルサンプリング法。Comp. Vision and Pattern Recognition
Kaiming He、Jian Sun、Xiaoou Tang。2010。「ガイド付き画像フィルタリング」。European Conf. Comp. Vision 誌。
GG ハイトマン。2020年。テクニカルアーティスト、Weta Digital からのメッセージ
Diederik P. Kingma と Jimmy Ba。2015。Adam: 確率的最適化の方法。国際会議「Learning Representations」。
Anat Levin、Dani Lischinski、Yair Weiss。2008。「自然な画像マッティングに対するクローズドフォームソリューション」IEEE Trans. PAMI 30、2 (2008)。
Shanchuan Lin、Andrey Ryabtsev、Soumyadip Sengupta、Brian Curless、Steve Seitz、Ira Kemelmacher-Shlizerman。2020年。リアルタイム高解像度背景マッティング。arXiv (2020)。
Y. A Mishima. 1992. 多面体スライスを使用したソフトウェアクロマキーヤー。NICOGRAPH 誌。
Christoph Rhemann、Carsten Rother、Jue Wang、Margrit Gelautz、Pushmeet Kohli、および Pamela Rott。2009。「画像マッティングのための知覚に基づいたオンラインベンチマーク」。Comp. Vision and Pattern Recognition に収録。
Olaf Ronneberger、Philipp Fischer、Thomas Brox。2015。U-Net: バイオメディカル画像セグメンテーションのための畳み込みネットワーク。MICCAI (2015)。
マイク・シーモア。2020年。LEDウォールバーチャルプロダクションの芸術。fxguide.com。
Yanan Sun、Chi-Keung Tang、Yu-Wing Tai。2021。セマンティックイメージマッティング。Comp. Vision and Pattern Recognition.
Dmitry Ulyanov、Andrea Vedaldi、Victor Lempitsky。2018。Deep Image Prior。Comp. Vision and Pattern Recognition.
Jue Wang および Michael F. Cohen。2007。「画像およびビデオのマッティング: 調査」。「トレンドコンピューティング」誌、3、2 (2007) に掲載。
Yong Xu、Baoling Liu、Yuhui Quan、Hui Ji。2022。Deep Matte Priorを使用した教師なしディープ背景マッティング。IEEE Trans. Circuits Syst. Video Technol. (2022)。