このページのリンクから手数料を得る場合があります。
仮想現実についての私の疑問はいつも「でも、それは何ですか？」 のために?” ついに答えが見つかりました。ガウス スプラッティングです。私たちは、物理的な写真、VHS テープ、またはクラウドに保存したすべての写真を通して、常に自分の過去を記録しようと努めてきましたが、個人の歴史を平面メディアで表示することは、通常は画面の裏側から、常に単一の角度からに限定されてきました。しかし、ガウス スプラッティングはそれを変えます。このテクノロジーを使用すると、物体、人、または空間の体積 3D モデルを作成できるため、自分の写真の代わりに、子供のお気に入りのおもちゃをリアルにスキャンして、あらゆる角度から調べることができます。感謝祭のディナーのスナップショットの代わりに、歩き回ることができるダイニング ルームの写実的なジオラマを作成することもできます。
ガウス スプラッティングとは何ですか?
ガウス スプラッティングは、生まれたばかりの技術です。これは、Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler、George Drettakis による 2023 年の研究論文で初めて理論的に導入されました。この論文では、従来のコンピューター グラフィックスで使用される立体三角形の代わりに、「ガウス」と呼ばれる数百万の半透明の塊から 3D モデルを構築する新しいレンダリング技術について詳しく説明しています。計算が完了すると、ガウスはコンピューターによって 2D 平面上に「スプラット」され、スプラット内の任意の視点からどのように見えるかに基づいて配置され、階層化されます。ブロブは半透明であるため、互いにブロックしません。それらは絵画の筆運びのように混ざり合います。
もう 1 つの利点: スプラッティングでは、従来のスキャン方法と比較して、ファイル サイズの詳細レベルがはるかに高くなります。古いスキャンは、三角形で作られた仮想スキンをオブジェクト上に引き伸ばすという幾何学的原理に基づいて動作します。詳細なスキャンの場合、何十億もの三角形になる可能性があり、その結果、PC を圧迫するようなファイル サイズになります。スプラッティングは、厳密な幾何学ではなく数学的確率に基づいています。それぞれの「ブロブ」は、固体のエッジではなく、その場所に色が存在する可能性をコンピューターに伝える小さな雲です。空間内の何百万もの関連領域の位置、色、透明度、およびさまざまな角度からの光をどのように反射するかを保存するだけです。その結果、ファイルは Word 文書に比べて大きくなりますが、携帯電話で操作できないほど大きくはありません。
ガウス スプラッティングは理論から実践へとすぐに移行し、現在ではまともなスマートフォンだけでスプラットを作成してレンダリングできるため、レーザー スキャナーや特殊な機器を必要とする古い方法よりも利用しやすくなりました。
スプラッティングを始めるべき理由
3D スキャンは、バーチャル ツアー用の不動産のマッピングやビデオ ゲーム用のフォトリアルなアセットの作成などですでに専門的に使用されていますが、ガウス スプラッティングは誰でも将来にわたって懐かしさを忘れることができないほどアクセスしやすいものです。
スプラッティングにより、未来の自分 (または子供たち) は、息を呑むようなレベルのリアリズムで現在の生活を「訪れる」ことができます。ある瞬間の正確なレイアウトとボリュームをデジタル的に「ボトル」にして保存できます。もしあなたの両親がこれを持っていたら、子供時代の寝室を歩き回ったり、初めて買った車をあらゆる角度から細部までチェックしたりできるでしょう。
「デジタル保存」と「3D モデリング」というと臨床的に聞こえますが、ガウス スプラットの結果は決して不毛なものではありません。写真は室内の単一角度の光を捉えるのに対し、ガウス スプラットはあらゆる角度からの光の挙動を捉えるため、結果は過去がどのように見えるかではなく、過去がどのようになるかということになります。 感じる のように。説明するのは難しいですが、物体や場所の光の質を捉えると、不可能だとは思っていなかった方法でその物体や場所に触れることができます。それがスパッツの曖昧さとあなた自身の記憶と組み合わさって、他では味わえない、幻想的で夢のような体験を生み出します。 (私はスプラッツが大好きです。)
スプラッティングの始め方
スプラッティングへの参入障壁は、それがどのように機能するかを理解するためのほんの少しの時間です。特殊な LiDAR スキャナーや強力な PC は必要なく、比較的最近のスマートフォンだけで済みます。開始方法は次のとおりです。
アプリを選ぶ: このテクノロジーは新しいものですが、いくつかのアプリによって非常に使いやすくなりました。私が試したのは次の2つです。
-
スキャニバース: iPhone ユーザーにとって優れた Scaniverse は無料で、わずか 1 ～ 2 分でデバイス上で Splat を完全に処理します。
-
Luma 3D キャプチャ: Android と iPhone の両方で利用できる Luma は、最初の Splat を作成する手順を説明するスキャン プロセスを備えており、初心者に最適です。
キャプチャを作成する: キャプチャを作成する際に考慮すべき点がいくつかあります。
-
場所や大きなオブジェクトのスキャンを開始する前に、概念を理解できるように小さくてシンプルなものを選択してください。ただし、ペットはそうではありません。被写体はプロセス中、完全に静止していなければなりません。 （あなたのお子様には例外を設けてください。十分にじっとしていられませんが、ぼやけたお子様のモデルを持っておくことは、将来のあなたにとって非常に重要です。）
-
被写体を、周囲を歩き回るのに十分なスペースがある、均一に照らされた部屋に置きます。
-
「録画」をクリックし、カメラを中心に向けたまま、オブジェクトの周りをゆっくりと安定した円を描くように歩きます。
-
パスを 2 回行います。1 つは見下ろすハイアングルから、もう 1 つはローアングルから見上げるからです。
-
ガウス スプラットは均一性を嫌います。彼らは無地の白い壁に苦労するので、テクスチャの観点から考えてください。また、深さの計算を混乱させる透明なガラスや鏡も避けてください。
バナナを持ってください： Splat をキャプチャしたら、コンピューターが正常に動作できるように休憩を取ります。どれくらいの時間がかかるかは、使用しているアプリ、携帯電話、スキャンの詳細度によって異なります。 Scaniverse は、携帯電話上で Splat を直接処理します。下のギターのような単純なものの場合、iPhone 17 Pro でのレンダリングには約 2 分かかりました。 Luma 3D Capture はクラウドでファイルを処理するため、どれくらいの時間がかかるかは、キューに並んでいる人の数によって異なります。数分かかるかもしれません。数時間かかる場合があります。画像のクックが完了すると、アプリからアラートが送信されます。下のビデオは数時間かかりました。
創作をお楽しみください: 計算が完了したら、スマートフォンの画面またはコンピューターで直接作品を表示できます。ピンチしてズームしたり、ドラッグして回転したりして、スキャンがオブジェクトや空間の雰囲気を完璧に捉えていることに驚かされます。
あなたの作品を共有する: これらのアプリを使用すると、容積メモリを共有する簡単な方法がいくつか提供されます。
-
ビデオ: Splat を通るカメラ パスをプロットして、滑らかな 2D「フライスルー」ビデオをエクスポートできます。以下は、Scaniverse を使用して YouTube で最初にスキャンしたもの (初心者だったので雑です) と、Luma を使用した 2 回目のスキャンです。
-
ウェブリンク: 単純な Web リンクを生成し、両方のアプリを通じて友人や家族にテキスト メッセージを送信できます。これをタップすると、ブラウザでインタラクティブな 3D ビューアが開きます。特別なアプリやアカウント、大量のダウンロードは必要ありません。
Splats の中に入る方法
携帯電話や PC で 3D スキャンを見るのは、ある意味クールですが、仮想現実デバイスでチェックするまでは、これらのものがどれほど驚くべきものであるかを理解することはできません。仮想現実デバイスでは、実際に感謝祭のテーブルの周りを歩き回ったり、身を乗り出してソファの質感を検査したりすることができます。現時点で 2 つの最大のヘッドセットでそれを行う方法は次のとおりです。
これまでのところどう思いますか？
アップルビジョンプロ
強力な Apple Vision Pro は、 建てられた これを行うには。 Apple は OS に「空間シーン」を組み込みました。 2D 写真にわずかな 3D ポップを与えますが、Splat Studio のようなアプリを使用すると、2D 写真からより深い 3D シーンを生成し、設定を変更して改善することができます。しかし、Spatial Media Toolkit を使用すると、より深く学ぶことができます。 2D ビデオを立体的な 3D ビデオに変換できます。しかし、最後のボスは、Luma 3D Capture や Polycam などのアプリを使用して自分で作成した完全な Splat を表示しています。
上記の手順に従えば、作成した Splat ファイル (.ply または .spz) を携帯電話から Vision Pro に直接エクスポートして、Splat の中に入ったり、スキャンしたオブジェクトの周囲を歩き回ったりできるはずです。他のユーザーがアップロードした Splats をチェックすることもできます。
メタクエスト3と3S
メタはガウス スプラット革命を受け入れました。 AirVis のようなアプリ (Vision Pro にもあります) を使用すると、携帯電話で作成した Splat をチェックできます。Quest では 4D Splat も利用できます (詳細は下記を参照)。 Meta はまた、携帯電話の仲介業者を完全に排除するための最初の一歩を踏み出しています。 Hyperscape Capture はまだベータ版のアプリで、Quest の既存のカメラを使用して部屋をスキャンし、空間の 3D バージョンを保存します。 Meta は、間もなくヘッドセットを使用している友人にリンクを送信して、友人が「遊びに来られる」ようになると約束しています。
4D スプラッティングの未来
私がガウス スプラッティングを大喜びしているのと同じように、このテクノロジーは「バージョン 1.0 の時代」にあります。まともなスプラットを撮影するには時間と忍耐が必要で、被写体が完全に静止している必要があり、結果が常に完璧であるとは限りませんが、テクノロジーは十分な速さで進化しているため、次のものがすでに登場しています。ガウスの最先端は 4D スプラッティングです。4 番目の次元は時間です。 4D スプラットは 3D ボリューム ビデオであり、シーンの内側または外側の任意の点から表示できる動きのあるシーンです。単一点から見る立体 3D 映画とは異なり、これらは真のホログラフです。少なくとも、彼らは VR リグの中にいます。
この技術はすでに商業的に使用されており、最も有名なのはエイサップ・ロッキーのミュージックビデオ「ヘリコプター」で、パフォーマーが56台のカメラで撮影され、その映像が4Dスプラットに変換され、あらゆる角度や不可能なカメラの動きを使用できるようになりました。それをチェックしてください：
ヘッドセットでもチェックできる 4D Splat がいくつかあります。 Quest 3 アプリ Gracia には、非常に印象的なボリュームのあるビデオがいくつかあります。 Gracia を使用すると、人々の 4D Splat をストリーミングまたはダウンロードして、拡張現実内の好きな場所に配置できます。次に、「再生」をクリックして、任意の角度から眺めたり、周りを移動したりすることもできます。私が何を言いたいのかを知るには、私がクエスト 3 ヘッドセットからの眺めを映して作ったこのビデオをご覧ください。歌手のエイミー メイが私の前庭で歌を演奏しているところです (間違いなく混乱している隣人がカメオ出演しています)。
おそらく、Gracia のようなコンテンツを作成するための 20 台ほどの GoPro を揃えることはできませんが、消費者が 4D Splat を作成するための実験的なツールがいくつかあります。 KIRI Engine は、Apple のオープンソース ML-Sharp ツールを使用して、標準の一眼ビデオを 4D スプラットに変換します。 Splat Studio のように AI を活用した立体 3D の近似を作成するのではなく、個々のフレームを個別の Splat に変換します。私にとっては専門的すぎて実際にいじることができず、3D は実際の 3D ではなく推測にすぎませんが、スマートフォンのわずかな角度だけでボリュームビデオを撮影する方法がどこかで開発されていなかったら、私は驚くでしょう。
ガウス スプラットは、1960 年代に瞬時にスナップショットを作成することができたと私が想像するのと同じくらい、啓示のようなものです。初期のポラロイドと同様に、これは少し面倒で、結果は粒子が粗く、「夢のような」点描を彷彿とさせることもありますが、過去を新しい方法で見ることの感情的な影響は非常に強いです。それでは、今すぐスプラッティングを始めましょう。未来のあなたはあなたに感謝するでしょう。