AIが3Dオブジェクトを生成するDreamFusionとは？

DreamFusionは、Google Researchとカリフォルニア大学の研究チームによって開発された、テキストから3Dオブジェクトを生成するAIシステムです。
この技術は、テキストプロンプトを入力するだけで3Dオブジェクトを生成することができます。

DreamFusionの仕組み

テキストプロンプトから3Dオブジェクトを生成するために、以下の技術が使われています。

Imagen	テキストから画像を生成するためのモデルで、DreamFusionではこのモデルを使用して2D画像を生成します。
NeRF (Neural Radiance Fields)	複数の視点から撮影された画像（Imagenによって生成された2D画像）を基に3Dシーンを生成する技術です。ニューラル・ラディアンス・フィールドという技術を利用して、3Dオブジェクトを作成します。
Score Distillation Sampling (SDS)	この新しいアプローチでは、損失関数を最適化することにより、拡散モデルからサンプルを生成し、3D空間内での最適化を実現します。

DreamFusionの特徴

DreamFusionの特徴として以下が挙げられます。

①質感を持つ3D生成

単なる3D形状だけでなく、テクスチャの鮮明さや形状の精度、色彩情報などが向上することで、よりリアルな質感を持つ3Dオブジェクトが生成可能になります。

②テキストによる修正

生成された3Dオブジェクトに対して新たなテキストを入力することで、モデルを修正・編集することが可能です。

③応用が効く

DreamFusionで生成された3Dモデルは、AR/VR、ゲーム、映像コンテンツなど、さまざまな分野で利用可能です。

DreamFusionで3Dアセット作成している記事

DreamFusionを使いテキストから3D生成の参考になる記事を紹介します。

『テキストから3D生成AI「DreamFusion」とは？仕組みをわかりやすく解説』

DreamFusion以外のAIで3D生成ツール

DreamFusion以外のAIで3D生成ツールを紹介いたします。

Hunyuan3Dについて

新たな3Dモデル生成AI「Hunyuan3D」をローカルで動作させてみた ～形状はいい感じに

【ローカルAI】Hunyuan3D 2.0を使ってみた話【3DAI生成】

Rodinについて

AIで簡単に3Dデータを出力！Rodinを解説

急速に進む3D生成の技術

AIによる3D生成技術の急速な進化により、高品質な3Dモデルをプロンプトだけで短時間で作成できる可能性が広がっており、今後さらなる発展が期待されているので、定期的にウォッチしていきたいと思います。