DreamFusion: テキストから 3D モデルを生成する AI

文をできるモデルを一年前に見たことがあります。オブジェクトや相应のスタイルなどの相应の构架を学習も見てきました。先週、Meta は、私が取り上げたを公開しました。このモデルを在使用すると、テキスト センテンスからも短いビデオを提取できます。結果はまだ完璧ではありませんが、この 1 年間でこの分野で達成した進歩は驚くべきものです。今週、私たちはさらに一歩前進します。これは、3D モデルを产生するのに相当な文を了解できる Google Research の新しいモデル、DreamFusion です。これは、 またはとして見ることができますが、3D で说明されます。なんてクールなの?!これ之内涼しくすることはできません。しかし、さらに魅力女性的なのは、それがどのように機能するかです。それに飛び込みましょう...

参考文献

►記事全文を読む:
►Poole, B.、Jain, A.、Barron, JT および Mildenhall, B.、2022 年。DreamFusion: 2D 拡散を使用したテキストから 3D へ。 arXiv プレプリント arXiv:2209.14988.
►プロジェクトのウェブサイト:
►マイ ニュースレター (毎週メールで説明される新しい AI アプリケーション!):

ビデオトランスクリプト

0:02私たちは、モデルが取ることができるのを見てきました0:04文と画像图片を形成し、次にその他0:07转换成されたものを实际操作するアプローチ0:09某个の构架を学ぶことによるイメージ0:11オブジェクトや特殊のスタイルのように0:13先週、メタが公開されました0:16私がカバーしたビデオモデルは、 0:18からも短いビデオを提取します0:20結果がそうでないテキスト文0:22まだ完璧ですが、私たちが成し遂げた進歩0:24昨年からのフィールドで0:26信じられないほど今週は別のものを作ります0:28 step forward here's dream Fusion a new 0:32できるGoogleの分析モデル0:34制成するのに极其な文を的理解する0:36それからの3Dモデルは、これを次のように見ることができます0:39ゆっくりとしたまたは安定した拡散ですが、3Dでは0:41私たちがそれをあまり作ることができないのはなんてクールなことでしょう0:44よりクールですが、さらに风采魅力的なのは0:46それがどのように機能するかについて詳しく見ていきましょう0:49初期に数秒間話してください0:51関連考试科目について コンピュータビジョン0:53あなたがいるなら、あなたはそれを聞きたいと思うでしょう0:55このフィールドもこのビデオの I'm 0:57エンコード・ザ・オンラインとの提携1:00コンピュータビジョンの学習プラットフォーム1:01データは最も为重要な个部分の 1 つです1:04创新发展的なコンピューター ビジョンの制作1:06エンコードプラットフォームが持っている想法です1:09作るためにゼロから構築された1:10トレーニングデータの弄成と1:12機械学習モデルのテスト1:14これまでのencordよりも速い1:17これは2つの方式 で曾经にそれを作ります1:19注釈と評価の经营が很容易1:22さまざまなトレーニングデータ1:24一起注釈ツールと1:25自動化機能は 2 番目にエンコードします1:28 QA ワークフロー API へのアクセスを供应します1:31および SDK を用到して、一个人のものを制作できます。 1:33公路化するアクティブ ラーニング パイプライン1:35モデル開発とエンコードの的使用1:38構築に時間を無駄にする必要性はありません1:39独自一人の注釈ツールにより、 1:41適切なデータを要先拿到することに密集する1:44面白そうならあなたのモデル1:46左右の真正のリンクをクリックして购买してください1:48エンコード専用の 28 日間無料トライアル1:51私たちのコミュニティへ1:54あなたが私の仕事の夢を追ってきたなら1:56フュージョンは异常にシンプルで、最基本的に用します1:59私がすでにカバーした2つのモデルNerfsと2:02テキストから半身像へのモデルの1つ2:04イモージェンモデルの場合ですが、あなたは2:07安定した拡散やドリーのようにします2:09あなたが良い人だったかどうか知っているように2:11毕业生で、十年前のビデオを見た2:12 Nerfs は、レンダリングに在使用される一種のモデルです2:15ニューラル ラディアンスの出现による 3D シーン2:18の 1 つまたは複数の人物画像からのフィールド2:21オブジェクトですが、どのように转换成できますか2:23 Nerf モデルの場合、テキストから 3D レンダリング2:26私たちがよく使う人物画像でのみ機能します2:29 imagen 他の AI が画像图片を添加する2:31それが取るものからのバリエーションとその请假理由2:34真接の代わりにそれを行いますか2:36テキストから 3D モデルを自动生成する想法2:38 3D の膨果なデータ セットが这个必要になります。 2:41関連するデータとともに2:43トレーニングするモデルのキャプション2:46これは愈来愈に難しいでしょう2:48代わりに、事先にトレーニングされたテキストを选择して2:50はるかに複雑でないデータの半身像モデル2:53一緒にそれを 3D に適応させて、 2:56 3D データは不必要ありません。 2:57既存の AI のみで訓練された3:00图像を转成する的方式は本当にクールです3:03強力なテクノロジーを再利于できます3:05通訳時のこのような新しいタスク3:07問題は異なるので、開始すると3:09首先からNerfモデルがあります3:12早先のビデオで説明したように、これは3:14モデルのタイプは、予測するために半身像を达成します3:17を做成する各新規ビューのピクセル3:20の用户画像ペアから学習することによる 3D モデル3:22同じオブジェクトで異なる3:24私たちの場合、私たちは始めません3:26形象を之间在使用して、 3:28テキストとサンプルランダムビュー3:30用户画像を转为したい向き3:33基本上的に、私たちは作为しようとしています3:35すべての人物画像を转为することによる 3D モデル3:38カメラがカバーできる将性のある多角度3:40オブジェクトを見回して推測する3:42ピクセル 色 体积密度 光3:45检查などに必要条件なすべて3:48現実的に見えるようにしてから始めます3:50キャプション付きで、小さな調整を追加します3:52それはランダムなカメラに依存します3:54生产したい視点3:56前線を添加したい例3:58ビューに后边ビューを追加します4:01私たちが实用する反対側のキャプション4:03の同じ弯度とカメラ パラメータ4:05一开始のトレーニングされていない Nerf モデルを4:09开始のレンダリングを予測してから4:11イメージ バージョンを转换成する4:13追加されたキャプションと初レンダリング4:17前提に訓練されたテキストを想象力してください4:20さらに説明した半身像モデルへ4:22興味があれば私の形象とビデオで4:24それがどのように行われるかを確認するために、私たちのイメージと4:26モデルはテキスト入力によって導かれます4:28の現在のレンダリングと同様に、 4:30ここにノイズが追加されたオブジェクトを追加します4:33これは肖像と4:36モジュールは、必要条件な入力として受け取ることができます4:38ノイズ生长の十部4:40モデルを选用して导出することを理解是什么しています4:43より高品質の用户用户画像 用户用户画像を追加4:45それを制成してノイズを删去するために使用的されます4:48この結果を安全使用するために手動で追加しました4:51 Nerf モデルを導き、纠正する4:54次のステップでは、すべてをより良いものにします4:55ナーフが图像のどこにあるかを解释する4:57モデルはその需要注意を汇聚する必要的があります4:59次のステップでより良い結果を生み出す5:01 3Dモデルが完整するまでそれを繰り返します5:05是非常に満足してからエクスポートできます5:07このモデルをメッシュ化してシーンで在使用する5:10あなたの選択の、そしてあなたの何人かの前に5:12いいえ、再トレーニングする用得着はありません5:15彼らが言うように人物画像提取モデル5:17論文では、それは単に5:19人物画像空間を予測する凍った評論家5:21編集とvoiraこれがFusionの夢です5:25テキスト入力から 3D レンダリングを转为します5:28もっと深くしたいなら5:30アプローチの认知は5:32神経をカバーする私のビデオを見て、 5:34 Imogen もぜひお読みください。 5:36この某些の詳細については、ペーパー5:39メソッド全体成员を見てくれてありがとう5:41ビデオで、来週お会いしましょう5:44別の素晴らしい紙