eDiffi の紹介: NVIDIA の新しい SOTA 画像合成モデル

NVIDIA の公布モデルである eDiffi は、DALLE 2 や Stable Diffusion などの以上のすべてのアプローチよりも見栄えがよく、より正確な画象を生成二维码します。 eDiffi は、送信するテキストをよりよく认知し、よりカスタマイズ已经であり、NVIDIA の以上の論文で見た機能であるペインター ツールを追加します。動画で詳しく...

参考文献

►記事全文を読む:
► Balaji, Y. et al., 2022, eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers,
►プロジェクトページ： ://deepimagination.cc/eDiffi/
►マイ ニュースレター (新しい AI アプリケーションについて毎週メールで説明します!):

ビデオトランスクリプト

0:06のための新しい开始端のアプローチ0:08形象转化成はより良いものを提取します0:10見た目とより正確な画象0:13 Delhi 2 または0:15安定した拡散0:17あなたが送信したテキストを体谅し、 0:19よりカスタマイズ可能性な新機能の追加0:21 Nvidia の以往の論文で見た0:23彼らがあなたが見ることができるペインターツール0:26片言で言えば、これはあなたを代表する言葉で描く0:29いくつかの主題を入力してペイントすることができます0:32ここに表明される用户画像と0:34より多くのものを弄成することができます0:36ランダム画象图片と比較したカスタマイズ画象图片0:39プロンプトに続く转为これは0:41次のレベルでは、きれいにすることができます0:43あなたが持っている正確なイメージを得る0:45恐ろしい素早さを描くだけで心に0:47私でもできることをスケッチする0:50結果はSotaだけじゃない0:52安定した拡散よりも見栄えが良い0:55しかし、それらはより制御或许でもあります0:57もちろん、それは別のユースケースです0:59もう少し作業が有需要で、より明確にする有需要があります1:02このようなドラフトを作为するためのIDを念頭に置いていますが、 1:04それは間違いなく是非常にエキサイティングで、 1:06興味深いのは、それが私がしたかった理由哦でもあります1:08そうではないので、私のチャンネルでカバーします1:11単に優れたモデルであるだけでなく、 1:13はるかに多くの異なるアプローチ1:15ツールではない工作效率の制御1:17残念ながらまだ抓起也许ですが、確かに1:19ところで、それがすぐになることを願っています1:22必ず購読する重要があります1:23チャンネルと Twitter で私をフォローしてください。 1:25この種のビデオが好きなら挨拶してください1:27簡単にアクセスしたい1:30この重く消化系统可能会なニュース1:32複雑な分野別の勝利1:34これをより細かく制御できるようにします1:37新しいモデルは同じ機能を操作しています1:39私たちは見ましたが、確かにモデルは異なっていました1:42形象を绘制する 稿件に導かれる1:44を操作して影響を与えることもできます1:47簡単なスケッチなので、基本的的には1:49これは、入力としての形象とテキストを一味します1:52あなたはそれが了解するように他のことをすることができます1:54ここの形象はこれを活用しています1:56スタイルを開発することによる本事1:58可能性な場合は転送アプローチ2:00イメージのスタイルに影響を与える2:02人物画像を与える转换プロセス2:04あなたの不同のスタイルも2:06テキスト入力これは超クールでただ2:09彼らが語る結果を見てください2:11両方を打ち負かすのは信じられないほどです2:14蒼太流移籍モデルとイメージ2:16単一のアプローチによる结合モデル2:18問題は、Nvidia がどのように2:22より良いものを生み出すモデルを開発する2:23見た目の半身像により、より詳細な制御が可能になります2:26スタイルとイメージ構造の両方2:29だけでなく、より良い解读と2:31あなたが実際に欲しいものを表す2:34あなたのテキストも彼らは明显的なものを変えます2:36原本に 2 つの策略で拡散アーキテクチャ2:39彼らは2つの異なる技巧でテキストをエンコードします2:41ですでに説明したアプローチ2:43クリップおよび T5 と呼ばれるチャネル2:46これは、エンコーダーが运用することを暗示着します2:48テキストを具有するための之前トレーニング済みモデルと2:50に对象を当てたさまざまな埋め込みを制作します2:52彼らが訓練されたときのさまざまな機能2:55動作が異なり、代表着は次のとおりです。 2:57何を比较大化するだけの表現3:00文が実際に意思するのは3:01表达するアルゴリズムまたはマシン3:04入力肖像に関して、彼らはただ3:06クリップの埋め込みも便用する3:08通常的に图像をエンコードして、 3:11モデルはあなたができることを看法できます3:13私の他のビデオで詳細をご覧ください3:14转换成モデルをそのままカバー3:16ほとんどすべてがクリップ上に構築されています。 3:19彼らがより多くのコントロールを持つことを将にするもの3:21压力と処理について3:23テキストだけでなく、テキストと半身像3:25 2番目の変更は3:28の代わりに拡散モデルのカスケード3:31同じものを繰り返し再用する3:33基本、拡散ベースのモデルで行います3:35ここでトレーニングされた实用モデル3:38制成過程の特殊の部份3:39つまり、各モデルはそうする必备はありません3:42常の拡散と同じくらい寻常的である3:44各モデルが集中化する一定要があるため、ノイズ剔除3:46プロセスの对应の位置で3:49彼らはこれを使う3:51彼らが観察したのでアプローチします3:52ノイズ消除モデルはテキストを适用しているようでした3:55その向きを変えるためにさらに多くの埋め込み3:57の始まりに向かう世代相传3:59処理し、それを在使用することがますます少なくなります4:02努力品質と忠実度に主角を当てる4:05これは大自然に仮説を導きます4:07同じノイズ清除モデルを再采取する4:09プロセス整体を通して4:11自動的に4:13さまざまなタスクに对象を当てており、私たちは知っています4:15ゼネラリストは専門家とはかけ離れている4:18すべてのタスクでのレベル4:20 1 人のジェネラリストではなく専門家が认定する4:23はるかに良い結果なので、これが彼らの4:25なぜノイズ擦掉と呼ぶのか4:28専門家とその主な借口4:30品質とパフォーマンスの积极向上4:32残りの忠実さ4:34アーキテクチャは他のものとかなり似ています4:36最終結果をスケーリングするアプローチ4:38ハイを得るために他のモデルと4:40定義 最終イメージ イメージと4:43ビデオ合成视频フィールドはちょうど达到しています4:45比较近クレイジーで、私たちは見ています4:47毎週出てくる影响的な結果4:49次のリリースがとても楽しみです4:51さまざまなアプローチを見るのが越小越きです4:53両方の勇于创新的な取り組み方で4:55問題とまた異なる4:57偉人がかつて言ったユースケース5:01あなたが好きであることを願っています5:04このアプローチの簡単な内容梗概5:06いつもより少しレベルが高い5:08好きなようにやる ほとんどのパーツ 私はすでに5:10绝对多数のビデオでカバーされ、変更されました5:12私はあなたを接待します5:15私の安定した拡散ビデオを見て学びましょう5:17拡散アプローチについてもう少し5:19 nvidia の論文を読んで5:21この不同のアプローチの詳細5:23そしてその実装私はあなたに会います5:26来週は別の素晴らしい論文で5:32美国5:36 【音楽】