BlobGAN: Một bước LỚN cho GAN

BlobGAN cho phép thao tác hình ảnh không thực, giúp kiểm soát các đốm màu đơn giản một cách siêu dễ dàng. Tất cả các đốm màu nhỏ này đại diện cho một đối tượng và bạn có thể di chuyển chúng xung quanh hoặc làm cho chúng lớn hơn, nhỏ hơn hoặc thậm chí loại bỏ chúng, và nó sẽ có tác dụng tương tự đối với đối tượng mà nó đại diện trong hình ảnh. Điều này thật tuyệt!

Như các tác giả đã chia sẻ trong kết quả của họ, bạn thậm chí có thể tạo ra những hình ảnh mới lạ bằng cách sao chép các đốm màu, tạo ra những hình ảnh không thể nhìn thấy trong tập dữ liệu ! Hãy sửa cho tôi nếu tôi sai, nhưng tôi tin rằng đó là một trong những bài báo đầu tiên để thực hiện việc sửa đổi hình ảnh đơn giản như di chuyển các đốm màu xung quanh và cho phép các chỉnh sửa không được thấy trong tập dữ liệu đào tạo.

Và bạn thực sự có thể chơi với cái này so với một số công ty mà chúng ta đều biết! Họ đã chia sẻ mã của họ một cách công khai và một Bản trình diễn Colab mà bạn có thể thử ngay lập tức. Thú vị hơn nữa là cách thức hoạt động của BlobGAN. Tìm hiểu thêm trong video!

Xem video

Người giới thiệu

►Đọc toàn bộ bài viết:
►Epstein, D., Park, T., Zhang, R., Shechtman, E. và Efros, AA, 2022.
BlobGAN: Trình bày cảnh không giống nhau về mặt không gian. bản in trước arXiv
arXiv: 2205.02837.
► Liên kết dự án:
►Code:
►Colab Demo:
►Bản tin của tôi (Một ứng dụng AI mới được giải thích hàng tuần cho email của bạn!):

Bản ghi video

0:00

nếu bạn nghĩ rằng sự tiến bộ với súng

0:02

đã qua bạn không thể sai hơn

0:04

đây là súng blob và tờ giấy mới này là

0:07

chỉ có khẩu súng đốm màu đáng kinh ngạc cho phép

0:09

thao tác không thực của hình ảnh được thực hiện siêu

0:12

dễ dàng kiểm soát tất cả các đốm màu đơn giản

0:14

những đốm màu nhỏ này đại diện cho một đối tượng

0:17

và bạn có thể di chuyển chúng xung quanh làm cho chúng

0:19

lớn hơn nhỏ hơn hoặc thậm chí loại bỏ chúng và

0:22

nó sẽ có tác dụng tương tự đối với

0:24

đối tượng mà nó đại diện trong hình ảnh này

0:26

thật tuyệt như các tác giả đã chia sẻ trong

0:29

kết quả của họ, bạn thậm chí có thể tạo ra cuốn tiểu thuyết

0:31

hình ảnh bằng cách sao chép blubs tạo

0:34

hình ảnh không nhìn thấy trong tập dữ liệu như thế này

0:37

phòng có hai quạt trần hãy sửa cho tôi nếu

0:40

tôi sai nhưng tôi tin rằng đó là một trong những nếu

0:42

không phải là tờ giấy đầu tiên làm

0:44

sửa đổi hình ảnh đơn giản như

0:46

di chuyển các đốm màu xung quanh và cho phép

0:49

các chỉnh sửa chưa thấy trong khóa đào tạo

0:51

tập dữ liệu và bạn thực sự có thể chơi với

0:53

cái này so với các công ty khác, chúng tôi

0:55

tất cả đều biết chúng được chia sẻ được gọi là công khai

0:58

và một bản demo cộng tác mà bạn có thể thử ngay lập tức

1:00

thú vị hơn nữa là cách hoạt động của các bloggian

1:03

mà chúng ta sẽ đi sâu vào trong vài giây

1:05

để xuất bản một bài báo xuất sắc như

1:07

blobgun mà các nhà nghiên cứu cần để chạy

1:09

nhiều thí nghiệm trên nhiều máy

1:12

những người đã chơi với súng biết bao lâu

1:14

và đau đớn quá trình này có thể được cộng thêm

1:16

mã của họ có sẵn trên github và

1:18

google collab điều này có nghĩa là mã của họ có

1:21

để có thể tái tạo đủ một cách hài hước

1:24

cũng là một điểm mạnh của điều này

1:26

trọng lượng và thành kiến của nhà tài trợ của tập

1:28

trọng lượng và thành kiến thay đổi cuộc sống của tôi như một

1:30

nhà nghiên cứu nó theo dõi mọi thứ bạn cần

1:32

để mã của bạn có thể tái tạo được

1:34

tham số siêu cam kết github

1:36

số liệu sử dụng phần cứng và python

1:38

phiên bản để lại cho bạn mà không đau đầu ok

1:41

một số vẫn có thể xuất hiện vì

1:43

thời hạn hoặc lỗi nhưng không có gì từ việc cố gắng

1:45

để tái tạo trọng lượng thí nghiệm và

1:47

thành kiến cũng rất hữu ích khi

1:49

chia sẻ kết quả thử nghiệm của bạn với

1:51

đồng nghiệp của bạn một công cụ tuyệt vời cho việc đó là

1:53

báo cáo mà họ có thể hoạt động như trang tổng quan

1:56

người giám sát pis hoặc người quản lý để kiểm tra cách thức

1:59

thử nghiệm sẽ có ý nghĩa hơn

2:01

dành thời gian cho nghiên cứu trong khi cải thiện

2:03

chất lượng của phản hồi xin vui lòng không giống như

2:06

hầu hết các nhà nghiên cứu giữ mã của họ

2:08

bí mật và thử sử dụng trọng số và thành kiến

2:10

với liên kết đầu tiên bên dưới

2:13

bây giờ chúng ta hãy quay trở lại khẩu súng blu giấy của chúng ta

2:16

cảnh không gian rời rạc

2:18

đại diện tiêu đề nói nghiêng

2:21

blovkian sử dụng các đốm màu để gỡ rối

2:23

các đối tượng trong một cảnh có nghĩa là

2:25

mô hình học cách liên kết từng đốm màu với

2:28

một đối tượng cụ thể trong cảnh như

2:30

cửa sổ giường hoặc quạt trần đã từng được đào tạo

2:33

bạn có thể di chuyển các đốm màu và đồ vật

2:35

xung quanh riêng lẻ làm cho chúng lớn hơn hoặc

2:37

sao chép chúng nhỏ hơn hoặc thậm chí loại bỏ

2:40

tất nhiên họ từ bức tranh

2:42

kết quả không hoàn toàn thực tế nhưng

2:44

như một người vĩ đại sẽ nói chỉ cần tưởng tượng

2:47

tiềm năng của cách tiếp cận này thêm hai nữa

2:49

giấy tờ xuống dòng

2:51

điều thú vị hơn nữa là khóa đào tạo này

2:53

xảy ra trong một kế hoạch không được giám sát, điều này

2:55

có nghĩa là bạn không cần mọi thứ

2:57

ví dụ hình ảnh để đào tạo nó như bạn muốn

3:00

trong học tập có giám sát, một ví dụ nhanh

3:02

đào tạo có giám sát sẽ yêu cầu

3:05

bạn có tất cả những gì mong muốn

3:06

các thao tác trong hình ảnh của bạn đã được thiết lập

3:08

dạy các đốm màu học những

3:10

biến đổi trong khi không được giám sát

3:13

học bạn không cần điều này sâu rộng

3:15

dữ liệu và mô hình sẽ học cách đạt được

3:17

nhiệm vụ này tự nó liên kết các trò lừa bịp

3:20

đến các đối tượng của riêng nó mà không rõ ràng

3:22

nhãn chúng tôi đào tạo mô hình với

3:24

máy phát điện và một kẻ phân biệt trong súng

3:27

thời trang, tôi chỉ đơn giản là sẽ làm một cách nhanh chóng

3:28

tổng quan vì tôi đã bao gồm súng trong

3:30

nhiều video trước đây như mọi khi về súng

3:33

trách nhiệm của người phân biệt đối xử là

3:35

đào tạo máy phát điện để tạo ra thực tế

3:38

hình ảnh phần quan trọng nhất của

3:40

kiến trúc là máy phát điện với

3:42

đốm màu và một khẩu súng kiểu 2 như bộ giải mã i

3:45

máy phát điện dựa trên súng cũng được bảo hiểm

3:48

trong các video khác nếu bạn tò mò về

3:50

nó hoạt động như thế nào nhưng trong ngắn hạn, chúng tôi đầu tiên

3:52

tạo các đốm màu của chúng tôi, điều này được thực hiện bằng cách lấy

3:55

tiếng ồn ngẫu nhiên như trong hầu hết các máy phát điện

3:57

mạng và ánh xạ nó thành các đốm màu bằng cách sử dụng

4:00

một mạng nơ-ron đầu tiên, đây sẽ là

4:02

đã học trong quá trình đào tạo thì bạn cần phải

4:05

làm điều không thể lấy được đốm màu này

4:07

đại diện và tạo ra một hình ảnh thực tế

4:10

ra khỏi nó đây là nơi phép thuật gan

4:12

xảy ra vì bạn vẫn đang nghe

4:14

vui lòng xem xét đăng ký

4:16

kênh và thích video đó có nghĩa là

4:18

rất nhiều và cũng hỗ trợ công việc của tôi miễn phí

4:21

chúng tôi có một cộng đồng được gọi là học ai

4:23

cùng nhau bất hòa để học hỏi trao đổi

4:26

với những người cùng đam mê ai tôi tin rằng

4:28

bạn sẽ thích nó ở đó và tôi sẽ rất vui

4:30

gặp bạn

4:32

chúng ta cần một khẩu súng sao giống như kiến trúc để

4:34

tạo hình ảnh của chúng tôi từ những đốm màu này

4:37

tất nhiên, chúng tôi đã thêm kiến trúc để sử dụng

4:39

các đốm màu mà chúng tôi vừa tạo làm đầu vào

4:41

thay vì tiếng ồn ngẫu nhiên thông thường

4:43

sau đó chúng tôi chuyển mô hình của mình bằng cách sử dụng

4:45

phân biệt đối xử để học cách tạo ra

4:47

hình ảnh thực tế một khi chúng ta có

4:50

đủ kết quả nó có nghĩa là mô hình của chúng tôi có thể

4:52

đảm nhận đại diện đốm màu thay vì

4:54

nhiễu và tạo ra hình ảnh nhưng chúng tôi vẫn

4:57

có một vấn đề làm thế nào chúng ta có thể gỡ rối

4:59

những đốm màu đó và làm cho chúng khớp với các đối tượng

5:02

đây là vẻ đẹp của chúng tôi

5:04

cách tiếp cận không giám sát mô hình sẽ

5:06

cải tiến lặp đi lặp lại và tạo ra

5:08

kết quả đồng thời học cách

5:11

đại diện cho những hình ảnh này dưới dạng

5:13

số lượng đốm màu cố định bạn có thể thấy ở đây

5:15

cách blubs thường được sử dụng để đại diện

5:17

các đối tượng giống nhau hoặc các đối tượng rất giống nhau

5:20

trong cảnh ở đây, bạn cũng có thể thấy cách

5:22

găng tay giống nhau được sử dụng để đại diện

5:24

cửa sổ hoặc bức tranh

5:26

cũng có ý nghĩa như vậy, bạn có thể

5:29

thấy rằng ánh sáng hầu như luôn luôn

5:31

đại diện trong blub pháo đài tương tự

5:33

bạn có thể thấy các blubs thường xuyên như thế nào

5:35

đại diện cho các khu vực giống nhau trong

5:37

cảnh chắc chắn dẫn bạn đến

5:39

điểm tương đồng của các hình ảnh trong tập dữ liệu

5:42

được sử dụng cho thử nghiệm này và thì đó

5:45

là cách blobgan học cách thao túng

5:47

cảnh sử dụng một đốm màu rất trực quan

5:50

đại diện tôi rất vui khi thấy

5:52

tính hiện thực của kết quả cải thiện việc duy trì một

5:54

cách tiếp cận tương tự bằng cách sử dụng một kỹ thuật như vậy

5:57

chúng tôi có thể thiết kế các ứng dụng tương tác đơn giản

5:59

để cho phép các nhà thiết kế và bất kỳ ai

6:01

thao tác hình ảnh dễ dàng, khá

6:04

thú vị, tất nhiên đây chỉ là một

6:06

tổng quan về bài báo mới này và tôi

6:08

thực sự khuyên bạn nên đọc bài báo của họ

6:10

để hiểu rõ hơn và rất nhiều

6:12

chi tiết hơn về cách tiếp cận của họ

6:13

thực hiện và thử nghiệm họ đã làm như tôi

6:16

đã nói trước đó trong video họ cũng

6:18

đã chia sẻ công khai mã của họ và một màu

6:20

bản demo bạn có thể thử ngay lập tức tất cả

6:22

các liên kết có trong mô tả bên dưới

6:24

cảm ơn bạn đã xem cho đến khi kết thúc và

6:27

tôi sẽ gặp bạn vào tuần tới với một người khác

6:28

giấy tuyệt vời

[Âm nhạc]