BlobGAN: Un GRAN paso para las GAN

BlobGAN permite la manipulación irreal de imágenes, lo que hace que sea muy fácil controlar blobs simples. Todas estas pequeñas manchas representan un objeto, y puedes moverlas o hacerlas más grandes, más pequeñas o incluso eliminarlas, y tendrá el mismo efecto en el objeto que representa en la imagen. ¡Esto es genial!

Como los autores compartieron sus resultados, ¡incluso puede crear imágenes novedosas duplicando blobs, creando imágenes invisibles en el conjunto de datos ! Corríjame si me equivoco, pero creo que es uno de los documentos, si no el primero, que hace que la modificación de imágenes sea tan simple como mover blobs y permitir ediciones que no se vieron en el conjunto de datos de entrenamiento.

¡Y puedes jugar con este en comparación con algunas compañías que todos conocemos! Compartieron su código públicamente y una demostración de Colab que puedes probar de inmediato. Aún más emocionante es cómo funciona BlobGAN. ¡Aprende más en el vídeo!

Ver el vídeo

Referencias

►Lea el artículo completo:
►Epstein, D., Park, T., Zhang, R., Shechtman, E. y Efros, AA, 2022.
BlobGAN: Representaciones de escenas desenredadas espacialmente. preimpresión de arXiv
arXiv:2205.02837.
►Enlace del proyecto:
►Código:
►Demostración de colaboración:
►My Newsletter (¡Una nueva aplicación de IA explicada semanalmente en sus correos electrónicos!):

Transcripción del vídeo

0:00

si crees que el progreso con armas

0:02

se acabo no podrias estar mas equivocado

0:04

aquí está blob gun y este nuevo papel es

0:07

simplemente increíble blob gun permite

0:09

manipulación irreal de imágenes hecha super

0:12

controlar fácilmente todos los blobs simples

0:14

estas pequeñas manchas representan un objeto

0:17

y puedes moverlos para hacerlos

0:19

más grandes más pequeños o incluso eliminarlos y

0:22

tendrá el mismo efecto en el

0:24

objeto que representa en la imagen este

0:26

es tan genial como los autores compartieron en

0:29

sus resultados se puede incluso crear novela

0:31

imágenes duplicando blubs creando

0:34

imágenes invisibles en el conjunto de datos como este

0:37

habitación con dos ventiladores de techo corrígeme si

0:40

me equivoque pero creo que es uno de si

0:42

no es el primer periódico en hacer el

0:44

modificación de imágenes tan simple como

0:46

moviendo gotas alrededor y permitiendo

0:49

ediciones que no se vieron en el entrenamiento

0:51

conjunto de datos y puedes jugar con

0:53

esta en comparación con otras empresas que

0:55

todos saben que compartieron son llamados públicamente

0:58

y una demostración de colaboración que puede probar de inmediato

1:00

aún más emocionante es cómo funciona bloggian

1:03

en el que nos sumergiremos en unos segundos

1:05

publicar un artículo excelente como

1:07

blobgun que los investigadores necesitaban para ejecutar

1:09

muchos experimentos en múltiples máquinas

1:12

los que jugaron con pistolas saben cuanto tiempo

1:14

y doloroso este proceso puede ser más

1:16

su código está disponible en github y

1:18

google collab esto significa que su código tiene

1:21

para ser reproducible curiosamente esto

1:24

es también un punto realmente fuerte de esto

1:26

pesos y sesgos del patrocinador del episodio

1:28

pesos y sesgos cambian mi vida como

1:30

investigador rastrea todo lo que necesitas

1:32

para que su código sea reproducible el

1:34

hiperparámetros la confirmación de github

1:36

métricas de uso de hardware y python

1:38

version dejándote sin dolores de cabeza ok

1:41

algunos todavía pueden aparecer debido a

1:43

plazos o errores, pero ninguno de intentar

1:45

para reproducir experimentos pesos y

1:47

sesgos también es muy útil cuando

1:49

compartir los resultados de su experimento con

1:51

sus colegas una gran herramienta para eso es

1:53

informes que pueden actuar como tableros para

1:56

supervisor pis o gerentes para verificar cómo

1:59

la experimentación va significando más

2:01

tiempo para investigar mientras mejora su

2:03

la calidad de los comentarios, por favor no seas como

2:06

la mayoría de los investigadores que mantienen su código

2:08

secreto e intente usar pesos y sesgos

2:10

con el primer enlace de abajo

2:13

ahora volvamos a nuestra pistola de papel blub

2:16

escena espacialmente desenredada

2:18

representaciones el titulo lo dice ital

2:21

blovkian usa manchas para desenredar

2:23

objetos en una escena, lo que significa que el

2:25

el modelo aprende a asociar cada blob con

2:28

un objeto específico en la escena como un

2:30

ventana de la cama o ventilador de techo una vez entrenado

2:33

puedes mover las manchas y los objetos

2:35

alrededor individualmente hacerlos más grandes o

2:37

más pequeños duplicarlos o incluso eliminarlos

2:40

ellos de la imagen por supuesto el

2:42

Los resultados no son del todo realistas, pero

2:44

como diría una gran persona imagínense

2:47

el potencial de este enfoque dos más

2:49

papeles en la línea

2:51

lo que es aún más genial es que este entrenamiento

2:53

ocurre en un esquema no supervisado este

2:55

significa que no necesita cada uno

2:57

ejemplo de imagen para entrenarlo como lo harías

3:00

en el aprendizaje supervisado un ejemplo rápido

3:02

es que el entrenamiento supervisado requerirá

3:05

que tengas todo lo deseado

3:06

manipulaciones en su imagen que se establecen

3:08

para enseñar blobs para aprender esos

3:10

transformaciones mientras que en no supervisado

3:13

aprendiendo que no necesitas tan extenso

3:15

datos y el modelo aprenderá a lograr

3:17

esta tarea por sí sola asociando faroles

3:20

a los objetos por sí solos sin explícita

3:22

etiquetas entrenamos el modelo con un

3:24

generador y un discriminador en una pistola

3:27

moda simplemente haré un rápido

3:28

descripción general ya que he cubierto las armas en

3:30

numerosos videos antes como siempre en armas

3:33

la responsabilidad del discriminador es

3:35

entrenar al generador para crear realista

3:38

imágenes la parte más importante de la

3:40

la arquitectura es el generador con nuestro

3:42

manchas y una pistola de estilo 2 como decodificador i

3:45

también incluye generadores basados en pistolas de estilo

3:48

en otros videos si tienes curiosidad

3:50

cómo funciona, pero en resumen, primero

3:52

crear nuestros blobs esto se hace tomando

3:55

ruido aleatorio como en la mayoría de los generadores

3:57

redes y mapearlo en blobs usando

4:00

una primera red neuronal esta será

4:02

aprendido durante el entrenamiento, entonces necesita

4:05

haz lo imposible toma este blob

4:07

representación y crear una imagen real

4:10

fuera de eso aquí es donde la magia gan

4:12

sucede desde que todavía estás escuchando

4:14

por favor considere suscribirse a la

4:16

canal y darle me gusta al video significa un

4:18

mucho y apoya mi trabajo gratis también

4:21

tenemos una comunidad llamada learn ai

4:23

juntos en discord para aprender intercambio

4:26

con otros entusiastas de ai estoy convencido

4:28

te encantará allí y me alegraré

4:30

conocerte

4:32

necesitamos una pistola estelar como arquitectura para

4:34

crear nuestras imágenes a partir de estas gotas de

4:37

Por supuesto añadimos la arquitectura a tomar

4:39

los blobs que acabamos de crear como entradas

4:41

en lugar del habitual ruido aleatorio

4:43

luego convertimos nuestro modelo usando el

4:45

discriminador para aprender a generar

4:47

imágenes realistas una vez que tengamos buenas

4:50

suficientes resultados significa que nuestro modelo puede

4:52

asumir la representación de blob en lugar de

4:54

ruido y generar imágenes, pero seguimos

4:57

tiene un problema ¿cómo podemos desenredar

4:59

esas manchas y hacerlas coincidir con objetos

5:02

bueno esta es la belleza de nuestro

5:04

enfoque no supervisado el modelo

5:06

mejorar iterativamente y crear realista

5:08

resultados mientras aprendes a

5:11

representar estas imágenes en forma de

5:13

número fijo de blobs que puedes ver aquí

5:15

cómo los blubs se usan a menudo para representar

5:17

los mismos objetos u objetos muy similares

5:20

en la escena aquí también puedes ver cómo

5:22

los mismos guantes se utilizan para representar

5:24

ya sea una ventana o una pintura que

5:26

tiene mucho sentido igualmente puedes

5:29

ver que la luz es casi siempre

5:31

representado en el fuerte blub de manera similar

5:33

Puedes ver cómo los blubs son a menudo.

5:35

representando las mismas regiones en el

5:37

escena sin duda te lleva a la

5:39

similitudes de imágenes en el conjunto de datos

5:42

utilizado para este experimento y listo esto

5:45

es como blobgan aprende a manipular

5:47

escenas usando un blob muy intuitivo

5:50

representación estoy emocionado de ver la

5:52

realismo de los resultados mejorar manteniendo un

5:54

enfoque similar usando tal técnica

5:57

podríamos diseñar aplicaciones interactivas simples

5:59

para permitir a los diseñadores y a cualquier persona

6:01

manipular imágenes fácilmente, lo cual es bastante

6:04

emocionante, por supuesto, esto fue solo un

6:06

descripción general de este nuevo artículo y yo

6:08

Recomiendo encarecidamente leer su artículo.

6:10

para una mejor comprensión y mucho

6:12

más detalles sobre su enfoque

6:13

implementación y pruebas que hicieron como yo

6:16

dijo anteriormente en el video que también

6:18

compartieron su código públicamente y un color

6:20

demo puedes probar de inmediato todas las

6:22

los enlaces están en la descripción a continuación

6:24

gracias por ver hasta el final y

6:27

te veré la próxima semana con otro

6:28

papel asombroso

[Música]