10-12-TD

10/12일

WGAN을 읽으면서 아직 이해못한 부분들을 이해하기 위하여 GAN 논문의 Loss 함수부분을 중점적으로 읽어보았다.

GAN 논문 요약

• GAN 논문은 Discriminative model $D$ 와 Generative model $G$로 이루어져서 $D$는 생성된 이미지와 원본 이미지를 구별해 내는 방향으로 학습, $G$는 $D$가 생성한 이미지와 원본 이미지를 구별하지 못하도록 학습시키는 것을 목표로 한다. -> 두 모델이 적대적으로 학습하는 방식이기 때문에 Generative Adversarial Nets(생성적 적대 신경망)이라고 이름이 붙었다.
• 최종적으로 생성한 데이터의 분포를 실제 데이터의 분포에 가깝게 만드는것을 목표로 한다.
• Kullback-Leibler divergence(KL divergence)를 기반으로한 Jensen Shannon Divergence(JS divergence)를 사용한다. (KL divergence는 비대칭적이기 때문에 metric으로 사용하기 부적절하다)

WGAN 논문 요약

• 기존 GAN Loss function을 개선하여 GAN의 성능을 끌어올린 논문이다.
• JS divergence는 두 확률분포(생성한 데이터, 실제 데이터의 확률분포)가 겹치지 않을때 상수값 $log2$를 가진다.
  • 이것은 데이터분포간의 거리가 아무리 멀거나 가깝거나 상관없이 겹치지 않으면 상수값을 가지기 때문에 학습이 제대로 이루어지지 않을 가능성이 높다.
  • 기존의 GAN 모델에서는 겹치는 부분을 만들어주기 위해 노이즈를 추가하여 데이터의 분포를 강제적으로 늘려주었다. -> 생성된 이미지가 흐려지거나 하는 문제들이 발생함
• 그래서 WGAN에서는 Earth Mover distance 라는 거리 mertics를 제시하였다.

자세한 부분은 따로 포스트를 할 예정이다.