[PAPER REVIEW] Score-Based Generative Modeling through Stochastic Differential Equations

Background

생성 모델

• noise로부터 데이터를 생성하는 모델
• 2가지 성공적인 생성모델 분류
  • 노이즈 수를 증가해가면서 학습 데이터를 점차 변형해가고, 이 변형을 reverse하게 학습하여 데이터의 생성모델을 생성
  • score matching with Langevin dynamics(SMLD): 각 노이즈 scale에서 score를 추정하고 Langevin dynamics를 사용해서 생성 동안 노이즈 scale을 감소시키면서 샘플링

Ordinary Differential Equations (ODE)

• 상미분 방정식: 어떤 함수가 방정식을 만족하는가?에 대해 ODE를 푸는 것

---

Summary

• SDE: 복잡한 데이터 분산에 천천히 노이즈를 추가해가면서 알려진 이전 분산으로 변환
• reverse-time SDE: 점차 노이즈를 제거해가면서 이전 분산을 다시 데이터 분산으로 변환, 시간 기반 gradient 필드(점수)에 의존하여 데이터 분산을 교란시킴
• neural network 사용해서 정확하게 score 추정
• numerial SDE solver 사용: 샘플 생성
• predictor-corrector framework: ODE(동일한 SDE에서 발생한 샘플)에서 발생한 에러 수집

---

Approach

Overview of score-based generative modeling using SDEs

score matching with Langevin dynamics(SMLD)과 DDPM(Denoising Diffusion Probabilistic Modeling) 참고하여 score-based 생성모델 제안

• score matching with Langevin dynamics(SMLD): 각 노이즈 scale에서 score를 추정하고 Langevin dynamics를 사용해서 생성 동안 노이즈 scale을 감소시키면서 샘플링
• DDPM(Denoising Diffusion Probabilistic Modeling): 각 noise scale에서 score 계산

---

Main Results

• unconditional image generation에서 CIFAR-10 데이터셋 대상으로 Inception score 9.89, FID 2.20, likelihood 2.99 달성
• score-based 생성 모델로서 처음으로 CelebA-HQ 1024 x 1024 이미지에서 고해상도 이미지 생성함

---

Discussion

CONTRIBUTION

• score-based 생성모델에서 inverse 문제 해결

LIMITATION

• 새로운 샘플링 알고리즘을 제안했지만, 동일한 데이터셋 대상으로 여전히 GAN보다 샘플링이 느림 → score-based 생성모델돠 GAN과 같이 빠른 샘플링 방법을 결합하는 것과 같은 개선 필요
• score function에 접근할 수 있으면 사용할 수 있는 sampler의 범위가 넓어지면서 사용할 수 있는 hyper-parameter가 많아졌는데, hyper-parameter를 자동으로 선택하고 조정하는 방법을 개선할 수 있을 것