[PAPER REVIEW] Classifier-Free Diffusion Guidance

BACKGROUND

Classifier Guidance (Dhariwal & Nichol, 2021)

• 추가로 학습한 classifier를 사용하여 diffusion model의 샘플 품질을 가속하는 기술
• diffusion model의 score 추정과 image classifier의 gradient를 결합
• diffusion model과 분리하여 image classifier를 학습
• conditional diffusion model에서 mode coverage와 sample fidelity 사이 trade-off를 달성하는 방안으로 소개됨

---

MOTIVATION

Classifier가 없이도 guidance가 이루어질 수 있는가? - classifier guidance 한계

• Classifier guidance는 추가 classifier를 사용하는데, 이 classifier는 noisy data로 학습이 되어야 하기 때문에 pre-train을 할 수 없어서 학습 과정을 복잡하게 함
• classifier guidance는 샘플링 중 classifier gradient와 섞어서 score 추정을 하는데, 이 classifier-guided diffusion sampling은 gradient 기반 적대적 공격의 image classifier로 혼돈이 되어 잘못 해석될 수 있음
• classifier guidance가 classifier-based metric에 성공적인가? 잘 수행되는게 맞는가?

---

DESIGN

Classifier-free guidance

• conditional diffusion model과 unconditional diffusion model을 함께 학습
• conditional diffusion model과 unconditional diffusion model에서의 추정된 점수를 결합하여 샘플 품질과 다양성 사이 trade-off 달성(classifier guidance를 사용했을 때와 비슷하게)

---

CONCLUSION

CONTRIBUTION

• Classifier-Free Guidance
  • classifier가 없이 guidance만으로도 완전한 생성모델 기능 수행 가능함을 보임
  • 샘플 품질을 높이면서 샘플 다양성을 감소시키는 (trade-off) 방법 제안
  • classifier-free guidance 효과: diffusion model에서 classifier gradient를 사용하지 않으면서 classifier 기반 샘플 품질 지표를 최대화할 수 있음을 보임