Discriminative Learning, Generative Learning이란?

https://learnopencv.com/generative-and-discriminative-models/

 

Discriminative Learning

입력(Data) X가 주어지면 출력(Label) Y가 나타날 확률 p(X|Y)를 직접 반환

그림과 같이 Discision Boundary를 잘 학습하는 것이 목표

Supervised Learning

대표적인 예: Linear Regression, Logistic Regression 등

데이터가 충분할 경우 좋은 성능을 보이지만 데이터를 구분하는 것이 목표이므로 데이터의 본질을 파악하기 힘들다.

 

Generative Learning

데이터 X가 생성되면서 p(Y), p(X|Y)으로 학습하고, Bayesian을 사용해 p(Y|X)값을 간접적으로 도출

그림과 같이 Joint Probability Distribution (p(X, Y))를 잘 생성하는 것이 목표

p(X, Y) = p(X|Y) * p(Y)

             = p(Y|X) * p(X)

p(Y|X) =  p(X|Y) * p(Y) / p(X)

Unsupervised Learning

대표적인 예: Gaussian Mixture Model(GMM), Generative Adversarial Network(GAN) 등
데이터가 적어도 학습이 잘 되며, 데이터의 본질을 파악하기 쉽다. 하지만 많은 데이터가 있을 경우 discriminative learning보다 성능이 떨어질 수 있다.

 

Data distribution

https://ratsgo.github.io/generative%20model/2017/12/17/compare/

Data distribution이란 위의 그림과 같이 Data가 가지는 feature를 x1, x2, ... 등으로 표현할 때 각 feature의 정도라고 볼 수 있다. 

 

https://ratsgo.github.io/generative%20model/2017/12/17/compare/

기존 Generative model은 이러한 Distribution을 학습하여 새로운 Data를 생성하는 것이 목표이다. 유사하게 Generative learning 또한 이러한 distribution을 학습하여 task를 수행한다. 

 

Generative Learning vs Discriminatve Learning

medium.com

https://ratsgo.github.io/generative%20model/2017/12/17/compare/

 

참고: https://ratsgo.github.io/generative%20model/2017/12/17/compare/

https://songsite123.tistory.com/88

https://blog.naver.com/2feelus/221078340870