LDA는 Classification뿐만 아니라 차원축소에서도 활발히 활용되고 있는 방법론입니다. LDA는 Class가 존재할 때 Class가 최대한 잘 분리되도록 Discriminant direction을 찾아서 Projection을 하는 방법입니다. LDA를 활용한 차원축소의 사상은 같은 Class들의 데이터는 분산이 최소화되고 다른 Class간에는 분산이 최대화 되도록합니다. 다시 말하면 같은 Class끼리는 붙어 있게 다른 Class간에는 멀리 떨어져 있는 Vector를 찾아서 거기에 데이터들을 Projection하는 것입니다. 오른쪽에 그림과 같이 Class가 잘 구분되도록 Projection을 하는 것입니다. 먼저 Class가 2개인 경우에 어떻게 discriminant direction을 도출..

LDA와 Logistic Regression같은 경우는 각 Class에 Input x가 속할 확률을 예측/추정하는 형태로 Classification이 수행됩니다. [Linear Discriminant Analysis, LDA] 여기서 LDA는 $Pr(X|G)$를 톻한 Bayes Rule적용을 통해 X가 주어졌을 때 특정 Class에 속할확률 $Pr(G|X)$를 구하는 문제로 분류문제를 접근합니다. LDA같은 경우는, 관측수가 적고 Input X가 정규분포를 근사할 때 효과적으로 작동하게 됩니다. Bayes Rule적용을 통해 어떻게 사후 확률을 추론하는지를 정리해보도록 하겠습니다. 이 때 각 확률은 아래와 같이 표현하겠습니다. 최종적으로, 아래와 같이 X가 주어졌을 때 특정 Class에 속할확률 $Pr(..