머신러닝(26)
-
Subset Selection
Subset Selection은 우리가 활용할 수 있는 Dependant variable들이 많으나 어떤 것이 유의한 변수인지 결정하기 어려울 때 활용할만한 변수를 선정하기 위해 적용하는 방법입니다. 많이 활용되고 있는 방법으로 1) Best Subset Selection 2) Stepwise Selection이 있습니다. 이러한 기계적인 방법이 변수를 선정하는데 최선의 방법이라고 보긴 어렵겠지만, 쉽게 활용할 수 있는 방법입니다. [Best Subset Selection] Best Subset Selection은 가능한 모든 모델을 고려하여 가장 좋은 모델을 선택하는 방법입니다. 가장 좋은 모델을 선택하는 Step은 아래와 같습니다. Step1) 변수의 사이즈 k=0,1,2,..,p에 대하여 각 변수 ..
2021.01.13 -
선형 모형(Linear Methods for Regression)
선형 회귀 분석은 머신러닝에서 가장 기본적인 모형 중에 하나입니다. 계량경제학에서는 선형회귀모형의 해석과 통계적 해석에 더 초점을 맞추고 있다면, 머신러닝 영역에서는 Best parameter를 추정하고 예측력을 검증하는데 좀 더 집중을 하는 것이 차이점입니다. Computer 성능이 무서울 정도로 빠르게 발전하면서, 선형 모형을 대체하는 복잡한 모형들이 많이 활용되고 있지만 여전히 선형 모형은 Sample이 적을 때, 그리고 Noise가 없는 데이터일 때 강력한 성능을 발휘하고 있으며, 종종 복잡한 모델보다 성능이 뛰어난 모습을 보이기도 합니다. 선형 회귀 모형은 Input $X_1$,$X_2$,..., $X_p$ 일 때 $E(X|Y)$의 함수를 추정하는 것입니다. 일반적인 선형회귀 모형 형식은 아래와..
2021.01.10