분류 전체보기(104)
-
경영과학 - 선형계획법(Linear Programming)
선형계획법은 현재 최적화 방법론중에서 가장 대중적인 방법이라고 할 수 있습니다. 우리가 선택해야 하는 대안(의사결정 변수)들을 선형의 등식이나 부등식으로 표현하여 최적화를 수행하는 것을 뜻합니다. 선형계획법은 유한한 자원을 효율적으로 분배할 때도 많이 활용되며 예시적으로 장난감회사에서 매출과 비용을 고려할 때 A장난감을 많이 생산할지 B장난감을 많이 생산할지 등과 같은 상황에 대한 답을 찾는 경우에도 적용할 수 있습니다. 선형계획법은 크게 의사결정변수(Decision Variable), 목적함수(Objective Function), 제약조건(Constraints), 부호제약(Sign Restrictions)로 이루어져 있습니다. 해당 블로그에서는 장난감 회사의 생산문제를 기반으로 위에서 언급한 의사결정변..
2022.05.19 -
경영과학 - Google OR-tools
일반적으로 경영과학이라고 하는 분야는 계량적 접근법 활용하여 의사결정을 하는 방법론을 총칭하는 것입니다. 애매한 정의와 같이 경영과학이란 분야는 광범위한 주제들을 포함하고 있습니다. 실제로 Management Science, Operations Research 서적을 보면 Linear Programming 부터 Integer Programmin, Dynamic Programming, Stochastinc Process, Simulation 등 다양한 내용을 다루고 있습니다. 이렇게 다양한 방법론 중 하나를 선택하여 깊게 들어가는 것도 어렵지만 중요한 일임에는 틀림이 없지만 "경영과학"이라는 용어에서 느낄 수 있듯이 경영과학에서 말하는 방법론들을 실제 의사결정에 활용하는 것이 더 의미가 있다고 생각합니다...
2022.05.09 -
Decision Tree - Boosting
Boosting은 용어에서 느껴지듯이 점점 강력한(예측력, 정확도가 높은) 모델을 만들어가는 알고리즘입니다. Weak learner에서 Strong learner로 발전하게 되는데, parallel하게 모형을 학습하여 조합하는 bagging과 다르게 sequential하게 만들어진 모델들을 조합하는 방식입니다. Boosting 모델 중에서 gradient boosting model - 2tree을 예시로 Boosting concept를 정리해보겠습니다. 1) 실제값에 적합, $y=f_1(x)$ 2) 첫번째 모형의 오차에 적합, $y-f_1(x) = f_2(x)$ 3) 최종 예측값 결정, $\widehat{y} = f_1(x) + f_2(x)$ 위에서 확인하는 것처럼, 첫번째 모형의 결과가 두번째 모형에도..
2022.01.02 -
Decision Tree - Bagging
Bagging은 Bootstrap방법을 활용하는 방법으로, Decision Tree 모델의 최적의 성능을 이끌어내는데 많은 기여를 하고 있는 개념입니다. 앞서 정리한 것 처럼 Decision Tree는 상당히 과적합 문제에 취약하게 됩니다. Bagging을 활용하면 이와 같은 문제점을 다소 감소시킬 수 있습니다. Bagging은 Bootstrap aggregation의 약자인데, 이름에서 보는 것과 같이 Bootstrpa을 통해 Sample들을 만들고 여러 모델들의 결과 값을 집계하는 것입니다. 이를 통해 결과값의 안정성 확보를 도모합니다. 예시적으로, n개의 독립된 Sample들 $Z_1$,...,$Z_n$이 있다고 했을 때 이 Sample들의 평균의 Varicance는 $\sigma^2/n$이 되면서..
2021.10.19 -
Decision Tree Model
지난 포스팅(https://direction-f.tistory.com/98)에서 Regression Tree와 Classification Tree에 대한 개념을 정리하였는데, 이 개념을 바탕으로 현재 가장 활발하게 적용되고 있는 알고리즘은 CART(Classification And Regression Tree)알고리즘입니다. CART알고리즘의 대표적인 특징은 Binary 노드로 분기된다는 것이고, 이 알고리즘은 차후 Random Forest나 Bagging/Bossting을 적용한 알고리즘에도 활용됩니다. 지난 포스팅에서 정리했던것과 같이 Regression Tree는 실제값과 예측값이 최소화 되도록, Classfication Tree는 불순도를 최소화하도록 구역을 나누되, Classification T..
2021.10.15 -
Tree-Based Model
Tree-Based Model은 Linear/Logistic Regression과 더불어 실제 실무에서 가장 많이 활용되고 있는 알고리즘 중에 하나입니다. Tree-Based Model의 장점은 Linear/Logistic Regression처럼 해석이 용이하며, Bagging/Boosting 방법을 통해서 성능 또한 좋기 때문입니다. Tree-Based Model은 Feature space를 나누어 구분합니다. 예를 들어 키 170cm 이상, 170cm 미만으로 나누는 것과 유사합니다. 정말 간단한 Tree-Base Model을 수식으로 표현하면 아래와 같습니다. $X_1$, $X_2$ 두개의 feature가 있다고 가정하면, $X_1$, $X_2$의 조건에 따라 Identiy function $I$가..
2021.10.06