점 추정은 모집단의 특성을 나타내는 하나의 값을 추정하는 것이었습니다. 반면 구간 추정(Interval Estimation)은 추정량(Estimator)의 분포를 활용하여 모집단의 특성을 나타내는 값을 포함하리라고 생각되는 구간을 추정하는 것입니다. [구간 추정] 우리가 구간을 추정을 통해 모수 값(모집단의 특성을 나타내는 값)을 포함하는 구간을 추정하는데, 이 구간을 신뢰구간(Confidence Interval)이라고 부릅니다. 신뢰구간은 상한과 하한이 있고 (L,U)형태로 가지게 됩니다. 이 때 L이 -∞이고 U가 ∞라면 모수 값이 어떻게 되더라도 신뢰구간에 포함되게 될 것입니다. 따라서 우리는 상한과 하한값을 제한 할 필요가 있습니다. 이 필요로 인해서 우리가 흔히 들어본 95% 신뢰구간, 90% ..

통계적 추론이란 우리가 가지고 있는 표본으로부터 모집단의 특성을 추론하는 것을 말합니다. 다시 말하면, 통계적 추론은 표본으로부터 모집단의 특성을 유도하고 그 특성이 옳은지 그른지를 판단하는 것입니다. 모집단의 특성을 추정하는 것에는 점 추정(Point Estimiation)과 구간 추정(Interval Estimation)이 있습니다. 점추정은 모집단의 특성을 나타내리라 생각하는 하나의 값을 추정하는 것이고, 구간 추정은 하나의 값만을 추정하는 것이 아니라 모수를 포함하리라 생각하는 적절한 구간을 추정하는 것입니다. [점 추정] 모수를 추정하기 위해 모집단에서 크기가 n인 표본을 추출한다고 가정해보겠습니다. 그렇다면, 표본의 평균은 아래와 같을 것입니다. 이때 표본의 평균은 추정량(estimator)가..

RNN의 경우 예측해야 하는 지점과 이용하는 정보의 시작지점의 차이가 크면, 역전파시 그래디언트의 소실이 커져 효과적으로 학습이 되지 않을 수 있습니다. 이러한 한계를 극복하기 위해서 나온 방법이 LSTM으로 적절하게 과거정보를 잊고 현재정보를 기억하여 그래디언트의 소실을 막으면서 장기간의 데이터를 학습 할 수 있습니다. 따라서, 이번 포스트에서는 LSTM을 활용하여 주가를 한번 예측해보록 하겠습니다. 이번에는 SK이노베이션의 주가정보를 활용하여 예측을 해보겠습니다. 먼저 이전 포스트에서 다뤘던 내용과 같이, 필요한 모듈 및 데이터를 입력하고, 지정한 Seqeunce로 학습 및 예측에 활용할 데이터를 만듭니다. import pandas as pd import numpy as np import torch ..

주어진 표본으로부터 모집단의 특성을 파악하는 것을 "추론"이라고 하며 어떻게 보면 통계학의 가장 중심이 되는 것이라고 볼 수 있습니다. 이 때, 모집단의 특성을 수치적으로 표현하는 것을 모수(Parameter)라고 합니다. 이러한 모수를 추정하기 위해서는 모집단 전체를 다 조사해야합니다. 하지만 모집단을 전부 조사하는 것은 일반적으로 어려운 일입니다. 따라서 제한된 표본으로부터 표본에서 적절한 양을 계산하여 활용하게 되는데, 이를 통계량(Statistic)이라고 부릅니다. 통계량은 표본의 관측값들에 의해 정의되는 양을 뜻합니다. 그렇다면 통계량은 모집단이 동일하더라도 표본이 바뀔때마다 바뀌는 양이 되게 됩니다. 그러므로 여러번의 표본을 뽑으면 통계량도 특정 확률분포를 갖게 됩니다. 이때 이 확률분포를 표..

우리가 표본을 추출하였을 때, 정규분포를 따른다고 가정이 맞는지 잘 못 됐는지 어떻게 판단 할 수 있을까요? 해당 가정을 쉽게 추정해 볼 수 있는 방법으로 정규점수그림 또는 정규확률그림이란 것이 있습니다. [정규점수] 정규점수라는 것은 표준정규분포(평균 0, 표준편차 1)에서의 이상적인 표본을 말합니다. 다시 말하면, 표준정규분포의 확률밀도함수를 등확률 구간으로 나누어 주는 경계값(z값)을 의미합니다. 만약 우리가 표본이 있다고 가정한다면, 평균 근처에 값들의 빈도가 높아야 정규분포에 가깝다고 판단 할 수 있을 것입니다. 위에 그림을 보시면 초록색 줄 사이에 값들은 등확률입니다. 즉 줄 사이에 넓이들이 같습니다. 만약 우리가 9개의 표본을 가지고 있다면, 초록색 줄과 x축이 만나는 점(여기가 정규점수 입..

이번 포스팅에서는 시계열 데이터에 Convolutional neural network을 적용하여 주가 방향을 예측해보도록 하겠습니다. Convolutional neural network은 주로 이미지 분석에 많이 활용되지만, 간간히 주가를 예측하기 위해도 활용되는 것 같습니다. Research paper들을 참조하여 모델을 구성한 것은 아니고, CNN을 활용해보는 정도에 의의를 두고자 합니다. 향후 시간을 내서 paper들을 읽고 체계적으로 구성해보는 것도 좋을 것 같습니다. 이번에는 삼성전자 대신, SKT주가를 활용하고자 합니다. 좀 더 긴 기간의 가격 정보를 활용하고자 하는데, 삼성전자의 경우 액면분할이 이루어진지 꽤 최근이라고 볼 수 있기 때문에 긴 기간의 주가를 활용하기는 부적절하다고 판단했습니다..