앞선 포스팅에서 시계열 데이터에서 변하는 지점을 식별하는 알고리즘을 다뤘다면, 이번 포스팅에서는 시계열 데이터의 트렌드를 감지할 수 있는 방법에 대해서 다뤄보겠습니다. 트렌드는 증가/감소/방향없음으로 나타낼 수 있을 것입니다. Kat 패키지에서는 Mann-Kendall test라는 알고리즘을 활용하여, 현재 시계열 데이터가 어떤 트렌드를 가지고 있는지를 감지합니다. Mann-Kendall test는 시계열 기간에 있는 모든 지점에 대해서 이원비교를 수행하고 데이터 지점이 n개라고 한다면 총 비교 수는 n(n-1)/2가 됩니다. 모든 쌍을 대상으로 아래와 같이 indicator function을 활용하여 0인지 1인지 -1인지를 결정합니다. 그 후 indicator function들의 값을 합합니다. 활용..

시계열 데이터에서 change point는 시계열 데이터의 추세나 분포가 변화하는 지점을 뜻합니다. 따라서 변화점을 감지한다는 것은 어느 특정 지점에서 시계열 데이터의 평균이나 분포가 변화하였는지를 감지하는 것입니다. 이러한 시계열 데이터의 변화점을 감지하는 대표적인 알고리즘과 쉽게 적용할 수 있는 Python 라이브러리를 정리해보겠습니다. [CUSUM (cumulative sum) 방법] 해당 방법론은 change point 전,후로 평균이 변화한다고 가정하고 그 변화가 일어난 지점을 찾는 방법입니다. 이번 포스팅에서는 Facebook에서 제공한 시계열 분석 패키지 Kats 패키지를 활용하고자 하며, 해당 패키지에서 변화점을 감지하는 순서는 다음과 같습니다. 1) 초기 initial change poi..

지금까지 다루어 왔던 ARIMA, ARIMAX, SARIMA, SARIMAX를 활용하여, 예측 문제를 해결해보도록 하겠습니다. 먼저 ARIMAX와 SARIMAX를 추정하기 위해선, Univariate 시계열 데이터뿐만 아니라 추가적인 Exogenous 변수가 필요하게 됩니다. 따라서 이번 포스팅에서 활용한 데이터는 기존의 S&P 500 index와 더불어 Nikkei index를 활용하고자 합니다.(이전 포스팅에서와 동일하게 yahoo finance- historical data에서 다운로드 받았습니다.) 최종적으로는, Nikkei index의 return을 예측해보도록 해보겠습니다. 먼저 필요한 Module을 import하고, 함수를 정의하도록 하겠습니다. import pandas as pd impor..

이번 포스팅에서는 지금까지 정리했던 내용과 더불어 ARIMAX, SARIMA, SARIMAX를 활용하여, 예측하는 문제를 해결해보도록 하겠습니다. 예측에 앞서 먼저 ARIMAX, SARIMA, SRIMAX개념에 대해서 간단히 정리해보도록 하겠습니다. [ARIMAX(Autoregressive Integrated Moving Average Exogenous Model)] ARIMAX는 일종의 회귀모형으로 볼 수 있습니다. 다만 AR모형과 MA모형을 동시에 포함되게 됩니다. 일반적인 AR이나 MA모형은 Univariate(단변량) 시계열을 표현하는데 적절한 모형이지만 ARIMAX모형은 추가적인 Explanatory variable을 활요함으로써 다변량 시계열 데이터를 활용하기에 적절한 모형입니다. ARIMAX..

이전 포스팅(direction-f.tistory.com/68)에 이어서, 시계열 모형을 결정하기 위한 Process에 대해서 정리해보도록 하겠습니다. 이전 포스팅에서 원본 시계열 데이터의 비정상성을 차분을 통해서 정상성을 가진 시계열 데이터로 변환했으며, ACF&PACF 그래프를 활용하여, 대략적으로 모형의 차수를 결정해보았습니다. 이번 포스팅에서는 모형을 추정하고, 진단을 통해서 우리가 가지고 있는 데이터의 타당한 모형을 구축해보겠습니다. [Estimation/Diagnosis] 먼저 일차적으로 차분한 데이터를 활용하여 ARMA(1,1)과 ARMA(5,5)를 Fitting 해보겠습니다. LLR Test 결과를 보면 ARMA(5,5)일 때 Likelihood가 더 높음을 알 수 있습니다. model_re..

지난 포스팅(https://direction-f.tistory.com/67)에서 AR(1)모델을 우리는 MA(∞)으로 나타낼 수 있으며, MA(1)모형을 AR(∞)로 표현할 수 있음을 확인했습니다. 이러한 가역성 특징을 활용하여 어떤 시계열 모형울 수립할때, AR모형과 MA모형을 함께 사용하는 것이 효율적인 경우가 많습니다. ARMA모형은 AR모형과 MA모형을 섞어서 일반적으로 아래와 같이 표현됩니다. ARIMA 모형은 ARMA모형과 모양은 거의 유사하지만 우리가 가지고 있는 시계열 데이터에 대해서 차분(differencing)을 하느냐 입니다. ARMA모형은 정상성을 가진 시계열 데이터를 활용하여 모델링을 해야 하기 때문에, 시계열 데이터가 정상성을 가지지 않는다면 차분을 통해 정상 시계열 데이터로 만..