시계열 데이터에서 'step down'과 같이 경향성

안녕하세요. 시계열 데이터에서 'step down'과 같이 경향성(trend)이나 평균 수준(level)이 급격하게 변하는 지점을 탐지하는 것은 변화점 탐지(Change Point Detection) 또는 **구조적 변화 탐지(Structural Break Detection)**라고 부릅니다. 이는 매우 중요한 분석 중 하나이며, 다음과 같은 다양한 방법으로 접근할 수 있습니다.

방법들은 간단한 시각적 방법부터 통계적 검정, 머신러닝 알고리즘까지 다양합니다.

1. 시각적/직관적 방법 (가장 먼저 시도해야 할 방법)

가장 간단하면서도 효과적인 방법입니다. 알고리즘을 적용하기 전에 반드시 데이터를 시각화하여 변화가 있는지 눈으로 확인해야 합니다.

기본 시계열 플롯 (Time Series Plot): 데이터를 시간에 따라 그려보면 'step down'과 같은 급격한 변화가 명확히 보일 수 있습니다.

이동 평균(Moving Average) 활용:

단기 이동 평균선(예: 5일)과 장기 이동 평균선(예: 30일)을 함께 그립니다.

'Step down'이 발생하면 단기 이동 평균선이 장기 이동 평균선을 급격하게 아래로 뚫고 내려가는 데드 크로스(Dead Cross) 현상이 뚜렷하게 나타납니다.

1차 차분(First-order Differencing):

데이터의 연속된 값들의 차이(Yt - Yt-1)를 계산합니다.

평상시에는 차분 값이 0 근처에서 움직이지만, 'step down'이 발생한 지점에서는 매우 큰 음수 값(spike)이 나타납니다. 이 스파이크가 발생한 시점이 변화점일 가능성이 높습니다.

2. 통계적 방법 (통계적 유의성을 검증)

이 방법들은 변화점이 통계적으로 유의미한지를 수학적으로 검증합니다.

CUSUM (Cumulative Sum) 알고리즘:

개념: 데이터의 평균에서 벗어나는 편차를 누적하여 합산합니다. 변화가 없는 구간에서는 이 누적합이 0 근처에 머물지만, 평균이 변하는 지점부터 누적합이 한 방향으로 꾸준히 증가하거나 감소합니다. 이 누적합이 특정 임계값(threshold)을 넘으면 변화점으로 탐지합니다.

장점: 작지만 지속적인 변화를 탐지하는 데 효과적입니다.

활용: 제조 공정의 품질 관리(SPC) 등에서 널리 사용됩니다.

Pettitt's Test (페티트 검정):

개념: 시계열 내에 단일 변화점이 있는지를 검정하는 비모수적인(non-parametric) 방법입니다. 시계열을 특정 지점 t를 기준으로 두 그룹으로 나누고, 두 그룹의 분포가 통계적으로 다른지를 검사합니다. 모든 가능한 t에 대해 이 검정을 반복하여 가장 유의미한 변화점을 찾습니다.

장점: 데이터가 특정 분포(예: 정규분포)를 따른다고 가정하지 않아도 됩니다.

Chow Test (차우 검정):

개념: 회귀 분석에서 사용되는 방법으로, 특정 시점을 기준으로 회귀 계수(기울기, 절편)에 구조적 변화가 있었는지를 F-검정을 통해 확인합니다.

절차:

전체 데이터에 대해 하나의 회귀 모델을 적합합니다.

변화가 의심되는 시점을 기준으로 데이터를 둘로 나누어 각각의 데이터에 별도의 회귀 모델을 적합합니다.

1번 모델의 잔차제곱합과 2번 모델들의 잔차제곱합의 합을 비교하여, 두 개의 모델을 쓰는 것이 통계적으로 유의미하게 설명력이 높은지 검정합니다.

단점: 변화점의 위치를 미리 가정해야 합니다.

3. 머신러닝 / 알고리즘 기반 방법 (자동화 및 다중 변화점 탐지)

최근 가장 많이 활용되는 방법으로, 복잡한 패턴이나 여러 개의 변화점을 자동으로 탐지하는 데 강력합니다.

Prophet (Meta/Facebook 개발):

개념: 시계열 예측을 위해 개발된 라이브러리지만, 자동 변화점 탐지(Automatic Changepoint Detection) 기능이 매우 강력합니다. 시계열의 추세(trend)를 조각별 선형 모델(piecewise linear model)로 모델링하여 추세가 변하는 지점을 자동으로 찾아줍니다.

장점: 사용법이 매우 쉽고, 변화점 탐지의 민감도를 changepoint_prior_scale 파라미터로 쉽게 조절할 수 있습니다. 탐지된 변화점을 시각화하여 보여주므로 해석이 용이합니다.

추천: 가장 먼저 시도해볼 만한 강력한 도구입니다.

ruptures 라이브러리 (Python):

개념: 변화점 탐지를 위한 전용 파이썬 라이브러리입니다. 다양한 최신 알고리즘을 구현해 놓았습니다.

주요 알고리즘:

Pelt: 최적의 분할을 찾는 빠르고 정확한 알고리즘. 변화점의 개수를 미리 지정할 필요가 없습니다.

BinSeg (Binary Segmentation): 전체 시계열에서 가장 큰 변화점을 먼저 찾고, 나누어진 각 구간에서 재귀적으로 다음 변화점을 찾는 방식. 계산 속도가 빠릅니다.

Window: 슬라이딩 윈도우를 이용해 변화점을 찾는 방식.

장점: 목적에 맞는 다양한 알고리즘을 선택할 수 있으며, 평균, 분산, 추세 등 어떤 특성이 변하는지를 지정할 수 있습니다.

ruptures 라이브러리 예시 코드 (Python)
Generated python
import numpy as np
import matplotlib.pyplot as plt
import ruptures as rpt

# 1. 샘플 데이터 생성 (100개는 평균 0, 100개는 평균 -5로 step down)
n_samples, n_dims, sigma = 200, 1, 1
n_bkps = 1  # 변화점 개수
signal, bkps = rpt.pw_constant(n_samples, n_dims, n_bkps, noise_std=sigma)
signal[100:] -= 5 # 100번째 지점에서 step down 발생

# 2. 변화점 탐지 알고리즘 적용 (Pelt)
algo = rpt.Pelt(model="rbf").fit(signal) # rbf: 평균의 변화를 탐지
result = algo.predict(pen=3) # pen(penalty) 값으로 민감도 조절

# 3. 결과 시각화
rpt.display(signal, bkps, result)
plt.title('Change Point Detection using Ruptures')
plt.show()

print(f"실제 변화점 위치: {bkps}")
print(f"탐지된 변화점 위치: {result}")

적용 절차 및 선택 가이드

데이터 시각화 (필수): 먼저 데이터를 그려보고 이동 평균, 차분 등을 통해 변화가 의심되는 지점을 육안으로 확인합니다.

간단하고 빠른 탐지: 비즈니스 문제 해결이 목적이라면 Prophet이나 ruptures 라이브러리를 사용하는 것이 가장 효율적입니다. 자동화되어 있고 여러 변화점을 잘 찾아냅니다.

통계적 증명 필요시: 연구나 보고서 등에서 통계적 유의성을 증명해야 한다면 CUSUM, Pettitt's Test 등을 사용하여 p-value와 함께 결과를 제시하는 것이 좋습니다.

결합 사용: 시각적 방법으로 변화를 인지하고, 머신러닝 방법으로 변화점을 탐지한 후, 해당 지점에 대해 통계적 검정을 수행하여 결과를 교차 검증하는 것이 가장 신뢰도 높은 접근 방식입니다.

요약하자면, 'Step down'과 같은 경향성 변화는 변화점 탐지 문제이며, 시각화, 통계적 검정, 머신러닝 알고리즘을 조합하여 효과적으로 탐지할 수 있습니다. 실용적인 목적으로는 Python의 Prophet이나 ruptures 라이브러리를 추천합니다.