3편까지는 정형 데이터, 즉 관측값 사이에 순서가 없는 데이터를 다뤘다. 홀텔링 이론이든 회귀 기반 모델이든, 한 행의 데이터를 다른 행과 독립인 표본으로 보고 그 표본이 정상 분포에서 나올 법한지를 물었다. 시계열 데이터는 다르다. 순서 자체가 정보이므로, 값 하나만 놓고 보면 정상 범위 안에 있어도 그 값이 나온 시점의 맥락과 어긋나면 이상일 수 있고, 값 하나하나는 멀쩡해도 그 값들이 만드는 패턴이 이전에 본 적 없는 모양이면 이상일 수 있다. 이 글은 시계열 이상탐지 방법론을 정리한 논문 “Dive into Time-Series Anomaly Detection: A Decade Review”가 제시하는 프로세스 중심 분류체계를 따라, 1~3편에서 다룬 통계 기법이 이 지도 위 어디에 있는지 다시 확인하고, 시계열에만 있는 기법을 정리한다.
시계열 데이터에 이상탐지를 적용하려는 개발자와 데이터 엔지니어를 대상으로 하며, 이 글을 읽고 나면 거리 기반·밀도 기반·예측 기반 세 갈래가 각각 어떤 메커니즘으로 이상을 판정하는지, 문제 상황에 따라 어떤 갈래를 먼저 시도할지 판단할 수 있다. 세 갈래를 대표하는 기법(불일치 기반 Matrix Profile, 트리 기반 Isolation Forest, 예측 오차 기반 지수평활)은 같은 데이터로 직접 비교한다. 예제 코드는 github.com/mimul/anomaly_detection의 series04/에 있다.
시계열 데이터에서 이상은 무엇을 뜻하는가, 점 이상과 맥락적 이상과 집단적 이상
논문은 시계열의 이상을 세 가지로 정의한다. 점 이상(point anomaly)은 데이터 포인트 하나가 나머지 데이터 대비 뚜렷하게 벗어난 경우로, 값 자체가 정상 범위 밖에 있다. 맥락적 이상(contextual anomaly)은 값 자체는 전역 분포의 정상 범위 안에 있지만, 특정 맥락(예: 시간대나 국소 구간)을 기준으로 보면 그 범위를 벗어난다. 집단적 이상(collective anomaly)은 개별 값은 모두 정상 범위 안에 있어도, 그 값들이 만드는 부분열이 이전에 관측된 적 없는 패턴을 그린다. 논문은 점 이상과 맥락적 이상을 값 하나 단위로 판정한다는 뜻에서 점 기반(point-based) 이상으로, 집단적 이상을 부분열 단위로 판정한다는 뜻에서 시퀀스 기반(sequence-based) 이상으로 묶는다.
세 유형을 한 데이터에서 눈으로 비교할 수 있도록, 계절성과 추세가 있는 합성 시계열을 만들었다. 정상 학습 구간 300개 시점과, 점·맥락적·집단적 이상을 하나씩 심은 추론 구간 400개 시점으로 나눈다. 추론 구간의 상대 시점 100에는 순간적으로 값이 8만큼 튀는 점 이상을, 220에는 전역 범위 안에 있지만 마루 근처의 높은 값이어야 할 위상에 골 수준의 값을 끼워 넣은 맥락적 이상을, 320~340 구간에는 계절 패턴이 사라지고 평탄한 잡음으로 바뀌는 집단적 이상을 심었다.
프로세스 중심 분류체계, 거리 기반과 밀도 기반과 예측 기반
논문은 알고리즘을 다루는 데이터의 형태나 산출물이 아니라, 이상을 판정하는 처리 과정 자체로 분류한다. 이런 기준을 프로세스 중심(process-centric) 분류체계라 부르고, 크게 세 갈래로 나눈다.
거리 기반(distance-based)은 시계열 값을 가공하지 않고 그대로 쓴다. 두 부분열 사이의 거리(유클리드 거리, z-정규화 거리, DTW 등)를 정의하고, 그 거리가 큰 부분열을 이상으로 본다. 밀도 기반(density-based)은 시계열을 그래프, 트리, 히스토그램, 문법 규칙 같은 더 복잡한 구조로 표현한 다음, 그 구조 위에서 점이나 부분열의 밀도(또는 고립도)를 측정한다. 예측 기반(prediction-based)은 정상 데이터(또는 이상이 거의 없는 데이터)로 모델을 학습해 다음 값을 예측하거나 입력을 복원하고, 그 예측·복원과 실제값의 오차를 이상 점수로 쓴다.
1~3편에서 다룬 기법이 이 분류체계 어디에 속하는지
| 편 | 기법 | 분류체계에서의 위치 |
| 1편 | SVM(지도학습) | 밀도 기반, 분포 기반(One-Class SVM 계열) |
| 2편 | 홀텔링 이론, 마할라노비스-다구치법 | 밀도 기반, 분포 기반 |
| 2편 | 혼합정규분포모델(GMM) | 밀도 기반, 인코딩 기반 |
| 2편 | 비모수적 kNN | 거리 기반, 근접 기반 |
| 3편 | 선형회귀, 리지회귀, 감마회귀, 베이지안 회귀 | 예측 기반, 예측 오차 기반 |
1~3편에서 다룬 기법은 모두 정형 데이터, 즉 관측값 사이에 시간 순서가 없는 데이터를 대상으로 했다. 그런데 위 표에서 보듯 이 기법들이 쓰는 메커니즘(거리, 분포, 고립도, 예측 오차)은 시계열에도 그대로 적용된다. 다만 시계열은 순서가 있는 데이터이므로, 값 하나가 아니라 부분열을 단위로 거리를 재고 밀도를 추정하고 예측을 한다는 점이 다르다. 아래에서는 거리 기반과 밀도 기반 중 아직 다루지 않은 하위 갈래, 그리고 예측 기반 중 시계열에 특화된 모델을 순서대로 살펴본다.
거리 기반 중 시계열에만 있는 기법, 불일치 기반과 클러스터링 기반
2편의 kNN은 부분열이 아니라 관측값 하나하나를 이웃과 비교하는 근접 기반(proximity-based) 방법이었다. 시계열 이상탐지에는 근접 기반과 별도로, 부분열 단위로 이웃 거리를 재는 불일치 기반(discord-based)과, 부분열 공간을 몇 개의 군집으로 나눠 각 부분열이 그 군집에 얼마나 잘 들어맞는지 보는 클러스터링 기반(clustering-based)이 있다.
불일치(discord)는 길이 ℓ인 모든 부분열 중 자신의 최근접 이웃까지의 거리가 가장 큰 부분열이다. 이 최근접 이웃 거리를 부분열 시작 위치마다 나열한 시계열이 Matrix Profile이고, discord는 Matrix Profile에서 값이 가장 큰 지점이다.
길이 인 부분열 을 z-정규화하면
두 부분열 사이의 z-정규화 거리는 다음과 같고,
Matrix Profile은 자기 자신과 겹치는 구간(exclusion zone)을 제외한 최근접 이웃까지의 거리를 부분열마다 모은 것이며, discord는 그중 값이 가장 큰 위치다.
STAMP, STOMP, SCRIMP 같은 알고리즘은 이 Matrix Profile을 빠르게 계산하는 방법을 다루는데, 실무 구현은 고속 푸리에 변환(FFT)을 이용한 MASS 알고리즘으로 부분열 하나당 에 계산한다. 아래 예제는 이 가속 없이 슬라이딩 윈도우 사이의 z-정규화 거리를 직접 계산하는 구현으로, 거리 하나에 이 들어 전체 이다.
def matrix_profile(series, window):
n_sub = len(series) - window + 1
windows = np.array([series[i:i + window] for i in range(n_sub)])
windows_norm = (windows - windows.mean(axis=1, keepdims=True)) / (windows.std(axis=1, keepdims=True) + 1e-8)
profile = np.full(n_sub, np.inf)
for i in range(n_sub):
dists = np.sqrt(((windows_norm - windows_norm[i]) ** 2).sum(axis=1))
dists[max(0, i - window // 2):min(n_sub, i + window // 2 + 1)] = np.inf # 자기 자신 근방 제외
profile[i] = dists.min()
return profile계절 주기와 같은 길이(창 크기 50)로 Matrix Profile을 계산하면, 값이 가장 큰 상위 3개 부분열은 인덱스 200, 276, 301에서 시작한다. 뒤의 두 개(276, 301)는 집단적 이상 구간(320~340)과 겹치고, 나머지 하나(200)는 맥락적 이상(220)과 겹친다.
아래 패널의 Matrix Profile은 각 부분열의 중심 시점에 그렸고, 음영은 상위 3개 discord 부분열이 차지하는 구간(시작 위치부터 50개 시점)이다.
반면 점 이상(100)은 상위 3개 안에 들지 않는다. 다만 영향이 없는 것은 아니다. 점 이상을 포함한 부분열의 프로파일은 2.44까지 올라가 정상 구간의 기준값(중앙값 1.45)보다 뚜렷하게 높고, 맥락적 이상 구간의 2.80과도 큰 차이가 없다. 창 길이 50짜리 부분열에서 한 시점만 튀는 값이 z-정규화 뒤 부분열의 모양을 바꾸는 정도는, 한 시점이 위상을 거슬러 골 수준으로 내려앉는 변화보다 작아서 상위 3개를 고르는 판정에서 순위가 밀렸을 뿐이다. 상위 4개를 보거나 프로파일에 임계값을 두는 판정이었다면 잡혔다. 불일치 기반 방법은 부분열의 형태가 깨지는 변화, 즉 집단적 이상과 맥락적 이상에 가장 강하고, 점 이상은 상위 k개만 보는 판정에서 순위가 밀릴 수 있다.
불일치 탐지는 실제 우주 탐사 데이터에도 쓰였다. NASA 제트추진연구소(JPL) 연구진은 토성을 탐사한 Cassini 탐사선의 플라즈마 분광계 관측 데이터에 discord 탐지를 적용해, 태양풍이 자기권에 막혀 생기는 충격파면(bow shock)과 자기권의 바깥 경계인 자기권계면(magnetopause)을 통과하는 구간을 찾아냈다. 라벨 없이 최근접 이웃 거리만으로 판정하는 방식이 실제 행성 탐사 데이터에서도 경계 통과 구간을 잘 찾아낸 사례다.
상용 서비스에도 쓰인다. 오류 추적 서비스 Sentry는 Matrix Profile과 예측 기반 모델 Prophet을 결합해 서비스 메트릭의 이상탐지 기능을 프로덕션에 적용했다. Visa Research는 변수가 여럿인 다차원 시계열로 Matrix Profile을 확장해, 여러 센서나 지표를 동시에 다루는 이상탐지에도 이 방식이 통한다는 것을 보였다.
클러스터링 기반 방법(NormA, SAND 등)은 접근이 다르다. 부분열 전체를 몇 개의 대표 패턴(군집)으로 나눠두고, 새 부분열이 어느 군집에도 잘 속하지 않으면 이상으로 판정한다. 불일치 기반이 이웃 하나까지의 거리만 보는 것과 달리, 클러스터링 기반은 정상 패턴들의 전체적인 분포를 먼저 요약해둔다는 점에서 다음에 볼 밀도 기반 방법과 발상이 가깝다. NormA도 Series2Graph와 같은 EDF R&D와 Université de Paris의 공동 연구에서 나왔다. 부분열들을 군집으로 묶은 뒤 각 군집의 중심을 빈도, 포괄 범위, 중심성 기준으로 가중해 정상 모델(Normal Model)을 자동으로 만들고, 새 부분열과 이 정상 모델 사이의 거리로 이상 점수를 매긴다. 같은 유형의 이상이 반복해서 나타나도 정상 모델이 그 이상에 끌려가지 않게 한 설계가 이 방법의 핵심이다.
밀도 기반 중 시계열에만 있는 기법, 그래프 기반과 트리 기반
밀도 기반 안에서 2편까지 다룬 분포 기반(홀텔링 이론, 마할라노비스-다구치법)과 인코딩 기반의 일부(GMM)를 제외하면, 그래프 기반과 트리 기반, 그리고 인코딩 기반의 나머지가 남는다.
그래프 기반(graph-based) 방법은 시계열의 부분열을 그래프의 노드로, 부분열 사이의 전이를 에지로 표현한다. 비슷한 부분열을 하나의 노드로 묶고, 어떤 노드의 부분열 다음에 다른 노드의 부분열이 나타난 횟수를 에지 가중치로 쓰는 식이다. 그래프를 만들고 나면 노드의 차수나 에지 가중치처럼 그래프의 특성으로 이상을 판정한다. Series2Graph, DADS가 이 방식을 쓴다. Series2Graph는 프랑스 전력회사 EDF의 연구조직 EDF R&D 소속 연구자가 Université de Paris와 함께 개발한 방법으로, 라벨도 이상이 섞이지 않은 정상 데이터도 요구하지 않으면서 길이가 서로 다른 이상까지 찾는 것을 목표로 삼았다.
트리 기반(tree-based)의 대표 기법은 Isolation Forest다. 착안점은 간단하다. 데이터를 무작위로 골라 무작위 분할선으로 계속 이등분하다 보면, 이상치는 정상치보다 적은 횟수의 분할만으로 고립된다. 여러 개의 무작위 분할 트리를 만들고, 각 인스턴스가 트리 루트에서 고립되기까지 필요한 평균 경로 길이가 짧을수록 이상 점수가 높아진다. 인스턴스 가 여러 트리에서 고립되기까지 걸린 경로 길이의 평균을 라 하면, 이상 점수는 다음과 같이 정의된다.
은 정상적인 이진 탐색 트리에서 나오는 평균 경로 길이를 나타내는 정규화 상수이고, 는 조화수(harmonic number)다. 경로가 평균보다 훨씬 짧을수록() 점수가 1에 가까워지고, 평균과 비슷할수록 0.5에 가까워진다.
같은 발상을 스트리밍 데이터용으로 바꾼 것이 Amazon SageMaker의 Random Cut Forest(RCF)다. 학습 데이터의 무작위 표본을 트리 수만큼 나눠 각 트리가 경계 상자를 무작위 절단으로 계속 쪼개는 점은 Isolation Forest와 같고, 새 점의 이상 점수는 그 점을 트리에 끼워 넣었을 때 트리의 복잡도가 얼마나 늘어나는지의 기댓값으로 정의한다. 근사적으로는 점이 놓이는 깊이에 반비례하므로 Isolation Forest의 경로 길이와 같은 양을 잰다. 표본은 저수지 표집(reservoir sampling)으로 스트림에서 갱신하고, 트리당 표본 수의 역수가 데이터에서 기대하는 이상 비율(256이면 약 0.4%)과 맞도록 고르라고 안내한다. 이상 비율에 대한 가정을 파라미터로 넣는다는 점에서 이 값은 아래 예제의 contamination과 역할이 겹친다.
Isolation Forest 자체는 시계열의 순서를 직접 다루지 않으므로, 시계열에 적용하려면 부분열을 특징 벡터로 바꾸는 전처리가 필요하다. 아래 예제는 길이 20짜리 슬라이딩 윈도우마다 평균, 표준편차, 범위, 기울기 네 가지 통계량을 뽑아 그 특징 공간에서 Isolation Forest를 학습한다.
from sklearn.ensemble import IsolationForest
def extract_window_features(series, window_len):
feats = []
for i in range(len(series) - window_len + 1):
window_vals = series[i:i + window_len]
slope = np.polyfit(np.arange(window_len), window_vals, 1)[0]
feats.append([window_vals.mean(), window_vals.std(), window_vals.max() - window_vals.min(), slope])
return np.array(feats)
clf = IsolationForest(n_estimators=200, contamination=0.05, random_state=42)
pred = clf.fit_predict(feats) # -1: 이상contamination=0.05는 전체 윈도우의 5%를 이상으로 판정하라는 지시이므로, 381개 중 19개가 이상으로 판정되는 것은 결과가 아니라 이 파라미터가 정한 수다. 19개의 내역은 점 이상(100)을 포함한 윈도우 4개와 집단적 이상 구간의 윈도우 15개이고, 정상 구간의 오탐은 없다.
그림에서 점 이상 왼쪽 골에 찍힌 점 2개(중심 91, 92)는 오탐이 아니라 시점 100을 포함하는 윈도우의 중심이다.
점 이상(100)과 집단적 이상(320~340)은 잡아내지만, 맥락적 이상(220)은 놓친다. 맥락적 이상을 포함한 윈도우의 통계량이 평범해서가 아니다. 그 윈도우의 표준편차는 2.68, 범위는 11.79로, 범위만 보면 정상 윈도우의 최댓값 10.63을 넘는다. 문제는 각 특징을 따로 보면 모두 정상 범위 근처라는 점이다. 평균 28.3은 정상 마루 구간의 평균이고, 표준편차 2.68은 정상 윈도우의 최댓값 3.28 아래이며, 범위도 정상 최댓값을 조금 넘을 뿐이다. Isolation Forest는 축에 평행한 무작위 분할로 한 특징에서 극단적인 점을 먼저 고립시키므로, 높은 평균과 큰 범위의 조합으로만 이상한 이 윈도우는 여러 번 분할해야 고립된다. 그 결과 이 윈도우의 점수(-0.529)는 5% 컷오프(-0.582)는 물론 일부 정상 윈도우(최소 -0.556)보다도 높다. 반면 점 이상을 포함한 윈도우는 범위 13.92로 특징 하나만으로 극단적이라 바로 고립된다(점수 -0.608). 밀도 기반 방법이 시간 순서를 명시적으로 모델링하지 않고 특징 공간의 고립도만 본다는 특성이 여기서 드러난다.
밀도 기반 중 시계열에만 있는 기법, 인코딩 기반
인코딩 기반(encoding-based) 방법은 시계열을 원래 값 그대로 두지 않고 기호나 상태의 나열로 압축한다. 문법 기반(grammar-based) 방법은 시계열을 SAX 같은 방법으로 이산 기호열로 바꾼 뒤, 문법 규칙에 잘 들어맞지 않는 부분을 이상으로 본다(GrammarViz, Ensemble GI). HMM(은닉 마르코프 모델) 기반 방법은 시계열이 몇 개의 은닉 상태 사이를 오간다고 보고, 그 상태 전이 확률이 낮은 구간을 이상으로 판정한다. 베이지안 네트워크 기반 방법(LaserDBN, EDBN)은 변수 사이의 조건부 의존 관계를 그래프로 학습해 같은 방식으로 이상을 판정한다. PCA(주성분분석)도 이 갈래에 속한다. 시계열을 저차원 주성분 공간에 투영한 뒤 원래 공간으로 복원했을 때 오차가 큰 부분을 이상으로 본다. 다만 PCA는 1편의 EDA에서 시각화 도구로만 썼고, 이상탐지 기법으로는 이 시리즈가 참고하는 책이나 예제 저장소에서 다루지 않는다. 다만 재구성 오차로 판정하는 방식 자체는 상용 데이터 웨어하우스에 내장될 만큼 흔하다. Google BigQuery ML의 이상탐지 함수는 PCA 모델과 오토인코더 모델에 대해 입력을 저차원으로 압축했다가 복원한 평균제곱오차를 이상 점수로 쓰고, 학습 데이터 중 이상으로 간주할 비율(contamination)에서 임계값을 정한다. 2편 kNN 절에서 본 같은 함수의 k-평균 모델이 정규화 거리에 적용하던 비율 기반 임계값을 재구성 오차에 그대로 적용한 형태다.
인코딩 기반이 그래프 기반이나 트리 기반과 겹칠 수 있다는 점도 논문이 밝히는 지점이다. HMM의 상태 전이는 그 자체로 그래프이고, 문법 규칙을 나무 구조로 표현하면 트리 기반과도 맞닿는다. 논문은 이런 중복을 인정하면서도, 기법을 소개할 때는 가장 두드러진 메커니즘 하나로 분류한다.
예측 기반의 시계열 특화 모델, 예측 오차 기반과 재구성 오차 기반
3편의 회귀·베이지안 회귀는 입력변수(연식, 주행거리 등)에서 응답변수(가격)를 예측했다. 시계열의 예측 기반 방법은 입력이 다르다. 설명변수 대신 과거 시점의 값들을 입력으로 써서 다음 시점의 값을 예측한다. 이렇게 예측 오차를 이상 점수로 쓰는 갈래가 예측 오차 기반(forecasting-based)이고, 지수평활·ARIMA 같은 고전적 시계열 모델과 LSTM, GRU, Echo State Network 같은 순환신경망, 그리고 Numenta의 HTM(Hierarchical Temporal Memory)처럼 신경망과는 다른 계열의 학습 모델이 여기 속한다. 모델 간 차이는 다음 값을 어떤 함수로 근사하느냐일 뿐, 과거 값으로 미래 값을 예측하고 그 오차를 본다는 메커니즘은 같다.
아래 예제는 Holt-Winters 지수평활을 정상 학습 구간(300개 시점)에 적합해 평활 계수를 얻은 뒤, 추론 구간(400개 시점)은 한 시점씩 상태를 갱신하며 한 스텝 앞 예측을 만든다. 수준(level) , 추세(trend) , 계절성분(season) 을 상태로 두는 가법 모델의 갱신식은 다음과 같다.
이상 점수는 2편의 홀텔링 이론과 3편에서 썼던 정규화 잔차 제곱이고, 임계값은 2편의 홀텔링 이론과 같이 목표 오탐률(0.27%)에서 나온 카이제곱분포 값을 쓴다.
fit = ExponentialSmoothing(
train_y, trend="add", seasonal="add", seasonal_periods=period,
initialization_method="estimated",
).fit()
alpha, beta, gamma = fit.params["smoothing_level"], fit.params["smoothing_trend"], fit.params["smoothing_seasonal"]
resid_std = np.std(fit.resid)
level, trend, season = fit.level[-1], fit.trend[-1], list(fit.season[-period:])
for j in range(n_points):
phase = j % period
forecast[j] = level + trend + season[phase]
new_level = alpha * (series[j] - season[phase]) + (1 - alpha) * (level + trend)
trend = beta * (new_level - level) + (1 - beta) * trend
level = new_level
season[phase] = gamma * (series[j] - level) + (1 - gamma) * season[phase]
score = ((series - forecast) / resid_std) ** 2학습 데이터에 적합한 평활 계수는 alpha, beta, gamma 모두 0.000에 가깝다. 학습 구간이 추세와 계절성만으로 설명되는, 잡음이 적은 데이터이다 보니 지수평활이 매 시점 상태를 새로 갱신하기보다 추세와 계절 성분을 거의 고정한 채 예측하는 쪽을 더 나은 적합으로 판단한 결과다. 임계값은 9.000이고, 전체 400개 시점 중 27개가 이상으로 판정된다.
27건 중 21건이 세 이상 구간(점 이상 1건, 맥락적 이상 1건, 집단적 이상 19건) 안에 들어가고, 나머지 6건은 정상 구간에서 발생한 오탐이다. 정상 시점 377개 중 6건이면 오탐률 1.6%로, 목표 0.27%(1건 안팎)를 크게 넘는다. 학습 구간의 잔차 표준편차 0.423이 추론 구간의 한 스텝 앞 예측 오차를 과소추정하기 때문이다. 정상 구간의 추론 오차를 같은 척도로 재면 제곱평균제곱근이 1.28로 학습 잔차보다 28% 크다. 실무에서는 임계값을 학습 잔차가 아니라 따로 떼어둔 검증 구간의 예측 오차로 정해야 목표 오탐률이 지켜진다. 세 이상 유형을 모두 잡아낸다는 점이 앞의 두 기법과 다르다. 예측이 그 시점의 추세와 계절 위상을 반영해 나오므로, 값 자체는 전역 범위 안에 있어도 그 시점에 기대되는 값과 다르면 큰 오차로 드러난다. 그래서 맥락적 이상을 특히 잘 잡아낸다. 값 하나가 튀는 점 이상도 예측과의 차이가 그대로 드러나므로 잡힌다.
이런 예측 오차 기반 접근은 실제 모니터링 제품에도 쓰인다. SolarWinds의 Database Performance Monitor는 Holt-Winters 예측으로 쿼리 지표의 이상을 탐지하는 기능을 제공하며, 계절성을 반영해 오탐을 줄인다. VMware의 Avi Load Balancer도 Holt-Winters를 내장 기능으로 넣어, 트래픽과 부하의 계절성을 반영한 이상탐지를 별도 설정 없이 제공한다. HTM을 개발한 Numenta는 이를 상용화한 Grok을 AWS Marketplace에 출시해, EC2·RDS 같은 AWS 서비스 지표를 실시간으로 학습하고 이상을 탐지하게 했다.
재구성 오차 기반(reconstruction-based)은 예측이 아니라 압축과 복원으로 접근한다. Autoencoder는 부분열을 원래 길이보다 작은 잠재 공간으로 압축했다가 다시 복원하도록 학습되고, 그 복원값과 원래 부분열의 차이(재구성 오차)를 이상 점수로 쓴다. GAN 기반 방법(MAD-GAN, USAD, TAnoGAN)은 정상 부분열만으로 생성자와 판별자를 학습해, 판별자 점수와 재구성 오차를 함께 이상 점수로 결합한다. 예측 오차 기반과 마찬가지로 학습 데이터에 이상이 거의 없다고 가정하므로, 정상 데이터만 확보해 학습하는 준지도 설정에 가장 잘 맞는다.
칭화대학교와 Alibaba의 연구진이 발표한 Donut은 이 갈래를 실제 서비스 KPI로 검증한 사례다. VAE(변분 오토인코더)로 대형 인터넷 기업의 계절성 KPI(페이지뷰, 접속자 수, 주문 수 등)를 재구성해, 라벨 없이 F-score 0.75~0.9의 이상탐지 성능을 보였다.
같은 데이터에서 세 갈래 기법이 서로 다른 이상을 잡아내는 이유
| 기법(분류체계 위치) | 점 이상(100) | 맥락적 이상(220) | 집단적 이상(320~340) |
| Matrix Profile(거리 기반, 불일치 기반) | 놓침 | 잡음 | 잡음 |
| Isolation Forest(밀도 기반, 트리 기반) | 잡음 | 놓침 | 잡음 |
| 지수평활(예측 기반, 예측 오차 기반) | 잡음 | 잡음 | 잡음(19/21) |
세 기법 모두 집단적 이상은 잡아낸다. 20개 시점에 걸쳐 패턴 자체가 바뀌는 변화는 부분열 거리로도, 윈도우 통계량으로도, 예측 오차로도 뚜렷하게 드러날 만큼 크기 때문이다. 반면 점 이상과 맥락적 이상에서는 나뉜다. 불일치 기반은 부분열 단위로 판단하므로 값 하나가 튀는 변화는 부분열의 모양이 깨지는 변화보다 프로파일을 덜 올려, 상위 몇 개만 고르는 판정에서 점 이상의 순위가 밀리기 쉽다. 트리 기반은 시간 순서를 쓰지 않고 특징 하나하나의 극단성으로 고립시키므로, 특징의 조합으로만 드러나는 맥락적 이상을 놓치기 쉽다. 예측 기반은 그 시점에 기대되는 값을 직접 계산하기 때문에 두 경우 모두 잡아낸다. 다만 이 우위에는 전제 조건이 붙는다. 예측 기반은 정상 데이터 로 모델을 먼저 학습해야 하고, 학습 데이터에 이상이 섞이면 예측 자체가 왜곡된다. 위 예제의 오탐률이 목표를 넘은 것처럼, 임계값도 학습 잔차만으로는 정하기 어렵다.
시계열 이상탐지 연구는 10년간 어떻게 바뀌었는가
논문 9장은 지금까지 다룬 방법들을 발표 연도별로 모아 이 분야가 최근 10년간 어떻게 바뀌었는지 살핀다.
연도별로 발표된 기법 수는 1990년부터 2016년까지 거의 일정하다가 2016년 이후 뚜렷하게 늘어난다. 이 증가를 이끈 것은 대부분 예측 기반, 그중에서도 LSTM과 Autoencoder 기반 기법이다. 2020년부터 2023년 사이에 새로 발표된 기법의 거의 절반이 이 두 계열에 속한다. 컴퓨터 비전에서 딥러닝이 거둔 성과와 TensorFlow, PyTorch 같은 오픈소스 라이브러리 덕에 범용 딥러닝 모델을 시계열에 옮겨 적용하기 쉬워진 점이 원인으로 꼽힌다.
다변 량과 단변량의 비중도 뒤집혔다. 1990년부터 2016년 사이에 발표된 기법 대부분은 다변량 시계열을 다뤘지만, 논문이 다루는 최근 3년 구간에서는 단변량을 다루는 기법이 더 많다. 2016년 이전 기법 대부분이 점 이상탐지처럼 다변량에서도 비교적 잘 정의되는 문제를 다뤘다면, 최근에는 다변량에서 정의하기 어려운 부분열(집단적) 이상탐지로 관심이 옮겨가면서 단변량 기법이 늘었다는 것이 논문의 해석이다.
지도 방식의 비중도 바뀌었다. 1980년부터 2000년 사이에 발표된 기법의 65%가 비지도 학습이었던 반면, 2012년부터 2018년 사이에는 그 비중이 50%로 줄었다. 지도 학습이나 준지도 학습을 쓰는 기법이 그만큼 늘었다.
이 흐름 위에 1~3편에서 다룬 통계 기법을 놓아보면, 회귀와 베이지안 회귀는 예측 오차라는 같은 메커니즘을 딥러닝보다 앞서 통계적으로 정식화한 축에 해당한다. LSTM이나 Autoencoder 기반 기법은 이 메커니즘의 예측 함수 자리를 선형 함수나 지수평활 대신 신경망으로 바꾼 확장이지, 완전히 다른 발상은 아니다.
1편의 SVM에서 시작해 이 편의 그래프 기반·트리 기반·재구성 오차 기반까지, 1~4편이 다룬 기법을 논문의 분류체계 위에 모두 놓으면 아래와 같은 지도가 완성된다.
요약
시계열 이상탐지는 논문의 프로세스 중심 분류체계로 보면 거리 기반, 밀도 기반, 예측 기반 세 갈래로 나뉘고, 1~3편에서 다룬 홀텔링 이론·마할라노비스-다구치법·SVM은 밀도 기반의 분포 기반에, GMM은 밀도 기반의 인코딩 기반에, kNN은 거리 기반의 근접 기반에, 회귀와 베이지안 회귀는 예측 기반의 예측 오차 기반에 해당한다. 시계열에만 있는 갈래로는 부분열 단위로 이웃 거리를 재는 불일치 기반과 클러스터링 기반(거리 기반), 그래프·트리·문법·HMM·PCA로 부분열을 재구조화하는 갈래(밀도 기반), 지수평활부터 LSTM까지 아우르는 예측 오차 기반과 Autoencoder·GAN의 재구성 오차 기반(예측 기반)이 있다. 같은 합성 시계열에 Matrix Profile, Isolation Forest, 지수평활을 적용해보면 집단적 이상은 세 기법 모두 잡아내지만, 점 이상과 맥락적 이상에서는 기법마다 놓치는 지점이 나뉜다. 예측 기반이 시간 맥락을 직접 계산에 반영하는 만큼 가장 폭넓게 잡아내지만, 정상 데이터로 먼저 학습해야 한다는 전제가 붙는다. 다음 편에서는 이렇게 학습한 모델의 성능을 어떻게 평가하고, 실제 시스템에 적용하기 전에 어떤 전처리를 거쳐야 하는지 정리한다.
참조 사이트
- Dive into Time-Series Anomaly Detection: A Decade Review
- Unsupervised detection of Saturn magnetic field boundary crossings from plasma spectrometer data
- Time series monitoring: Anomaly detection using Matrix Profile and Prophet (Sentry)
- Matrix Profile for Anomaly Detection on Multidimensional Time Series (Visa Research)
- Holt-Winters Forecasting and Exponential Smoothing Simplified (SolarWinds)
- Holt-Winters Algorithm & Anomaly Detection (VMware Avi Load Balancer)
- Unsupervised real-time anomaly detection for streaming data (Numenta, Neurocomputing 2017)
- Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications (Donut)
- How RCF Works (Amazon SageMaker Random Cut Forest)
- The ML.DETECT_ANOMALIES function (Google BigQuery ML)
- Series2Graph: Graph-based Subsequence Anomaly Detection for Time Series (EDF R&D)
- Unsupervised and Scalable Subsequence Anomaly Detection in Large Data Series (NormA, VLDB Journal 2021)







