4편까지는 이상을 판정하는 모델 자체를 다뤘다. 어떤 확률분포를 가정할지, 어떤 거리를 잴지, 무엇을 예측할지가 편마다 바뀌었을 뿐, 모델을 데이터에 어떻게 적용하고 그 결과를 어떻게 믿을지는 다루지 않았다. 실무에서는 모델을 고르는 일 못지않게, 그 모델에 넣을 데이터를 정리하고 모델의 성능을 올바르게 재는 일이 중요하다. 잘못 정리된 데이터는 모델의 판단 근거 자체를 어긋나게 하고, 잘못 잰 성능은 실제로는 쓸모없는 모델을 실전에 올리는 결과로 이어진다. 이 글은 시리즈의 마지막 편으로, 전처리와 성능평가, 교차검증을 다루고, 논문이 정리한 시계열 이상탐지의 벤치마크와 평가지표로 시리즈를 마무리한다.
이상탐지 모델을 실제 시스템에 올리려는 개발자와 데이터 엔지니어를 대상으로 하며, 이 글을 읽고 나면 결측치와 다중공선성을 어떻게 정리할지, 성능을 라벨 예측 정확도와 통계모델 타당성 중 어느 기준으로 잴지, 교차검증에서 왜 계층화가 필요한지 판단할 수 있다. 예제 코드는 github.com/mimul/anomaly_detection의 series05/에 있고, 1편의 5센서 생산 라인 데이터셋을 그대로 재사용한다.
이상탐지 모델에 들어가기 전에 거치는 전처리
1편의 데이터셋은 온도 센서 5개(temp1~temp5)로 이뤄져 있고, temp1은 10%, temp5는 5% 확률로 결측이 발생하도록 만들어져 있다. 대부분의 이상탐지 알고리즘은 결측치가 섞인 채로는 학습도 추론도 할 수 없으므로, 결측치를 보완하거나 제외해야 한다. 이상탐지는 정상 데이터를 대량으로 확보할 수 있는 경우가 많다는 특성상, 보완보다는 제외 쪽이 안전한 선택이다. 가장 간단한 제외 방법이 리스트와이즈 삭제(listwise deletion)로, 변수 중 하나라도 결측이 있는 행을 통째로 지운다.
df_dropna = df.dropna()1편에서 만든 학습·추론 데이터를 합친 1530건에 리스트와이즈 삭제를 적용하면 1316건이 남는다. 214건, 전체의 14%가 사라졌다. 모델에 넣을 변수만 남기고 dropna(subset=[...])로 지정하면 불필요하게 지워지는 행을 줄일 수 있다.
결측치를 정리했다면 다음은 변수 선택이다. 변수를 늘릴수록 많은 정보를 쓸 수 있지만, 상관관계가 강한 변수를 그대로 두면 모델의 계수 추정이 불안정해지는 다중공선성(multicollinearity) 문제가 생긴다. 다중공선성을 진단하는 대표적인 지표가 VIF(variance inflation factor)로, 한 변수를 나머지 변수로 예측하는 회귀모델의 결정계수에서 유도한다. 변수 를 나머지 변수들로 회귀했을 때의 결정계수를 라 하면, VIF는 다음과 같이 정의된다.
값이 클수록 그 변수는 다른 변수로 잘 설명되며, 중복 정보가 많다.
import statsmodels.api as sm
from statsmodels.stats.outliers_influence import variance_inflation_factor
X = sm.add_constant(df_dropna[COLUMNS]) # 상수항을 빼면 VIF가 부풀려진다
vif = [variance_inflation_factor(X.to_numpy(), i) for i in range(X.shape[1])]temp1(1.699), temp2(2.288), temp3(1.941)는 서로 상관관계를 갖도록 만든 변수라 VIF가 2 안팎으로 나오고, 독립적으로 만든 temp4(1.003)와 temp5(1.001)는 1에 가깝다. VIF가 10을 넘으면 다중공선성을 의심하는 것이 일반적인 기준인데, 이 데이터셋은 모두 그 아래이므로 변수 선택을 다중공선성 때문에 강제할 필요는 없다. 실제 서비스 데이터에서는 이 검토를 건너뛰기 어렵다. Netflix의 사기 탐지 연구는 계정의 하루 시청 행동을 요약한 변수 23개의 상관행렬을 먼저 확인했는데, 기기 식별자 관련 변수끼리, 콘텐츠 획득 관련 변수끼리 양의 상관이 뚜렷해서 상관이 높은 변수를 빼는 경우와 남기는 경우의 정확도 차이를 따로 조사했다.
다중공선성이 없더라도 변수를 줄여야 할 이유는 남는다. 변수가 많을수록 학습에 필요한 샘플 수가 늘어나고(차원의 저주), 결측이 있는 변수를 포함할수록 리스트와이즈 삭제로 줄어드는 샘플 수도 커진다. 변수를 자동으로 골라주는 대표적인 방법이 스텝와이즈(stepwise) 법이고, 그중 빈 모델에서 시작해 성능이 가장 많이 오르는 변수를 하나씩 추가하는 방법이 Forward법이다.
Forward법을 적용하려면 “성능”을 무엇으로 잴지부터 정해야 한다. 이상탐지에서는 두 가지 기준이 있다. 라벨(정상·이상)의 예측 정확도로 잴 수도 있고, 정상 데이터에 대한 통계모델의 적합도로 잴 수도 있다. 여기서는 전자를 F값으로, 후자를 AIC로 잰다. F값은 고른 변수로 다변량 홀텔링 모델을 만 들어 학습·추론 합본 1316건에 Stratified 5겹 교차검증(뒤에서 다룬다)으로 평가한 값이고, AIC는 같은 합본의 정상 데이터만으로 적합한 다변량 정규분포에서 계산한 값이다. 두 기준으로 각각 2개씩 변수를 골라보면 결과가 어떻게 나뉘는지 드러난다.
# F값(라벨 예측 정확도) 기준
f1_selected = forward(f1_for, larger_is_better=True)
# AIC(통계모델 선택의 타당성) 기준
aic_selected = forward(aic_for, larger_is_better=False)F값 기준은 temp2, temp1을 고른다(F값 0.6333). 이 데이터셋에서 이상 데이터는 temp1~temp3의 평균이 어긋나도록 만들어져 있으므로, 정상과 이상을 실제로 구분하는 데 쓸모 있는 변수를 정확히 골라낸다. 반면 AIC 기준은 temp4, temp5를 고른다(AIC 12881.88). 같은 정상 데이터에서 temp2, temp1 모델의 AIC는 15141.75로 더 나쁘다. temp4와 temp5는 서로 독립이라 2차원 정규분포가 아주 깔끔하게 들어맞고, AIC는 이 적합도만 볼 뿐 이상 데이터가 어디 있는지는 전혀 참고하지 않기 때문이다. AIC가 고른 두 변수로는 이상을 하나도 잡아내지 못한다. F값이 정확히 0이 나온다. temp4, temp5는 애초에 이상 데이터를 만들 때 건드리지 않은 변수라, 통계적으로 아무리 잘 맞는 모델을 만들어도 이상과는 무관하기 때문이다.
통계모델의 적합도는 “정상 데이터를 얼마나 잘 설명하는가”를 재는 지표이지, “정상과 이상을 얼마나 잘 구분하는가”를 재는 지표가 아니다. 라벨이 있는 이상 데이터를 확보할 수 있다면, 변수 선택에는 라벨 기반 지표를 우선해야 한다.
이상탐지 모델의 성능을 어떻게 잴 것인가
앞서 나온 두 기준, 라벨의 예측 정확도와 통계모델 선택의 타당성은 변수 선택뿐 아니라 모델 전체의 성능평가에도 그대로 적용된다. 두 갈래는 성격이 다르다.
| 라벨의 예측 정확도 | 통계모델 선택의 타당성 | |
| 적용 가능한 모델 | 지도학습, 비지도학습(이상 데이터가 있는 경우) | 비지도학습·통계모델링 |
| 재는 대상 | 라벨의 예측 오차 | 모델이 데이터를 얼마나 잘 설명하는가 |
| 필요한 데이터 | 정상 데이터 + 이상 데이터 | 정상 데이터만 |
| 장점 | 이상과 정상을 구분하는 목적을 직접 평가 | 이상 데이터 없이 계산 가능 |
| 단점 | 이상 데이터가 없으면 계산 불가 | 실제 구분 성능과는 간접적 |
| 대표 지표 | 정확도, 정밀도, 재현율, F값, AU-ROC | 로그가능도, AIC, BIC, WAIC |
temp1, temp2 두 변수로 다변량 홀텔링 모델을 학습해, 추론 데이터에서 두 갈래 지표를 함께 계산해보자. 혼동행렬의 진양성(TP)·위양성(FP)·진음성(TN)·위음성(FN)으로 라벨 기반 지표를 정의하면 다음과 같다.
conf_matrix = confusion_matrix(y_true, y_pred, labels=["normal", "anomaly"])
accuracy = accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred, pos_label="anomaly")
recall = recall_score(y_true, y_pred, pos_label="anomaly")
f1 = f1_score(y_true, y_pred, pos_label="anomaly")
fpr, tpr, _ = roc_curve(y_true, score, pos_label="anomaly")
auroc = auc(fpr, tpr)혼동행렬은 [[449, 1], [1, 9]]다. 정상 450건 중 449건을 정상으로, 이상 10건 중 9건을 이상으로 올바르게 판정했다. 오탐(FP)과 미탐(FN)이 각각 1건씩이다. 정확도는 0.996으로 매우 높지만, 이는 정상 데이터가 압도적으로 많은 불균형 데이터에서 흔히 나오는 착시이기도 하다. 정밀도와 재현율은 각각 0.900, F값은 0.900, AU-ROC는 0.9998이다.
이런 라벨 기반 지표는 실제 프로덕션 시스템에서도 그대로 쓰인다. Netflix는 스트리밍 서비스 사기 탐지에 쓴 딥 오토인코더 모델의 성능을 정확도 약 96%, F값 약 95%로 보고했고, Uber는 다차원 시계열 이상탐지 시스템 uVitals에서 정밀도·재현율·F값을 지속적으로 모니터링해 모델을 평가한다. 연구 벤치마크에서도 같은 지표를 쓴다. Amazon의 이미지 이상탐지 모델 PatchCore는 산업 결함 탐지 벤치마크(MVTec AD)에서 AUROC 최대 99.6%를 보고했다.
라벨 기반 지표를 오프라인 계산에서 끝내지 않고 운영 지표와 연결한 사례가 Microsoft의 시계열 이상탐지 서비스다. Bing, Office, Azure에서 나오는 수백만 개의 지표를 감시하는 이 서비스는 새 모델을 배포하기 전에 오프라인 실험과 온라인 A/B 테스트를 모두 거친다. 오프라인에서는 편집자가 시계열의 진짜 이상 지점에 라벨을 붙이고 모델 결과 중 오탐을 다시 표시한 데이터로 정확도를 재고, 온라인에서는 일부 데이터 피드를 새 모델에 흘려 알림의 클릭률, 이상으로 판정된 비율, 오탐률로 배포 여부를 정한다. 정밀도와 재현율이 좋아도 운영자가 알림을 열어보지 않으면 소용이 없다는 판단이 평가 체계에 들어가 있다.
같은 모델의 학습 데이터(정상 913건)에 통계모델 지표를 계산하면 로그가능도 -5352.28, AIC 10714.56, BIC 10738.64가 나온다. 로그가능도를 , 추정한 파라미터 수를 , 샘플 수를 이라 하면 두 지표는 다음과 같이 정의된다.
다변량 정규분포가 추정하는 파라미터는 평균벡터(개)와 대칭행렬인 분산공분산행렬(개)이므로, 변수 개수가 일 때 파라미터 수는 다음과 같다.
n_params = n_features + n_features * (n_features + 1) / 2
aic = 2 * n_params - 2 * log_likelihood
bic = np.log(n_samples) * n_params - 2 * log_likelihoodAIC와 BIC는 그 자체로는 의미가 없는 숫자다. 같은 데이터, 같은 응답변수에 대해 여러 모델을 견줄 때만 쓸모가 있다. 앞서 변수 선택에서 temp4, temp5 모델(12881.88)과 temp2, temp1 모델(15141.75)의 AIC를 나란히 놓고 본 것이 그 예다. 다만 그 두 값은 합본의 정상 데이터로 계산한 것이라, 학습용 정상 913건으로 계산한 위의 10714.56과는 표본이 달라 서로 비교할 수 없다. 라벨의 예측 정확도와 통계모델 선택의 타당성, 이 두 갈래 지표는 1~4편에서 다룬 어떤 모델(비지도 확률분포 모델이든, 회귀든, 베이지안 모델이든)에도 그대로 적용된다. 지도학습이라도 로지스틱 회귀처럼 최우추정으로 적합하는 확률 모델이면 로그가능도와 AIC를 계산할 수 있다. 계산할 수 없는 것은 SVM처럼 확률분포를 가정하지 않는 분류기다.
교차검증으로 평가를 신뢰할 수 있게 만들기
앞의 성능평가는 학습 데이터와 추론 데이터를 한 번만 나눠 계산했다. 이 한 번의 분할이 우연히 쉬운(혹은 어려운) 데이터로 치우쳤다면, 성능평가 결과도 그만큼 왜곡된다. 데이터를 여러 번 다르게 나눠 학습과 평가를 반복하고 그 결과를 평균 내는 방법이 교차검증(cross-validation)이다. 데이터를 개로 나눠 매번 다른 폴드를 테스트에 쓰는 K-fold가 기본형이다.
이상탐지 데이터에는 K-fold를 그대로 쓰면 곤란한 특성이 있다. 정상 데이터에 비해 이상 데이터가 극단적으로 적은 불균형 데이터라는 점이다. 1편 데이터셋의 정상·이상 데이터를 순서 그대로 5개 폴드로 나누면 어떻게 되는지 확인해보자.
kf = KFold(n_splits=5, shuffle=False)폴드별 이상 데이터 수는 [0, 0, 0, 20, 10]이다. 다섯 폴드 중 세 폴드에는 이상 데이터가 단 하나도 없다. 이런 폴드에서는 재현율이나 F값 자체를 정의할 수 없거나, 정의되더라도 그 폴드의 평가가 사실상 무의미해진다. 이 문제를 해결하는 방법이 Stratified K-fold다. 원본 데이터의 정상·이상 비율을 각 폴드 안에서도 그대로 유지하도록 분할한다.
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)같은 데이터에 Stratified K-fold를 적용하면 폴드별 이상 데이터 수가 [6, 6, 6, 6, 6]으로 고르게 나뉜다. 정상 데이터와 이상 데이터의 비율이 크게 다른 이상탐지 데이터에서는 Stratified K-fold가 사실상 기본 선택이 된다. Netflix의 사기 탐지 연구도 지도학습 분류기의 하이퍼파라미터를 Stratified K-fold 교차검증 위에서 격자 탐색으로 골랐고, 사기 유형별로 표본 수가 크게 다른 불균형은 SMOTE로 소수 클래스를 합성해 완화했다.
다만 이 글의 교차검증은 1편의 센서 데이터처럼 관측치의 순서를 섞어도 되는 데이터를 전제한다. 시계열에서는 미래 데이터로 학습해 과거를 평가하는 폴드가 생기면 안 되므로, 학습 구간을 고정 길이로 밀어가는 슬라이딩 윈도우나 시작점을 고정하고 끝만 늘려가는 확장 윈도우로 분할한다. Uber가 수요 예측 모 델을 비교하려고 만든 백테스팅 도구 Omphalos가 이 두 방식을 제공하는데, 임의 분할을 버린 이유로 연말연시 데이터가 학습에 들어가느냐에 따라 예측 성능이 크게 달라졌던 경험을 든다.
Stratified K-fold로 5겹 교차검증을 실행해, 비지도학습(홀텔링 이론)과 지도학습(로지스틱 회귀)의 성능을 비교해보자.
model = LogisticRegression(penalty=None)
model.fit(X_train, y_train)홀텔링 이론은 F값 0.8332(±0.1339), AU-ROC 0.9925(±0.0095)를, 로지스틱 회귀는 F값 0.8779(±0.1285), AU-ROC 0.9980(±0.0025)를 기록한다. 괄호 안은 폴드 간 표준편차다.
지도학습인 로지스틱 회귀가 평균적으로 조금 더 높은 분류 성능을 보인다. 다만 F값 차이 0.045는 폴드 간 표준편차 0.13보다 훨씬 작고, 폴드 2에서는 홀텔링 이론(0.80)이 로지스틱 회귀(0.67)를 앞선다. 폴드마다 이상 데이터가 6건뿐이라 한 건을 맞히고 놓치는 데 따라 F값이 크게 뛰기 때문이다. 임계값에 의존하지 않는 AU-ROC에서도 로지스틱 회귀가 조금 앞서므로 방향은 일관되지만, 이 데이터로 확인할 수 있는 것은 그 정도다. 차이의 원인으로는 로지스틱 회귀가 정상과 이상을 구분하는 경계 자체를 학습 목표로 삼는 반면, 홀텔링 이론은 목표 오탐률(0.27%)을 지키는 것을 목표로 정상 데이터의 분포만 학습하고 이상 데이터를 학습에 쓰지 않는다는 점을 들 수 있다. 판별 성능만 놓고 보면 지도학습이 유리할 수 있지만, 이는 1편에서 확인한 지도학습의 전제, 즉 라벨이 붙은 이상 데이터를 충분히 확보할 수 있어야 한다는 조건이 성립할 때의 이야기다.
홀텔링 이론이 쓴 목표 오탐률 0.27%는 2편부터 이 시리즈에서 반복해서 써온 기준이다. 논문 10장에서도 임계값을 정하는 가장 단순한 방법으로 이상 점수의 평균에 표준편차의 3배를 더하는 3시그마 규칙을 언급한다. 적용 대상은 다르다. 논문의 규칙은 이상 점수의 분포에 적용하고, 시리즈의 카이제곱 임계값은 표준화한 관측값의 제곱에 적용한다. 이상 점수가 표준화한 관측값 자체이고 그 값이 정규분포를 따를 때에 한해 두 임계값은 같은 수를 가리킨다.

