anomaly-detection | statistics | unsupervised-learning | machine-learning | data-science

비지도학습 이상탐지, 확률분포부터 다변량 기법까지 정리

확률분포 최우추정을 기반으로 홀텔링 이론, 계수 데이터의 이항·포아송·음이항분포, 다변량 마할라노비스-다구치법과 GMM, kNN까지 비지도학습 이상탐지 기법을 예제 코드와 함께 정리합니다.

Mimul
MimulNovember 20, 2024 · 46 min read · Last Updated:

1편에서는 SVM과 로지스틱 회귀로 이상탐지에 접근했다. 두 모델 모두 정상과 이상 라벨이 충분할 때는 잘 동작했지만, 학습 데이터에 없던 새로운 유형의 이상에는 무력하다는 한계가 뚜렷했다. 이 글은 그 한계를 넘어서는 비지도학습 접근을 다룬다. 라벨이 있는 이상 사례에 기대지 않고, 정상 데이터가 형성하는 확률분포만으로 이상을 판정하는 방법이다.

비지도학습 이상탐지를 다루려는 개발자와 데이터 엔지니어를 대상으로 하며, 이 글을 읽고 나면 데이터가 1변량인지 다변량인지, 연속형인지 계수형인지, 정규분포를 따르는지에 따라 어떤 통계 기법을 골라야 하는지 판단할 수 있다. 예제 코드는 github.com/mimul/anomaly_detection의 series02/에 있다. 3점슛 데이터(원 출처 NBA.com)와 기상청 지진 데이터는 모두 예제 저장소의 datasets/에 들어 있고, 원 출처 링크는 글 끝의 참조 사이트에 있다.

확률분포로 정상을 모델링하기

비지도학습 이상탐지의 기본 발상은 단순하다. 정상 데이터가 어떤 확률분포를 따른다고 가정하고, 그 분포에서 새 관측값의 확률밀도가 낮을수록 이상에 가깝다고 판정한다. 이 발상을 실행에 옮기려면 먼저 정상 데이터에 확률분포를 맞춰야 하는데, 가장 널리 쓰는 방법이 최우추정(maximum likelihood estimation, MLE)이다. 최우추정은 주어진 데이터가 나올 가능성(우도)을 가장 크게 만드는 확률분포의 파라미터를 찾는 절차로, 데이터 x1,…,xNx_1, \ldots, x_N과 확률밀도함수 p(x;θ)p(x;\theta)가 있을 때 다음 로그가능도를 최대화하는 파라미터 θ^\hat{\theta}를 구하는 것으로 정의된다.

θ^=arg⁡max⁡θ∑n=1Nlog⁡p(xn;θ)\hat{\theta} = \arg\max_{\theta} \sum_{n=1}^{N} \log p(x_n; \theta)

로그를 취하는 이유는 곱셈이 덧셈으로 바뀌어 계산이 편하고, 로그가 단조증가 함수이므로 최대화하는 위치가 우도와 동일하기 때문이다.

정규분포라면 이 최적화 문제가 닫힌 형태로 풀려, 최우추정은 표본평균과 분산(편차 제곱합을 N−1N-1이 아니라 NN으로 나눈 값)을 구하는 것과 같아진다.

μ^=1N∑n=1Nxn,σ^2=1N∑n=1N(xn−μ^)2\hat{\mu} = \frac{1}{N}\sum_{n=1}^{N} x_n, \qquad \hat{\sigma}^2 = \frac{1}{N}\sum_{n=1}^{N}(x_n - \hat{\mu})^2

1편에서 쓴 생산 라인 데이터의 temp1 변수에 정규분포를 최우추정으로 적합하면 다음과 같다.

from scipy import stats

fitted_mean, fitted_std = stats.norm.fit(x)  # fitted_mean=400.216, fitted_std=4.958
temp1 히스토그램과 최우추정으로 적합한 정규분포
temp1 히스토그램과 최우추정으로 적합한 정규분포

적합한 정규분포 곡선이 히스토그램의 형태를 잘 따라가는 것을 확인할 수 있다. 이렇게 확률분포 하나를 정상 데이터에 맞추고 나면, 그 분포를 근거로 이상 여부를 판정하는 구체적인 방법이 필요하다. 다음 절부터 이 판정 방법을 하나씩 살펴본다.

홀텔링 이론으로 1변량 데이터의 이상을 탐지하기

정상 데이터가 정규분포를 따른다고 가정할 때 가장 널리 쓰이는 판정 방법이 홀텔링 이론이다. 다변량 데이터를 위한 홀텔링의 T2T^2 통계량은 뒤에서 다루고, 여기서는 그 1변량 형태를 쓴다. 관측값 xx와 정규분포의 평균 μ^\hat{\mu}, 표준편차 σ^\hat{\sigma}로 이상 점수를 다음과 같이 정의한다.

a(x)=(x−μ^σ^)2a(x) = \left(\frac{x - \hat{\mu}}{\hat{\sigma}}\right)^2

이 이상 점수는 샘플 크기 NN이 충분히 클 때(대략 100 이상) 자유도 1인 카이제곱분포에 근사한다. NN이 작아 평균과 분산 추정의 불확실성을 무시할 수 없을 때는 분포가 달라진다. 위처럼 분산을 NN으로 나눈 추정량을 쓰면 이상 점수에 (N−1)/(N+1)(N-1)/(N+1)을 곱한 값이 자유도 (1,N−1)(1, N-1)인 F분포를 따르므로, 임계값도 F분포에서 구한 뒤 같은 계수로 보정해야 한다.

N−1N+1 a(x)∼F1, N−1\frac{N-1}{N+1}\,a(x) \sim F_{1,\,N-1}

실무에서는 대개 샘플 크기가 충분히 크므로, 이 글에서는 카이제곱분포 기준으로 임계값을 구한다.

TARGET_FP_RATE = 0.0027  # 정규분포 3시그마에 해당하는 목표 오탐률
anomaly_threshold = stats.chi2.ppf(1 - TARGET_FP_RATE, df=1)

목표 오탐률(false positive rate)은 정상 데이터를 이상으로 잘못 판정할 확률의 상한이다. 0.0027은 정규분포 양측 3σ에 해당하는 대략적인 값으로, 실무에서는 업무에서 허용 가능한 오탐률에 맞게 조정한다. 이 값을 낮게 잡을수록 임계값이 높아져 오탐은 줄지만 실제 이상을 놓칠 위험은 늘어난다. 이 임계값(약 9.00)은 목표 오탐률과 자유도로만 정해지므로 어떤 단변량 변수에 적용하든 같은 값이다. 1편의 EDA에서 정상과 이상을 가장 잘 구분했던 temp2에 이 임계값을 적용하면, 추론 데이터 510건 중 10건이 이를 넘어 이상으로 판정된다. 이 10건은 실제 이상 10건과 정확히 일치하고 오탐은 없다. 정상 데이터의 이상 점수는 최대 8.4, 이상 데이터의 이상 점수는 최소 10.22로 임계값 9.00을 사이에 두고 나뉜다.

temp2 이상 점수의 히스토그램과 임계값
temp2 이상 점수의 히스토그램과 임계값

정상 데이터의 이상 점수는 0 근처에 몰려 있고, 이상 데이터의 이상 점수는 임계값을 넘는 쪽에 뚜렷하게 분리되어 있다.

표준편차 단위로 정상 범위를 정하고 그 밖을 이상으로 보는 발상의 직접적인 조상은 Walter Shewhart가 1920년대 Bell 연구소에서 고안한 관리도(control chart)다. 관리도는 공정 평균에서 표준편차의 3배 떨어진 지점을 관리한계로 두고, 이를 벗어난 측정값을 공정에 이상 원인이 생긴 신호로 본다. 여기서 쓴 3시그마 기준 임계값은 이 관리한계를 그대로 옮긴 것이다. 흔히 함께 거론되는 모토로라의 식스시그마(Six Sigma)는 공정 산포를 줄여 규격 한계가 평균에서 표준편차의 6배 밖에 놓이도록 만드는 공정능력 목표이므로, 이상 판정 임계값과는 다른 개념이다.

정규분포를 벗어난 데이터 다루기

홀텔링 이론은 정상 데이터가 정규분포를 따른다는 전제 위에 서 있다. 하지만 실제 데이터는 좌우 비대칭이거나 꼬리가 두꺼운 경우가 많다. 이럴 때는 정규분포 대신 데이터의 형태에 맞는 다른 확률분포를 골라 최우추정을 적용한다. 분포를 고르는 기준은 크게 세 가지다. 봉우리가 몇 개인지, 좌우 대칭인지, 꼬리가 얼마나 두꺼운지다. 좌우 비대칭인 데이터라면 감마분포나 로그정규분포가 유력한 후보가 된다. 이 글은 그중 감마분포를 예로 든다. 로그정규분포는 데이터에 로그를 취한 값에 정규분포를 최우추정하는 것과 같아, 절차 자체는 다르지 않다.

형상 파라미터 k=3k=3, 척도 파라미터 θ=2\theta=2인 감마분포에서 뽑은 표본에 감마분포를 최우추정으로 적합해보면, 추정된 파라미터(kk=3.172, θ\theta=1.941)가 원래 값에 가깝게 복원된다. 감마분포의 확률밀도함수는 다음과 같다.

p(x;k,θ)=1Γ(k) θkxk−1e−x/θ,x>0p(x; k, \theta) = \frac{1}{\Gamma(k)\,\theta^{k}} x^{k-1} e^{-x/\theta}, \qquad x > 0

정규분포와 달리 이 밀도함수의 로그가능도를 최대화하는 kk, θ\theta는 닫힌 형태의 해가 없어 수치적으로 구해야 한다.

params = stats.gamma.fit(x_train, floc=0)
gamma_shape, gamma_scale = params[0], params[2]
감마분포를 따르는 데이터와 최우추정으로 적합한 감마분포
감마분포를 따르는 데이터와 최우추정으로 적합한 감마분포

정규분포를 가정했다면 좌우 비대칭인 이 데이터의 왼쪽 꼬리와 오른쪽 꼬리에 동일한 이상 점수를 부여했겠지만, 감마분포를 쓰면 실제 분포 형태에 맞는 이상 점수를 얻는다. 참고로 정규분포에서는 앞에서 쓴 표준화 제곱 a(x)a(x)가 −log⁡p(x)-\log p(x)와 단조 관계에 있어 사실상 같은 역할을 한다. 일반 분포에서는 확률밀도의 음의 로그값(음의 로그밀도)을 이상 점수로 삼고, 정상 데이터에서 계산한 이상 점수의 상위 분위점(목표 오탐률에 해당하는 위치)을 임계값으로 정한다. 절차 자체는 홀텔링 이론과 크게 다르지 않다. 이 절의 예제는 분포 적합까지만 보여주고 판정 단계는 구현하지 않았다. 같은 분위점 방식의 판정은 뒤의 GMM 절에서 코드로 확인한다.

계수 데이터의 이상을 탐지하기

지금까지는 온도처럼 연속적으로 변하는 데이터를 다뤘다. 이제 셈으로 얻어지는 계수 데이터(count data)로 넘어간다. 시도 횟수 중 성공 횟수, 단위 면적당 발생 건수 같은 데이터다. 계수 데이터에는 정규분포 대신 이항분포나 포아송분포를 적용한다.

이항분포는 전체 시도 수 nn 중 성공 수 xx가 어떤 성공 확률 μ\mu를 따를 때 적합하다. 확률질량함수는 다음과 같다.

P(x;n,μ)=(nx)μx(1−μ)n−xP(x; n, \mu) = \binom{n}{x}\mu^{x}(1-\mu)^{n-x}

이 확률질량함수의 로그가능도를 최대화하면, 성공 확률의 최우추정량은 전체 성공 수를 전체 시도 수로 나눈 값으로 닫힌 형태를 갖는다.

μ^=∑ixi∑ini\hat{\mu} = \frac{\sum_i x_i}{\sum_i n_i}

NBA 선수의 시즌별 3점슛 데이터로 이 방법을 시험해본다. 2022시즌 전체 선수의 성공률로 성공 확률 파라미터를 추정한 뒤, 2023시즌 각 선수의 시도 수 nn을 반영해 이항분포의 분위수로 정상 범위를 정하고 성공 수가 그 범위를 벗어나는지 판정한다.

success_rate = np.sum(x_train) / np.sum(n_train)  # 성공 확률 파라미터, 0.3536
th_lower = stats.binom.ppf(TARGET_FP_RATE / 2, n=n_inference, p=success_rate)
th_upper = stats.binom.ppf(1 - TARGET_FP_RATE / 2, n=n_inference, p=success_rate)
3점슛 시도 수 대비 성공률의 정상 범위와 이상 판정된 선수
3점슛 시도 수 대비 성공률의 정상 범위와 이상 판정된 선수

시도 수가 적을수록 정상 범위가 넓어지는 것을 볼 수 있다. 시도가 몇 번 안 되는 상태에서 우연히 성공률이 튀는 것과, 수백 번 시도하고도 성공률이 치우친 것은 통계적으로 다른 무게를 가지기 때문이다. 2023시즌 선수 중 8명이 이 기준으로 이상 판정을 받았다. 7명은 상한을 넘은 쪽이고, 1명은 111회 시도에 24개만 성공해 하한 아래로 떨어진 쪽이다. 이 예제에서 이상은 결함이 아니라 리그 평균 성공률 하나로는 설명되지 않는 선수, 즉 특출나게 잘 던지거나 못 던지는 슈터를 뜻한다. 바꿔 말하면 선수마다 성공률이 다르다는 사실을 이항분포 하나가 담아내지 못한 결과이기도 한데, 이 문제는 다음 절에서 과분산이라는 이름으로 다룬다.

포아송분포는 단위 구간(면적, 시간)당 발생 건수 xx가 평균 발생률 μ\mu를 따를 때 적합하다. 노출량(면적×기간) tt가 관측치마다 다르면 기대 발생 건수는 λ=μt\lambda = \mu t가 되고, 확률질량함수는 다음과 같다.

P(x;λ)=λxe−λx!P(x; \lambda) = \frac{\lambda^{x} e^{-\lambda}}{x!}

최우추정량은 이항분포와 마찬가지로 전체 발생 건수를 전체 노출량으로 나눈 값이다.

μ^=∑ixi∑iti\hat{\mu} = \frac{\sum_i x_i}{\sum_i t_i}

기상청이 공개하는 국내 지진 관측 데이터로 시험해본다. 2020~2023년 데이터로 시도별 면적당 연평균 지진 발생률을 추정하고, 2024년 이후 데이터가 이 기준에서 벗어나는지 판정한다.

rate_per_exposure = np.sum(x_train) / np.sum(t_train)  # 면적·연 단위당 평균 발생 수, 0.000543
th_lower = stats.poisson.ppf(TARGET_FP_RATE / 2, mu=rate_per_exposure * t_test)
th_upper = stats.poisson.ppf(1 - TARGET_FP_RATE / 2, mu=rate_per_exposure * t_test)
지역 면적 대비 지진 밀도의 정상 범위와 이상 판정된 지역
지역 면적 대비 지진 밀도의 정상 범위와 이상 판정된 지역

울산과 제주 두 지역이 이 기준을 벗어나 이상으로 판정됐다. 둘 다 면적이 좁은 지역이라 절대 건수(울산 8건, 제주 23건)는 많지 않지만, 면적당 밀도로 보면 전국 평균 발생률로 기대되는 값의 각각 5배와 9배를 넘는다.

건수가 적은 계수 데이터의 어려움을 다룬 사례로 Amazon Prime Video 연구진이 2023년에 발표한 저계수(low-count) 시계열 이상탐지 연구가 있다. 대규모 온라인 플랫폼이 감시하는 지표 중에는 단위 시간당 발생 건수가 한 자릿수에 머무는 드문 이벤트가 많다. 연구진은 평균 발생률 λ\lambda를 따르는 포아송분포로 이런 계수를 생성하고 발생률이 일정 비율 줄어드는 구간을 이상으로 주입한 벤치마크를 만들었다. 포아송 변수의 신호 대 잡음비는 λ\sqrt{\lambda}에 비례하므로 건수가 적을수록 정상 구간과 이상 구간의 분포가 겹치고, 널리 쓰이는 알고리즘들이 모두 이 구간에서 성능이 떨어졌다. 연구진은 이상 점수를 시간 방향으로 평활화하는 후처리가 성능을 일관되게 올린다는 것을 월마트 소매점 판매량 데이터에서도 확인했다. 지진 예제에서 절대 건수가 적은 지역일수록 정상 범위가 상대적으로 넓어지는 것과 같은 원인이다.

분산이 예상보다 큰 계수 데이터 다루기, 과분산

포아송분포에는 평균과 분산이 같다는 전제가 숨어 있다. 그런데 실제 계수 데이터는 평균보다 분산이 훨씬 큰 경우가 잦다. 이를 과분산(overdispersion)이라 부른다. 과분산 상태에서 포아송분포를 그대로 쓰면 정상 범위를 실제보다 좁게 잡아, 정상 데이터를 이상으로 오판하는 경우가 늘어난다. 앞 절의 이항분포 예제도 같은 문제를 안고 있다. 선수마다 성공률이 다르면 성공 수의 분산은 성공 확률 하나로 계산한 이항분포의 분산보다 커지고, 그 차이가 상한을 넘는 선수로 나타난다. 이항분포에서는 성공 확률이 베타분포를 따라 선수마다 다르다고 가정하는 베타이항분포로 같은 보정을 할 수 있는데, 이 글에서는 포아송분포 쪽 보정만 코드로 다룬다.

대만은 전 국민 건강보험 청구 데이터(NHIRD)로 지역별 인플루엔자 유사 질환(ILI) 진료 건수의 이상 발생을 감시하는데, 탐색적 분석에서 진료 건수의 분산이 포아송분포 가정보다 훨씬 크게 나타나 음이항분포 기반 모델을 채택했다. 계수 데이터를 다루는 실무에서는 과분산이 예외가 아니라 흔한 경우다.

과분산 여부는 피어슨 카이제곱 통계량을 자유도로 나눈 과분산비로 점검한다. 관측값 xix_i와 포아송 모델의 기대값 tiμ^t_i\hat{\mu}의 차이를 표준화해 제곱합으로 모으면 피어슨 카이제곱 통계량이 되고, 이를 자유도 N−1N-1로 나눈 값이 과분산비다. 이 값이 1에 가까우면 포아송 가정이 잘 맞고, 1보다 훨씬 크면 과분산을 의심해야 한다.

χPearson2=∑i(xi−tiμ^)2tiμ^,과분산비=χPearson2N−1\chi^2_{\text{Pearson}} = \sum_i \frac{(x_i - t_i\hat{\mu})^2}{t_i\hat{\mu}}, \qquad \text{과분산비} = \frac{\chi^2_{\text{Pearson}}}{N-1}

pearson_chi2 = np.sum((x_train - t_train * rate_per_exposure) ** 2 / (t_train * rate_per_exposure))
overdispersion_ratio = pearson_chi2 / (len(x_train) - 1)  # 7.76

지진 데이터의 과분산비는 7.76으로, 포아송분포의 전제를 크게 벗어난다. 지역마다 지진이 나는 이유(단층대 분포, 해역 인접 여부)가 다르므로, 하나의 평균 발생률로는 지역 간 편차를 다 담아내지 못한다. 이럴 때는 포아송분포 대신 음이항분포(negative binomial distribution)를 쓴다. 음이항분포는 발생률 자체가 감마분포를 따라 지역마다 다르다고 가정해서, 포아송분포보다 넓은 분산을 표현할 수 있다. 이 감마분포의 형상 파라미터 kk와 척도 파라미터 θ\theta(앞 절의 감마분포와 같은 파라미터화)로 나타낸 확률질량함수는 다음과 같다. 이 파라미터화에서 평균은 kθtk\theta t, 분산은 kθt(1+θt)k\theta t(1+\theta t)로, 분산이 평균보다 1+θt1+\theta t배 크다. θ\theta가 과분산의 정도를 정한다.

P(x;k,θ,t)=(x+k−1x)pk(1−p)x,p=11+θtP(x; k, \theta, t) = \binom{x+k-1}{x} p^{k}(1-p)^{x}, \qquad p = \frac{1}{1+\theta t}

음이항분포의 파라미터는 이 식에 닫힌 형태의 해가 없어, 다음처럼 음의 로그가능도를 수치 최적화로 최소화해 최우추정한다.

k^,θ^=arg⁡min⁡k,θ(−∑ilog⁡P(xi;k,θ,ti))\hat{k}, \hat{\theta} = \arg\min_{k,\theta}\left(-\sum_i \log P(x_i; k, \theta, t_i)\right)

from scipy.optimize import minimize
from scipy.stats import nbinom

def neg_log_likelihood(params, x, t):
    nb_shape, nb_theta = params
    if nb_shape <= 0 or nb_theta <= 0:
        return np.inf
    nb_prob = 1.0 / (1.0 + nb_theta * t)
    return -nbinom.logpmf(x, n=nb_shape, p=nb_prob).sum()

initial_guesses = [(10.0, rate_per_exposure / 10.0), (1.0, rate_per_exposure),
                    (0.5, rate_per_exposure * 2), (50.0, rate_per_exposure / 50.0)]
best_result = None
for init_guess in initial_guesses:
    result = minimize(
        neg_log_likelihood, x0=init_guess, args=(x_train, t_train),
        method="L-BFGS-B", bounds=[(1e-5, None), (1e-5, None)],
    )
    if best_result is None or result.fun < best_result.fun:
        best_result = result

이 최적화는 초기값에 따라 다른 지역해로 수렴하기 쉬우므로, 위처럼 평균 발생률 kθk\theta가 추정값 근처에 오도록 잡은 여러 초기값으로 시도한 뒤 음의 로그가능도(result.fun)가 가장 작은, 즉 가장 잘 맞는 결과를 채택한다.

과분산을 반영한 음이항분포 기준 정상 범위
과분산을 반영한 음이항분포 기준 정상 범위

포아송분포를 썼을 때는 울산과 제주 두 지역이 이상으로 판정됐지만, 음이항분포로 바꾸자 제주만 남았다. 지역 간 발생률 편차를 분산에 반영하자 정상 범위의 상한이 올라가 기대값의 5배 수준인 울산은 그 안으로 들어왔고, 9배가 넘는 제주는 넓어진 범위로도 설명되지 않아 여전히 기준을 벗어났다. 이 결과는 계수 데이터를 다룰 때 분산이 평균과 같다는 전제를 그냥 받아들이지 말고, 먼저 과분산비로 점검해야 한다는 점을 보여준다. 과분산을 무시하면 울산처럼 지역 간 편차의 범위 안에 있는 지역까지 오탐으로 잡아낼 수 있다.

홀텔링 이론을 다변량으로 확장하기

지금까지 다룬 방법은 변수 하나만 봤다. 하지만 변수가 여럿이고 서로 상관관계를 가진다면, 변수를 하나씩 따로 보는 것만으로는 부족하다. 1편의 EDA에서 확인했듯 temp1, temp2, temp3는 서로 상관이 있었다. 홀텔링 이론은 다변량으로도 확장된다. 평균 벡터 μ^\hat{\boldsymbol{\mu}}와 분산공분산행렬 Σ^\hat{\Sigma}로 이상 점수(마할라노비스 거리의 제곱)를 정의한다.

a(x)=(x−μ^)TΣ^−1(x−μ^)a(\mathbf{x}) = (\mathbf{x} - \hat{\boldsymbol{\mu}})^T \hat{\Sigma}^{-1} (\mathbf{x} - \hat{\boldsymbol{\mu}})

임계값은 변수 개수 MM을 자유도로 하는 카이제곱분포에서 구한다.

cov_inv = np.linalg.inv(cov_matrix)
centered_X = X - mean_vec
anomaly_scores = np.sum((centered_X @ cov_inv) * centered_X, axis=1)
anomaly_threshold = stats.chi2.ppf(1 - TARGET_FP_RATE, df=n_features)  # 11.829

temp1, temp2 두 변수로 이 방법을 적용하면 다음과 같은 타원형 결정 경계가 그려진다.

다변량 홀텔링 이론의 결정 경계
다변량 홀텔링 이론의 결정 경계

경계가 원이 아니라 기울어진 타원인 이유는 두 변수가 상관관계를 가지기 때문이다. 이 데이터에서 두 변수의 분산은 같으므로 타원의 기울기는 전적으로 상관(공분산)에서 나온다. 분산까지 다르다면 타원은 분산이 큰 축 방향으로 더 길어진다. 두 변수를 따로 단변량 홀텔링 이론으로 봤다면 각각 정상 범위 안에 있는 값이라도, 두 변수의 조합이 정상 데이터의 상관 구조에서 벗어난다면 다변량 홀텔링 이론은 이를 이상으로 잡아낸다.

이 방식은 반도체 파운드리에서 실제로 쓰인다. 대만 국립교통대학(National Chiao Tung University) 연구진은 12인치 웨이퍼 fab의 HDP CVD 장비에 다변량 홀텔링 이론을 적용해, 장비 파라미터의 ±5% 수준 미세 변동까지 감지했다. 기존의 PDCA 기반 정성적 점검보다 이상 탐지 능력이 뛰어났다.

다변량 데이터에 마할라노비스-다구치법 적용하기

다변량 홀텔링 이론은 데이터 전체가 이상인지 아닌지는 판정하지만, 어떤 변수가 그 이상에 기여했는지는 알려주지 않는다. 마할라노비스-다구치법(Mahalanobis-Taguchi method)은 이상으로 판정된 데이터에 대해 변수별 기여도 지표를 계산해 이 문제를 보완한다. MTS 원 논문의 SN비(signal-to-noise ratio)는 여러 이상 샘플에 대한 조화평균을 기반으로 정의되지만, 여기서는 그 발상을 단순화해 변수 jj의 편차 제곱을 분산으로 나눈 값에 로그를 취해 데시벨 단위로 나타낸다.

ηj=10log⁡10(xj−μ^j)2σ^j2\eta_j = 10 \log_{10}\frac{(x_j - \hat{\mu}_j)^2}{\hat{\sigma}_j^2}

variances = np.diag(cov_matrix)  # 각 변수의 분산
sn_ratio = 10 * np.log10((x_j - mean_vec[j]) ** 2 / variances[j])

SN비가 클수록 그 변수는 정상 범위에서 크게 벗어나고, 편차가 표준편차보다 작으면 음수가 된다. 이 단순화 지표는 변수 간 상관을 반영하지 않는 단변량 기여도라는 한계가 있다. 다변량 홀텔링 이론이 이상으로 판정한 데이터에 대해 temp1, temp2 각각의 SN비를 그려보면 다음과 같다.

이상 판정된 데이터의 변수별 SN비
이상 판정된 데이터의 변수별 SN비

이상 사례 10건 중 9건은 temp2의 SN비가 temp1보다 커서, temp2가 이상에 더 크게 기여했음을 보여준다. 앞선 관찰과 일치하는 결과다. 실무에서는 이렇게 변수별 기여도를 분리해두면, 이상이 감지됐을 때 어느 센서나 지표를 먼저 살펴봐야 할지 우선순위를 정할 수 있다. MTS는 다구치 겐이치가 실제 산업 현장에서 쓰기 위해 고안한 방법으로, 국내에서도 적용 사례가 있다. 고등기술연구원 연구진은 원자력 발전소의 가압기 압력 제어 계통에 MTS를 적용해, 전범위 시뮬레이터로 재현한 압력 전송기 고장 시나리오에서 센서를 하나씩 감시하는 기존 방식보다 고장을 빠르게 감지했다. 현대모비스는 조향감처럼 주관적인 평가 항목을 객관적인 수치로 바꾸는 데 MTS를 썼다. 태블릿 PC 생산공정에서는 MTS로 테스트 항목을 56개에서 14개로 줄이면서도 예측력 98%를 얻어, 같은 데이터에 적용한 로지스틱 회귀(93.3%)와 신경망(94.7%)보다 나은 결과를 보였다.

혼합정규분포모델(GMM)로 여러 정상 군집을 반영하기

지금까지 다룬 다변량 기법은 정상 데이터가 하나의 봉우리를 가진 분포를 따른다고 가정했다. 이 가정이 깨지는 경우, 즉 정상 상태가 여러 개의 군집으로 나뉘는 경우를 다룬다. 예를 들어 하나의 생산 라인이 두 가지 운전 모드로 번갈아 동작한다면, 정상 데이터는 두 개의 봉우리를 가진다. 혼합정규분포모델(Gaussian mixture model, GMM)은 여러 개의 정규분포를 가중합해 이런 다봉우리 분포를 표현한다. 성분이 KK개인 GMM의 확률밀도함수는 다음과 같다.

p(x)=∑k=1Kπk N(x;μk,Σk),∑k=1Kπk=1p(\mathbf{x}) = \sum_{k=1}^{K} \pi_k \, \mathcal{N}(\mathbf{x}; \boldsymbol{\mu}_k, \Sigma_k), \qquad \sum_{k=1}^{K} \pi_k = 1

혼합 비율 πk\pi_k와 각 성분의 평균·분산공분산행렬은 EM 알고리즘으로 최우추정한다. scikit-learn의 GaussianMixture로 학습하고, score_samples 메서드가 반환하는 로그 확률밀도 log⁡p(x)\log p(\mathbf{x})의 음수를 이상 점수로 삼는다. 임계값은 카이제곱분포 같은 이론 분포가 없으므로, 학습 데이터의 이상 점수를 모두 계산해 목표 오탐률에 해당하는 상위 0.27% 분위점을 쓴다.

from sklearn.mixture import GaussianMixture

gmm = GaussianMixture(n_components=2, random_state=42)
gmm.fit(X_train)
train_scores = -gmm.score_samples(X_train)
anomaly_threshold = np.quantile(train_scores, 1 - TARGET_FP_RATE)
anomaly_scores = -gmm.score_samples(X_inference)

이 절과 다음 절은 생산 라인 데이터 대신 두 개의 정상 군집을 가진 2차원 합성 데이터를 쓴다. 정상 데이터는 중심이 (0, 0)과 (4, 0)인 두 정규분포에서 600건씩 생성했고, 두 번째 군집은 분산이 더 크고 두 변수에 상관이 있다. 추론 데이터는 같은 두 분포에서 100건씩 뽑은 정상 200건에, 중심 (3, 2) 주변에서 뽑은 이상 20건을 더했다. 이상 군집을 두 번째 정상 군집과 일부 겹치는 위치에 둔 것은 의도한 설계다. 정상 영역에서 멀리 떨어진 이상은 어떤 방법으로도 잡히므로, 경계 근처의 이상에서 방법 간 차이가 드러난다.

GMM으로 학습한 두 정상 군집과 결정 경계
GMM으로 학습한 두 정상 군집과 결정 경계

정상 영역이 두 군집을 하나로 감싸는 땅콩 모양으로 그려진다. 두 군집은 중심 거리가 4인 데 비해 퍼짐이 커서 사이가 비어 있지 않고, 대신 두 군집이 만나는 위아래 부분이 오목하게 파인다. 다변량 홀텔링 이론처럼 정규분포 하나로 정상 영역을 잡았다면 이 오목한 부분까지 타원 안에 들어가 정상으로 판정됐을 텐데, GMM은 이 부분을 정상 영역에서 뺀다. 그 차이가 이상 군집 (3, 2)에서 드러난다. 같은 데이터에 정규분포 하나를 적합하면 이상 20건 중 1건만 잡지만, GMM은 8건을 잡는다(오탐은 1건). 나머지 12건은 두 번째 정상 군집과 겹치는 위치라 어떤 밀도 기준으로도 정상과 구분되지 않는다.

운전 모드가 여럿인 설비를 혼합모델로 다룬 산업 사례로 IBM Research가 2016년에 발표한 석유 생산용 압축기의 센서 데이터 분석이 있다. 압축기는 운전 조건에 따라 여러 정상 상태를 오가는데, 정규분포 하나를 가정하는 홀텔링 이론으로는 이 상태 변화를 담을 수 없어 오탐이 피할 수 없는 것으로 여겨지고 있었다. 연구진은 변수 사이의 의존 관계를 희소 그래프로 표현한 가우스 마르코프 확률장(Gaussian Markov random field)을 성분으로 하는 혼합모델을 학습해 운전 모드를 자동으로 나누고, 변수별 이상 점수까지 내면서 오탐을 크게 줄였다. 성분이 GMM의 정규분포에서 희소 그래프 모델로 바뀌었을 뿐, 여러 정상 군집을 혼합 분포로 표현한다는 발상은 이 절의 GMM과 같다.

분포를 가정하지 않고 이상을 탐지하기, 비모수적 kNN

GMM도 정상 데이터가 정규분포들의 혼합이라는 형태를 가정한다. 이 가정마저 내려놓고 싶다면 비모수적(non-parametric) 방법을 쓴다. k-최근접 이웃(k-nearest neighbors, kNN)은 어떤 확률분포도 가정하지 않고, 각 데이터에서 k번째로 가까운 이웃까지의 거리를 이상 점수로 삼는다. 정상 데이터가 밀집한 영역에서는 이 거리가 짧고, 정상 데이터에서 먼 영역에서는 거리가 길어진다. 코드에서 쓴 민코프스키 거리는 MM차원 벡터 x\mathbf{x}, x′\mathbf{x}' 사이의 거리를 다음과 같이 정의하며, p=2p=2면 흔히 쓰는 유클리드 거리가 된다.

d(x,x′)=(∑i=1M∣xi−xi′∣p)1/pd(\mathbf{x}, \mathbf{x}') = \left(\sum_{i=1}^{M} |x_i - x_i'|^p\right)^{1/p}

거리 기반이므로 1편의 SVM과 같은 이유로 변수를 표준화한 뒤 거리를 잰다. 임계값은 GMM과 같은 분위점 방식이지만 한 가지 주의할 점이 있다. 학습 데이터 자체에서 k번째 이웃 거리를 재면 각 점의 가장 가까운 이웃이 자기 자신이 되어 거리가 0으로 나오므로, 학습 데이터를 절반으로 나눠 한쪽으로 이웃 탐색 모델을 만들고 다른 쪽의 거리 분포에서 분위점을 구한다.

거리를 이상 점수로 삼고 분위점으로 임계값을 정하는 틀은 상용 데이터 웨어하우스에도 들어가 있다. Google BigQuery ML의 이상탐지 함수는 k-평균 모델에 대해 입력 데이터에서 가장 가까운 군집 중심까지의 거리를 그 군집의 반지름(소속 데이터의 중심 거리 제곱평균제곱근)으로 나눈 정규화 거리를 이상 점수로 쓰고, 학습 데이터 중 이상으로 간주할 비율(contamination)에서 임계값을 정한다. kNN이 이웃 한 점까지의 거리를 재는 데 비해 군집 중심까지의 거리를 재는 차이는 있지만, 분포를 가정하지 않고 거리와 분위점만으로 판정한다는 점은 같다.

from sklearn.model_selection import train_test_split
from sklearn.neighbors import NearestNeighbors
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

X_for_train, X_for_threshold = train_test_split(X_train, train_size=0.5, random_state=42)
knn = NearestNeighbors(n_neighbors=k, algorithm="auto", metric="minkowski")
pipe = Pipeline([("scaler", StandardScaler()), ("knn", knn)])
pipe.fit(X_for_train)                                           # 학습 데이터의 절반

X_th_std = pipe.named_steps["scaler"].transform(X_for_threshold)  # 나머지 절반으로 임계값 결정
distances, _ = pipe.named_steps["knn"].kneighbors(X_th_std)
anomaly_threshold = np.quantile(distances[:, -1], 1 - TARGET_FP_RATE)

X_inf_std = pipe.named_steps["scaler"].transform(X_inf)
distances_inf, _ = pipe.named_steps["knn"].kneighbors(X_inf_std)  # [:, -1]이 k번째 이웃까지의 거리

k 값에 따라 결정 경계가 어떻게 달라지는지 비교해본다.

k 값에 따른 kNN 결정 경계 비교
k 값에 따른 kNN 결정 경계 비교

k=1일 때는 개별 데이터 하나하나에 민감하게 반응해 경계가 울퉁불퉁하고, k=25일 때는 여러 이웃의 평균적인 밀집도를 보기 때문에 경계가 매끄럽다. 이 양상은 1편에서 본 SVM의 감마 값에 따른 과적합 현상과 유사하다(모델 복잡도가 올라가면 경계가 복잡해진다). 이웃 수가 적을수록 학습 데이터 하나하나에 맞춰 복잡한 경계가 그려지고, 이웃 수가 많을수록 데이터 전체의 경향을 반영한 완만한 경계가 그려진다. 탐지 결과는 세 경우 모두 이상 20건 중 절반에 못 미친다. k=1은 3건, k=5는 6건, k=25는 3건을 잡았고 오탐은 0~1건이다. GMM과 마찬가지로 두 번째 정상 군집과 겹치는 이상은 밀집도로 구분되지 않기 때문이고, 그중에서는 k=5가 오목한 부분을 가장 잘 살려 가장 많이 잡았다. 1편의 SVM은 라벨이 있어 교차검증으로 하이퍼파라미터를 골랐지만, 라벨이 없는 비지도 설정에서는 정답이 없으므로 교차검증 자체가 성립하지 않는다. 소수의 라벨된 이상 사례가 있을 때에 한해 그 사례로 k를 고를 수 있고, 그마저 없다면 경계가 지나치게 울퉁불퉁하지 않은 범위에서 k를 보수적으로 잡는 수밖에 없다.

2편에서 다룬 기법들이 논문의 분류체계에서 차지하는 위치

이 글에서 다룬 기법 중 홀텔링 이론, 마할라노비스-다구치법, GMM은 정상 데이터의 확률분포를 직접 추정한다는 공통점을 가진다. 논문 “Dive into Time-Series Anomaly Detection: A Decade Review”의 분류체계에서는 이런 접근을 밀도 기반(density-based) 방법으로 묶는다. kNN은 분포를 추정하지 않고 거리만 재므로 다른 갈래에 속한다.

이 글의 기법논문의 분류체계에서의 위치
홀텔링 이론(단변량, 다변량), 마할라노비스-다구치법밀도 기반, 분포 기반
혼합정규분포모델(GMM)밀도 기반, 인코딩 기반
비모수적 kNN거리 기반, 근접 기반

홀텔링 이론과 마할라노비스-다구치법은 정상 데이터가 특정 확률분포(정규분포)를 따른다고 명시적으로 가정하므로 분포 기반으로 분류된다. GMM은 데이터를 여러 정규분포 성분으로 다시 표현한 뒤 그 위에서 밀도를 추정하므로 밀도 기반 중 인코딩 기반에 해당한다. 반면 kNN은 확률분포를 전혀 가정하지 않고 데이터 사이의 거리만으로 이상을 판정하므로, 거리 기반·근접 기반으로 분류된다. 이 대응 관계는 4편에서 시계열 데이터로 넘어갈 때 다시 확인한다.

이상탐지 분류체계 속 2편의 위치, 근접 기반·분포 기반·인코딩 기반

요약

비지도학습 이상탐지는 정상 데이터에 확률분포나 밀집도 모델을 맞추고, 그 모델에서 벗어난 정도로 이상을 판정한다. 변수가 하나면 정규분포와 홀텔링 이론에서 시작해 데이터 형태에 맞는 다른 확률분포로, 계수 데이터라면 이항·포아송분포로, 과분산이 있다면 음이항분포로 넘어간다. 변수가 여럿이고 서로 상관관계를 가진다면 다변량 홀텔링 이론과 마할라노비스-다구치법이 그 상관 구조까지 반영한다. 정상 상태가 여러 군집으로 나뉜다면 GMM이, 어떤 확률분포도 가정하고 싶지 않다면 kNN이 대안이 된다.

참조 사이트


Mimul

Written byMimul
Mimul is a programmer, technologist, exercise enthusiast and more.
Connect

Related ArticlesView All