해석 가능한 신경망 (Interpretable Neural Network)

안녕하세요! 오늘은 '해석 가능한 신경망'에 대해 알아보는 시간을 가져볼까 합니다. 머신러닝에 관심이 많은 분들이라면 한 번쯤 들어보셨을 이야기인데요.

왜 해석 가능한 신경망이 필요한가요?

머신러닝 모델, 특히 딥러닝 모델은 '블랙박스'라는 별명이 있죠. 이는 모델의 내부 동작 방식이 복잡하고 불투명하기 때문입니다. 하지만 이런 불투명성은 신뢰성 저하를 가져오며, 오류 발생 시 원인 분석을 어렵게 만듭니다. 특히 의료, 금융 등과 같이 중요한 분야에서는 심각한 문제를 일으킬 수 있죠. 그래서 '왜' 그런 결과가 나왔는지 이해하고 설명할 수 있는 '해석 가능한 신경망'이 필요하게 되었습니다.

해석 가능한 신경망을 어떻게 만드나요?

해석 가능한 신경망을 만드는 방법에는 여러 가지가 있습니다. 대표적으로 feature importance를 이용한 방법이 있는데, Python 코드와 함께 살펴보겠습니다.

1. 피처 중요도(Feature Importance): 모델의 예측에 대한 각 피쳐의 기여도를 측정하는 방법입니다. 랜덤 포레스트나 그래디언트 부스팅과 같은 트리 기반 모델의 경우, scikit-learn은 피팅 후 각 피쳐의 중요도를 알려주는 기능을 제공합니다.

from sklearn.datasets import load_boston
from sklearn.ensemble import RandomForestRegressor

# Load data
boston = load_boston()
X = boston["data"]
Y = boston["target"]

# Train model
rf = RandomForestRegressor()
rf.fit(X, Y)

# Print feature importance
print(sorted(zip(map(lambda x: round(x, 4), rf.feature_importances_), boston["feature_names"]), reverse=True))

2. LIME (Local Interpretable Model-agnostic Explanations): LIME은 예측을 중심으로 국소적으로 해석 가능한 모형을 학습함으로써 모든 분류기의 예측을 해석 가능하고 신뢰 가능한 방식으로 설명합니다.

import lime
import lime.lime_tabular

# Create Lime explainer
explainer = lime.lime_tabular.LimeTabularExplainer(X, feature_names=boston["feature_names"], class_names=['price'], verbose=True, mode='regression')

# Explain a prediction
i = 20
exp = explainer.explain_instance(X[i], rf.predict)
exp.show_in_notebook(show_table=True)

3. SHAP (SHapley Additive exPlanations): SHAP 값은 해당 피쳐가 일부 기준선 값을 가질 경우 예측한 값과 비교하여 해당 피쳐에 대한 특정 값의 영향을 해석합니다.

import shap

# Create SHAP explainer
explainer = shap.TreeExplainer(rf)

# Calculate SHAP values
shap_values = explainer.shap_values(X)

# Visualize a prediction's explanation
shap.initjs()
shap.force_plot(explainer.expected_value, shap_values[0,:], X[0])

이외에도 다음과 같은 방법도 사용되고 있습니다.

1. 더 간단한 구조: 해석 가능한 신경망은 일반적으로 해석이 더 직관적인 결정 트리, 규칙 기반 모델, 또는 attention mechanism과 같은 간단한 구조를 사용합니다.
2. Attention Mechanism: Transformer와 같은 모델에서의 attention mechanism은 예측을 만드는 데 있어 다양한 입력 요소의 중요성을 시각화하는 데 사용될 수 있습니다.
3. 규칙 기반 모델: 규칙 기반 모델은 종종 '만약 ~라면, ~한다'는 규칙을 정의하여 모델의 결정에 대한 명확한 설명을 제공하는 데 사용됩니다.
4. 민감도 분석: 민감도 분석은 입력 데이터를 약간 변형하면서 모델 예측이 어떻게 변하는지 관찰함으로써 모델의 동작에 대한 통찰을 얻는 데 사용됩니다.

 

앞으로의 연구 방향성.

• Model-agnositc 방법: SHAP와 LIME과 같은 model-agnostic 방법론은 계속해서 발전하며 다양한 모델에 적용되게 될 것입니다.
• 하이브리드 모델: 연구자들은 복잡한 딥러닝 모델의 높은 성능과 해석 가능한 신경망의 투명성을 결합하는 작업을 진행 중입니다.
• 규제 준수: 모델 해명에 관한 규제가 늘어나면서, 이러한 요구를 충족시키기 위해 해석 가능한 신경망에 대한 연구가 확대될 것입니다.
• 인간-AI 협력: 미래의 연구는 해석 가능한 신경망을 더 사용자 친화적으로 만들어 인간과 AI의 협력과 의사결정을 개선하는 데 초점을 맞출 것입니다.

현재 해석 가능한 머신러닝에 대한 관심과 연구가 점점 늘어나고 있는 추세입니다. 이는 모델의 해석력과 성능을 높이는 것뿐만 아니라, 데이터의 편향을 탐지하고, 모델의 잠재적인 문제점을 발견하며, 법적 및 윤리적 고려사항을 준수하는 것에 의해 주도되고 있습니다. 많은 규제 기관들이 알고리즘의 투명성과 해석 가능성을 요구하고 있으며, 이러한 요구는 앞으로 더욱 강화될 것으로 예상됩니다. 미래의 연구는 더욱 복잡한 해석 방법을 개발하는 것을 넘어, 본질적으로 해석 가능한 모델을 설계하는 데 초점을 맞출 것입니다. 이는 예측뿐만 아니라 그 예측이 왜 이루어졌는지 설명할 수 있는 머신러닝 모델을 만드는 것을 의미합니다. 앞으로의 연구를 통해 해석 가능한 신경망의 성능이 향상되고 다양한 분야에서의 적용성이 확대될 것이라 기대해봅니다.