오늘은 XAI framework 중 하나인 SHAP에 대해 다뤄볼 것이다. SHAP는 LIME 이후에 나온 이론적 framework로, 여태까지 이 블로그에서 다루었던 LIME, LRP 뿐만 아니라, DeepLIFT, 그리고 다른 Shapeley-valued method들을 모두 통합하는 하나의 framework이다. 그래서 논문 이름도 "A Unified Approach to Interpreting Model Predictions"이다. 위의 방법론들을 통합하는 하나의 framework이기 때문이다. 대략적으로 어떤 느낌의 방법론이냐면, LIME에서도 그랬듯이 복잡한 문제를 local의 범위에서 linear function으로 간략화하여 다루는 방법론의 큰 틀을 제시했다고 보면 될 것 같다. 원본 ..
오늘은 XAI 분야에서 유명한 논문 중 하나인, LIME에 대해서 다뤄보고자 한다. LIME은 Local Interpretable Model-Agnostic Explanations의 줄임말이다. 제목을 보면 이 모델의 특징을 잘 알 수 있는데, 1. Local한 부분을 이용한다.2. Model-Agnostic 하다. 라는 큰 특징 2가지가 보인다. 원문은 다음과 같다(Ribeiro et al., 2016).https://arxiv.org/abs/1602.04938 "Why Should I Trust You?": Explaining the Predictions of Any ClassifierDespite widespread adoption, machine learning models remain mos..
이전에 다뤘던 Activation Maximization, Saliency Map 등은 각 hidden layer의 feature map을 시각화하여 설명가능한 AI를 구현하는 방식이다. 하지만 이는 깊은 layer일수록 해석이 힘들고, 사람마다 해석이 다를 수 있으며, 약간 애매모하다는 단점이 존재한다. 이번에 다룰 LRP는 HeatMap 방식의 설명을 제공하는 방법론 중 대표적인 방법론이며, 모델의 결과를 역추적해서 입력 이미지에 HeatMap을 생성하는 방식이다. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0130140 On Pixel-Wise Explanations for Non-Linear Classifier Deci..
이번에는 저번 논문리뷰인 saliency map을 조금 더 발전시킨, SmoothGrad라는 기법에 대해 알아보려고 한다. https://arxiv.org/abs/1706.03825 SmoothGrad: removing noise by adding noiseExplaining the output of a deep network remains a challenge. In the case of an image classifier, one type of explanation is to identify pixels that strongly influence the final decision. A starting point for this strategy is the gradient of the class sc..
이번에는 Saliency Map Visualisation을 통해서 시각화를 하는 방법을 알아볼 것이다."Deep Inside Convolutional Networks: Visualizing Image Classification Models and Saliency Maps" 라는 논문이다. 논문 원문은 https://arxiv.org/abs/1312.6034 Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency MapsThis paper addresses the visualisation of image classification models, learnt using deep Convolutional N..
AI model들은 항상 black-box라는 문제를 가지고 있다. 이 문제로 인해 모델 안에서 어떤 일들이 벌어지고 있는지를 직접 시각화하고 알아내고자 하는 시도들이 많이 있었는데, Activation Maximization (Maximization by optimization) 도 그 시도들 중에 하나이다. 특히 Activation Maximization은 CNN에서 각 Feature Map들이 표현하는 시각적 특징이 무엇인지를 시각화하려는 시도이다. CNN의 구조 중 하나를 "target"으로 고정시켜놓고, 이를 최대로 활성화시키는 입력 이미지를 찾거나 생성하는 방법이다. (여기서는 생성하는 방식을 다루도록 하겠다)참조: - Olah, et al., "Feature Visualization", D..
Interpretable Modeling 관련하여 찾아던 중 Neural Additive Models: Interpretable Machine Learning with Neural Nets 이라는 논문을 찾아 간단하게 공부하게 되었다. (Spotlight (Top 3%) at NeurIPS 2021) Deep Neural Networks(DNN)이 black-box이기 때문에 healthcare, finance, criminal justice와 같이 고위험군 task에서는 적용가능성에 문제점이 있기에 더욱 더 interpretation 가능한 방법론이 필요하다고 말한다. 기존의 방법론인 LIME과 같은 방법론들은 모델의 behavior에 대한 설명 디테일이 부족하거나, fail to provide a..
GAM이란? Generalized Additive Models (GAMs) are a type of statistical model that extend Generalized Linear Models (GLMs) by allowing the linear predictor to be a sum of smooth functions of the predictor variables. This flexibility makes GAMs highly effective for capturing non-linear relationships between predictors and the response variable. GLM의 연장선이며 smooth function을 추가해 독립변수와 종속변수 간의 non-linear..
GLM이란? / 모델은 어떻게 생겼는가 Generalized Linear Models (GLMs) are a flexible extension of ordinary linear regression models that allow for the response variable to have a non-normal distribution. 여기서 response variable이란 Y(종속변수, 독립변수에 따라 변하는 값)을 뜻한다. 일반적인 선형회귀모델과는 다르게 종속변수가 non-normal 분포를 가질 수 있게 extend 해놓은 것이 GLM이다. 반대로 predictor variable이란 독립변수를 의미한다. 예를 들어, 집값을 예측하는 경우 집의 크기, 교통의 편의성, 집의 연식 등이 predi..
