오늘은 XAI 분야에서 유명한 논문 중 하나인, LIME에 대해서 다뤄보고자 한다. LIME은 Local Interpretable Model-Agnostic Explanations의 줄임말이다. 제목을 보면 이 모델의 특징을 잘 알 수 있는데, 1. Local한 부분을 이용한다.2. Model-Agnostic 하다. 라는 큰 특징 2가지가 보인다. 원문은 다음과 같다(Ribeiro et al., 2016).https://arxiv.org/abs/1602.04938 "Why Should I Trust You?": Explaining the Predictions of Any ClassifierDespite widespread adoption, machine learning models remain mos..
이전에 다뤘던 Activation Maximization, Saliency Map 등은 각 hidden layer의 feature map을 시각화하여 설명가능한 AI를 구현하는 방식이다. 하지만 이는 깊은 layer일수록 해석이 힘들고, 사람마다 해석이 다를 수 있으며, 약간 애매모하다는 단점이 존재한다. 이번에 다룰 LRP는 HeatMap 방식의 설명을 제공하는 방법론 중 대표적인 방법론이며, 모델의 결과를 역추적해서 입력 이미지에 HeatMap을 생성하는 방식이다. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0130140 On Pixel-Wise Explanations for Non-Linear Classifier Deci..
이번에는 저번 논문리뷰인 saliency map을 조금 더 발전시킨, SmoothGrad라는 기법에 대해 알아보려고 한다. https://arxiv.org/abs/1706.03825 SmoothGrad: removing noise by adding noiseExplaining the output of a deep network remains a challenge. In the case of an image classifier, one type of explanation is to identify pixels that strongly influence the final decision. A starting point for this strategy is the gradient of the class sc..
이번에는 Saliency Map Visualisation을 통해서 시각화를 하는 방법을 알아볼 것이다."Deep Inside Convolutional Networks: Visualizing Image Classification Models and Saliency Maps" 라는 논문이다. 논문 원문은 https://arxiv.org/abs/1312.6034 Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency MapsThis paper addresses the visualisation of image classification models, learnt using deep Convolutional N..
AI model들은 항상 black-box라는 문제를 가지고 있다. 이 문제로 인해 모델 안에서 어떤 일들이 벌어지고 있는지를 직접 시각화하고 알아내고자 하는 시도들이 많이 있었는데, Activation Maximization (Maximization by optimization) 도 그 시도들 중에 하나이다. 특히 Activation Maximization은 CNN에서 각 Feature Map들이 표현하는 시각적 특징이 무엇인지를 시각화하려는 시도이다. CNN의 구조 중 하나를 "target"으로 고정시켜놓고, 이를 최대로 활성화시키는 입력 이미지를 찾거나 생성하는 방법이다. (여기서는 생성하는 방식을 다루도록 하겠다)참조: - Olah, et al., "Feature Visualization", D..
