XAI(설명 가능한 인공지능)

🔍 XAI와 시각화 기법 소개: CAM, Grad-CAM, Occlusion

• 최근 인공지능(AI)은 이미지 분류, 자율주행, 의료 진단 등 다양한 분야에서 놀라운 성과를 보여주고 있습니다.

• 하지만 AI가 왜 그런 판단을 내렸는지, 그 결정 근거를 설명하는 것은 여전히 어려운 과제입니다. 이를 해결하기 위해 등장한 개념이 바로 XAI(Explainable AI, 설명 가능한 인공지능)입니다.

💡 XAI(설명 가능한 인공지능)란?

XAI는 인공지능 모델의 예측 결과를 사람도 이해할 수 있도록 설명하거나 시각화하는 기술을 의미합니다.

• 딥러닝은 복잡한 연산 구조를 갖고 있어 “블랙박스”라고 불립니다. XAI는 이 블랙박스를 투명하게 만들어, 모델이 어떤 입력 특징에 주목했는지 시각적으로 보여줍니다.

🔧 주요 시각화 기법

1. 🟠 CAM (Class Activation Mapping)

모델이 어떤 이미지 영역에 주목했는지를 시각적으로 보여주는 기법입니다.

다만, Global Average Pooling(GAP)을 사용한 특수한 구조에서만 가능하다는 제한이 있습니다.

• 원리:
마지막 convolution layer의 출력과 해당 클래스의 가중치를 곱하여 주목한 영역을 강조

• 장점: 직관적이며 간단

• 단점: 모델 구조(GAP 포함)에 제약 있음

🖼 예시: 개를 분류할 때 개의 얼굴이나 몸통 부분에 밝은 색으로 집중된 heatmap이 생성됨

2. 🔵 Grad-CAM (Gradient-weighted Class Activation Mapping)

CAM의 구조적 제약을 완화한 보다 일반적인 시각화 기법입니다.

모델 구조에 관계없이 적용 가능하고, gradient(기울기)를 활용해 중요 영역을 추정합니다.

• 원리:
• 특정 클래스에 대한 loss의 gradient를 마지막 convolution feature map에 대해 구함
• 각 채널별 중요도를 가중치로 삼아 heatmap 생성

• 장점: CNN 구조 대부분에 적용 가능

• 단점: 계산 비용이 상대적으로 큼

🧠 사용 예: 의료 영상에서 종양의 위치를 시각적으로 설명

3. 🟡 Occlusion Sensitivity (가림 민감도 분석)

이미지를 부분적으로 가려가며, 예측 결과가 얼마나 바뀌는지를 측정해 중요 영역을 추정합니다.

• 원리:
• 이미지를 일정 크기의 블록 단위로 가림
• 가린 뒤 모델의 confidence(신뢰도) 변화 관찰
• 신뢰도가 크게 줄어든 영역 = 중요한 영역

• 장점: 직관적이고 모델에 의존하지 않음

• 단점: 속도가 느리고, 해상도가 낮음

📷 예시: 고양이 이미지의 눈을 가리자 “고양이일 확률”이 급격히 떨어짐 → 눈이 중요하다는 의미

📌 요약 비교

✍️ 마무리

• XAI는 인공지능의 결과를 사람이 신뢰하고 해석할 수 있게 해주는 핵심 기술입니다. 특히 의료, 자율주행, 보안, 법률 등 민감한 분야에서 그 필요성이 더욱 강조되고 있습니다.

• 딥러닝 모델을 개발하거나 활용할 때, 단지 높은 정확도만을 추구하는 것이 아니라 “왜 그런 결과가 나왔는지”를 설명할 수 있는 모델을 만드는 것이 앞으로의 중요한 방향이 될 것입니다.