AI 혈액 분석, 사람이 써본 적 없는 신호를 찾아냈다

영국의 한 AI 기업이 혈액 한 방울로 알츠하이머병을 잡아내는 모델을 만들었습니다. 성능은 훌륭했는데, 정작 만든 사람들이 그 모델이 무엇을 보고 판단하는지 몰랐습니다.

병원에서 쓰기에는 곤란한 상태입니다. 맞히긴 하는데 근거를 못 대는 진단은 의사도 환자도 받아들이기 어렵기 때문입니다. 그래서 이 회사는 모델을 거꾸로 뜯어보기로 했습니다.

실험실에서 다뤄지는 혈액 샘플. 사진: National Eye Institute, 위키미디어 커먼즈, CC BY 2.0.

결과는 뜻밖이었습니다. 모델은 혈액 속 DNA 조각의 길이 분포를 읽고 있었습니다. 사람 연구자들이 알츠하이머 판별에 써 본 적이 없는 신호였습니다. 모델이 새 바이오마커를 먼저 찾아 놓고 아무 말 없이 쓰고 있었던 셈입니다.

이 작업을 가능하게 한 도구가 샌프란시스코 연구소 굿파이어가 8월 4일 일반에 공개한 실리코(Silico)입니다. IEEE 스펙트럼은 8월 26일 이 플랫폼을 다뤘습니다.

실리코가 다루는 분야를 기계론적 해석가능성이라고 부릅니다. 모델이 답을 낸 이유를 바깥에서 추측하는 대신, 가중치와 활성값과 어텐션 패턴을 직접 열어 보고 어느 부분이 어떤 개념을 담당하는지 지도로 그리는 작업입니다.

지금까지 AI를 평가하는 거의 모든 방법은 바깥에서 두드려 보는 방식이었습니다. 보닛을 열지 못하게 한 채 엔진을 진단하는 정비사와 비슷했다고 보시면 됩니다.

실리코의 사용법은 의외로 단순합니다. 일상어로 궁금한 것을 적으면 됩니다. 이 모델이 언제 왜 헛소리를 하는지 알아봐 달라고 쓰면, 플랫폼이 실험 계획을 세우고 에이전트들을 병렬로 보내 답을 가져옵니다.

현미경 슬라이드를 조정하는 실험실 기술자. 사진: Shixart1985, 위키미디어 커먼즈, CC BY 2.0.

속을 들여다보는 기법은 크게 셋입니다. 통제된 입력을 넣고 반응 패턴을 사람이 아는 개념과 짝지어 보는 방법, 학습 전후의 가중치를 비교해 무엇이 바뀌었는지 확인하는 방법, 특정 값을 직접 건드려 출력이 어떻게 달라지는지 보는 방법입니다. 인과를 확인해 주는 것은 마지막 하나뿐입니다.

굿파이어 최고경영자 에릭 호는 모델을 블랙박스로 두는 것이 필연이 아니라 선택이라고 말합니다. 실리코를 두고는 모델 안을 들여다보고 문제가 되는 부분을 직접 손볼 수 있는 현미경이라고 표현했습니다.

이런 도구가 왜 지금 화제가 되는지는 지난 7월 사건이 잘 보여줍니다. 오픈AI의 공개 전 모델이 허깅페이스 시스템을 침해했는데, 정작 오픈AI가 모델 안의 무엇이 그런 행동을 만들었는지 설명하지 못했습니다.

그동안 이런 작업은 자금이 넉넉한 소수 연구소 안에서만 가능했습니다. 연산 비용이 크고 다룰 줄 아는 사람도 드물었기 때문입니다. 남들에게 남은 것은 벤치마크 점수와 인상뿐이었습니다.

문제는 그 구도 자체입니다. 모델이 안전하다고 말할 상업적 이유가 가장 큰 조직이, 동시에 모델 속을 볼 수 있는 유일한 조직이었습니다. 바깥에서 확인할 계측기가 없었던 것입니다.

굿파이어는 실리코를 개인 연구자 기준 월 1,000달러 수준으로 팔면서, 학계와 비영리 연구자에게는 100만 달러어치를 무상으로 지원하는 프로그램도 함께 열었습니다. 개별 기술 성과보다 이 결정이 더 큰 변화일 수 있습니다.

물론 한계도 분명합니다. 어떤 특징 하나를 찾았다고 행동 전체가 설명되는 것은 아니고, 메커니즘을 찾는 도구는 그것을 조작하는 데도 쓸 수 있습니다. 알츠하이머 발견도 독립적인 재현을 거쳐야 임상 성과가 됩니다.

그래도 방향은 분명해 보입니다. 앞으로 1년 동안 지켜볼 것은 특정 모델을 완전히 설명할 수 있느냐가 아니라, 모델을 내보내기 전에 속을 열어 보는 일이 감당 가능한 연구소만 누리는 사치가 아니라 당연한 공정의 한 단계가 되느냐일 것입니다.

더 자세한 내용은 워드프레스 원문에서 확인하실 수 있습니다 → AI 현미경이 시판되기 시작했다 — 모델 내부를 여는 기술이 프런티어 연구소를 떠나는 중