AI는 그림을 어떻게 이해하는가

사진 한 장과 삐뚤빼뚤한 손그림 한 장을 던져주면 AI가 얼마나 닮았는지 점수를 매긴다. 이것이 어떻게 가능한지는 생각보다 덜 알려져 있다. 흔히 떠올리는 얼굴 인식 기술과도 작동 방식이 다르다. 이 글은 몽타주 챌린지의 채점이 실제로 어떤 원리로 이뤄지는지, 그리고 그 방식이 무엇을 잘하고 무엇을 못하는지 정리한다.

얼굴 인식 기술과는 다른 계열이다

스마트폰 잠금 해제에 쓰이는 얼굴 인식은 특정 목적에 최적화된 기술이다. 얼굴에서 정해진 기준점들의 좌표를 추출하고, 그 좌표들의 관계를 숫자 배열로 변환한 뒤, 등록된 배열과의 거리를 계산한다. 이 방식은 같은 사람인지 아닌지를 판별하는 데는 극히 정확하지만, 할 수 있는 일이 그것뿐이다. 얼마나 닮았는지 설명하거나 어느 부위가 빠졌는지 지적하지는 못한다.

게다가 손그림에는 이 방식을 적용하기 어렵다. 기준점을 안정적으로 잡을 수 있을 만큼 그림이 정교하지 않은 경우가 대부분이기 때문이다. 눈이 점 두 개로 찍혀 있고 코가 아예 없는 그림에서 좌표를 추출하는 것은 의미가 없다.

이미지를 언어처럼 다루는 접근

몽타주 챌린지가 쓰는 것은 멀티모달 비전 모델이다. 이 계열의 모델은 이미지를 좌표로 분해하지 않고, 이미지를 작은 조각들로 나눈 뒤 각 조각을 숫자 벡터로 바꾼다. 이렇게 만들어진 이미지 벡터들은 텍스트를 처리할 때 쓰는 것과 같은 형식이어서, 모델 입장에서는 이미지와 문장이 동일한 공간에 놓인다. 그림과 글을 하나의 흐름으로 함께 읽을 수 있다는 뜻이다.

그래서 이 모델에는 사진 두 장과 함께 채점 기준을 담은 문장을 같이 넣을 수 있다. 모델은 두 이미지를 동시에 인식하면서 그 지시문에 따라 형태와 특징의 유사도를 종합적으로 판단하고, 점수와 설명을 문장으로 생성한다. 픽셀을 겹쳐보고 차이를 계산하는 것이 아니라, 사람이 두 그림을 번갈아 보며 판단하는 과정에 훨씬 가깝다.

같은 모델이라도 지시문이 결과를 바꾼다

이 방식의 특징은 채점 기준이 코드가 아니라 문장으로 정의된다는 점이다. 어떤 문장을 주느냐에 따라 같은 모델이 전혀 다른 채점을 한다. 실제로 몽타주 챌린지 초기 버전에서는 점수가 특정 구간에 몰리는 문제가 있었는데, 원인은 모델 성능이 아니라 지시문 안에 점수를 중간대로 유도하는 표현이 들어 있던 것이었다. 그 표현을 제거하고 실제 유사도에 따라 전 구간을 활용하라고 바꾸자 분포가 정상으로 돌아왔다.

촌평이 그림 실력만 놀리고 사진 속 인물의 외모는 절대 언급하지 않도록 하는 것도 같은 방식으로 문장 규칙을 통해 통제한다. 사람이 다루는 규칙과 비슷한 형태로 모델을 제어한다는 점이 이 접근의 장점이자 동시에 약점이다. 규칙을 애매하게 쓰면 결과도 애매해진다.

무엇을 잘하고 무엇을 못하는가

이 방식이 잘하는 것은 유연함이다. 그림체가 어떻든, 선이 몇 개든, 얼굴만 그렸든 상반신까지 그렸든 상관없이 판단할 수 있다. 정해진 형식을 요구하지 않기 때문에 사람들이 실제로 그리는 온갖 그림에 대응할 수 있다. 어느 부위가 그나마 닮았고 무엇이 빠졌는지 언어로 설명할 수 있다는 점도 규칙 기반 방식으로는 불가능한 일이다.

반면 못하는 것은 일관성이다. 같은 그림을 두 번 채점하면 점수가 조금씩 다르게 나올 수 있다. 확률적으로 문장을 생성하는 구조이기 때문에 본질적으로 완전히 동일한 결과를 보장하지 않는다. 정밀한 측정이 필요하다면 부적합한 방식이지만, 재미를 위한 채점에서는 오히려 매번 다른 촌평이 나오는 편이 낫기도 하다.

정확한 채점이 목적이 아니다

결국 이 채점은 객관적 측정 도구가 아니라 놀이 장치다. 점수는 절대적인 평가가 아니며 실제 그림 실력과 정비례하지도 않는다. 몇 점이 나왔는지보다 어떤 촌평이 붙었는지가 더 중요하게 설계돼 있다.

AI가 특징 중심으로 판단한다는 점을 이해하면 점수를 올리는 방향도 분명해진다. 전체를 고르게 그리는 것보다 두드러진 특징을 확실히 잡는 쪽이 유리하다. 그 원리는 캐리커처의 원리에서, 실제 구현 구조는 기술 원리에서 다룬다.