AI가 만든 가짜 얼굴이 왜 더 믿음직스러워 보일까

세상에 존재한 적 없는 사람의 얼굴과 실제로 존재하는 사람의 얼굴을 나란히 놓고 어느 쪽이 더 믿음직스러운지 물으면, 사람들은 가짜 쪽을 더 자주 고른다. 실제로 진행된 실험에서 나온 결과다. 사진이 진짜인지 가짜인지도 구별하지 못하면서 없는 쪽을 더 신뢰한다는 이 결과는 직관과 정반대라 이상하게 들린다. 그런데 원인을 따라가 보면 이 글 시리즈에서 이미 다룬 얼굴 기억의 원리와 정확히 맞닿아 있다.

가짜 쪽이 7.7퍼센트 더 신뢰받았다

랭커스터 대학과 UC버클리 연구진이 진행한 실험에서, 참가자 223명에게 얼굴 128장의 신뢰도를 평가하게 했다. 절반은 실제 인물 사진이었고 절반은 인공지능이 생성한, 이 세상에 존재하지 않는 얼굴이었다. 결과는 합성된 얼굴 쪽이 평균 7.7퍼센트 더 신뢰할 수 있다는 평가를 받았고, 이 차이는 통계적으로 유의미했다.

더 나아가 참가자 315명에게 얼굴이 진짜인지 인공지능이 만든 것인지 구별해보라고 했을 때, 정답률은 48.2퍼센트에 그쳤다. 동전을 던져 찍는 것과 다를 바 없는 수준이다. 심지어 특정 인종의 얼굴에서는 오답률이 더 높게 나타났는데, 학습에 쓰인 데이터에 그 인종이 많이 포함될수록 생성된 얼굴이 더 사실적으로 보였기 때문으로 분석됐다.

평균에 가까울수록 신뢰가 간다

이 현상을 이해하는 열쇠는 이전 글에서 다룬 평균 얼굴 가설에 있다. 인공지능이 새 얼굴을 만들어내는 방식은 수많은 실제 얼굴 데이터에서 패턴을 학습해 그 분포의 중심에 가까운 값을 뽑아내는 과정에 가깝다. 그 결과물은 자연히 좌우 대칭에 가깝고 특이한 왜곡이 없는, 평균에 수렴한 얼굴이 된다.

그런데 사람은 평균에 가까운 얼굴을 더 매력적이고 안전하다고 느끼도록 되어 있다. 진화적으로 평균에서 크게 벗어난 특징은 유전적 이상이나 질병의 신호로 읽혔을 가능성이 있고, 평균에 가까운 특징은 그 반대로 안정성의 신호로 읽혔을 것이라는 설명이 있다. 인공지능이 만든 얼굴이 실제 사람보다 더 믿음직스럽게 느껴지는 것은, 실제 사람의 얼굴은 저마다 비대칭과 특이점을 갖고 있는 반면 생성된 얼굴은 그 잡음이 다 걸러진 평균에 더 가깝기 때문이다. 특징을 키우면 더 잘 알아본다는 캐리커처의 원리와 정반대로, 특징을 지우면 더 신뢰가 간다는 뜻이다.

사진이라는 증거 자체가 흔들린다

이 사실은 단순히 흥미로운 심리 현상에서 그치지 않는다. 목격자의 기억이 온전하지 않다는 것은 이미 알려진 사실이었지만, 그래도 사진만큼은 조작되지 않은 사실의 기록으로 취급돼왔다. 그런데 사람이 진짜와 합성을 절반의 확률로도 구별하지 못한다면, 사진이라는 증거 자체의 신뢰 기반이 흔들린다. 이는 목격자의 기억이 매번 재구성되며 왜곡될 수 있다는 문제와 다른 층위에서 같은 결론으로 향한다. 사람이 눈으로 확인했다는 사실만으로는 더 이상 충분한 근거가 되지 않는다는 것이다.

수사기관의 몽타주 제작 방식이 정확도보다 식별 가능성을 우선하는 쪽으로 발전해온 것과 비슷하게, 이제는 얼굴 인증이나 신원 확인 절차에서도 사진 한 장을 단독 증거로 삼기보다 여러 방식을 함께 검증하는 흐름이 강해지고 있다. 얼굴이라는 정보가 가진 무게가 기술의 발전과 함께 계속 재조정되고 있는 셈이다.

손으로 그린 어설픈 그림이 오히려 정직하다

역설적이게도 이 흐름 속에서 손으로 그린 서투른 그림은 오히려 믿을 만한 구석이 있다. 합성 얼굴은 매끈하고 평균적이라서 신뢰를 얻지만, 그 신뢰는 실제로는 아무 근거가 없는 착시다. 반면 삐뚤게 그린 손그림은 처음부터 정확하다고 주장하지 않는다. 무엇을 못 그렸는지, 어디가 흐릿한지가 그대로 드러난다. 완성도는 훨씬 떨어지지만 적어도 무엇을 믿어야 할지 속이지는 않는다.

정리

인공지능이 만든 얼굴은 실제 얼굴보다 더 신뢰가 간다고 평가받았고, 사람은 그 둘을 구별하는 데 사실상 실패했다. 원인은 생성된 얼굴이 평균에 가까워 비대칭과 특이점이라는 잡음이 지워졌기 때문이며, 이는 사람이 평균적인 얼굴을 안전하다고 느끼도록 되어 있는 성향과 맞물린다. 이 현상은 사진이라는 시각 증거의 신뢰도 자체를 재검토하게 만든다는 점에서 목격자 기억의 한계와 같은 방향을 가리킨다. 평균이 신뢰를 만들고 특징이 식별을 만든다는 이 두 원리는 캐리커처의 원리와 목격자의 기억에서 각각 더 자세히 다룬다.