Inside

“기다리다가 나갈 것 같아요” 이 한마디가 날 움직였다

인턴 디자이너의 AI 음성 클로닝 체험 UX 제작기

임선영 UI/UX 디자이너 2025-11-13 11:39:17

불과 몇 초의 음성으로 완벽하게 사람의 목소리를 복제하는 AI 보이스 클로닝 기술은 이미 일상에 깊숙이 스며들었다. 유튜브에서는 유명 연예인이 투자를 권유하고, SNS에서는 AI로 복제된 친구의 목소리로 장난 메시지를 보내는 영상이 쏟아진다.
하지만 이 놀라운 기술은 동시에 새로운 불안을 만들어내고 있다. 내 목소리를 도용한 보이스피싱 범죄에 부모님이 속으시면 어떡하지? 내가 말하지 않은 비하나 혐오발언, 욕설 등이 AI로 생성돼 인터넷에 퍼진다면?
AI가 사람의 목소리를 완벽하게 복제해내는 시대, 이 기술이 악용되는 상황에 우리는 어떤 준비를 해야 할까?
동아일보 히어로콘텐츠팀은 자신의 목소리가 복제 되는 과정을 사용자가 체험하게 함으로써 기술의 위험성에 대한 경각심을 느낄 수 있는 인터랙티브 콘텐츠를 기획하기로 했다. 나는 사용자들이 콘텐츠를 체험하는 과정을 지켜보면서 그들이 느끼는 문제점이나, 이해도가 떨어지는 UI를 발견하는 사용성 테스트(UT)를 담당했다. UT를 진행하며 발견한 문제들을 어떻게 개선했는지 소개하고자 한다.

지루하지 않고, 불안하지 않은 기다림 만들기

사용자의 목소리를 복제하기 위해서는 녹음이 필요하다. 사용자들은 목소리를 녹음한 후 약 30초 동안 AI가 클로닝을 완료하길 기다려야 했다.

음성 녹음 후 AI가 사용자의 목소리를 학습하는 과정

하지만 이 대기 시간이 지루함으로 인해 사용자의 이탈률이 급격히 커질 수 있는 퍼널(Funnel·사용자가 특정 목표를 달성하기 위해 거치는 단계)이었다. 사용자는 언제 끝날 지 모르는, 빙글빙글 돌아가는 원형 로딩 애니메이션을 보며 지루함을 느꼈다.

‘처리하고 있습니다’ 라는 모호한 문구 역시 사용자들에게 불안감으로 작용했다. 실제 UT에서도 ‘AI가 내 목소리 데이터를 유출시키는 건 아닐까?’라는 걱정이 들었다는 이용자들의 반응이 있었다. 콘텐츠에 흥미가 생겨도 과정이 지루하고 불안하다면 이용자들은 손쉽게 이탈할 수 있겠다고 판단했다.
그래서 떠올린 것이, 로딩화면에서 음성 생성의 진행 단계를 보여주는 방법이었다. 30초 동안 원형 로딩 애니메이션이 돌아가는 ‘지루한 대기 시간’을 ‘AI의 목소리 학습 과정을 볼 수 있는 유익한 시간’으로 바꾸기로 했다.

예측 가능한 로딩 컴포넌트 예시

이 퍼널은 포털에서의 ‘AI 답변 생성’ 과정이나 금융앱의 ‘조회하기’ 과정과 비슷하다. 이 서비스들 역시 사용자가 특정 목표를 위해 정보를 제공한 뒤 기다림이 필요한 구조다. 위 두 서비스들은 단순히 퍼센트로 진행도를 알려주기보다, 현재 어떤 과정이 진행 중인지를 단계별로 나누어 보여줬다.

위 두 서비스가 사용하는 방식을 우리 콘텐츠 UX에도 적용해보기로 했다. 숫자나 퍼센트 대신 “당신의 음색을 분석하고 있어요”와 같은 쉬운 언어를 사용해 진행 단계를 보여줬고, 진행 중인 단계는 박스 색상을 다르게 했다. 또한 ‘녹음은 저장되지 않고, 체험 후 바로 삭제되니 안심하세요’라는 문구를 추가해 사용자가 안심하고 학습 과정을 기다릴 수 있도록 했다. 이를 통해 사용자는 음성 복제 과정을 직관적으로 이해하고, 시스템의 투명성에 대한 신뢰를 갖도록 했다.
지루함과 불안감을 최소화한 화면으로 UT 를 진행한 결과 ‘내 목소리를 어떻게 따라할 지 기대가 되어 30초가 길게 느껴지지 않는다’는 긍정적인 피드백을 받으며 이용자의 초반 이탈율을 대폭 낮출 수 있었다.

‘무슨 일이 벌어지고 있는 거야?’ 맥락 파악하게 하기

AI가 복제한 자신의 목소리를 처음 듣게 됐을 때 사용자들은 가장 강한 충격과 몰입감을 느꼈다. 하지만 그 몰입이 시나리오 전개에서 끊긴다는 사실을 발견했다. 우리는 복제된 목소리로 △보이스피싱 △투자 권유 사기 △학교폭력 재판 증거조작 △지역비하 발언 조작 등 네 가지 시나리오를 사용자가 들어볼 수 있게 했다. 시나리오마다 사용자는 투자 권유 음성을 조작당한 스타트업 대표가 되기도, 지역 비하발언을 조작당한 인사팀장이 되기도 한다. 내가 어떤 화자가 되어, 어떤 상황에 놓이게 된 것인지에 대한 명확한 설명이 없다보니 시나리오의 맥락을 놓치는 사용자가 많았다.

사실 초기 플로우 설계 단계에서 프로세스의 단순화에 초점을 맞췄다. 이미 기사 초입에서 사용자가 필수적으로 녹음을 해야 했고 그 과정에서 많은 기다림을 필요로 했기에, 시나리오 부분부터는 복잡한 설명 보다 단순하고 빠른 흐름이 더 효율적일 것이라 판단했다. 의도된 설계였으나, 사용자에겐 ‘불친절함’으로 작용한 것이다.

UT 후 사용자가 직접 사건의 당사자가 되는, 몰입감 있는 경험을 만들어야겠다고 생각했다. 그래서 AI 음성이 재생 되기 전, ‘나는 누구인지, ‘지금 어떤 상황에 놓이게 되었는지’ 바로 인식할 수 있도록 프롤로그 화면을 추가했다.
- 화자가 어떤 상황에 놓였는지 (예: 당신은 송금 사기의 표적이 되었습니다)
- 어떤 사건이 시작되는지 (예: 보이스피싱 조직이 당신의 엄마에게 전화를 걸었습니다.)
짧은 안내로 사용자는 무슨 상황인지, 누구의 입장인지를 빠르게 이해하고 이후 이어지는 대사에 집중할 수 있게 되었다. 구조 변경도, 복잡한 디자인 수정도 아닌 ‘텍스트 한 줄 추가’로 문제를 해결했다. 이 경험을 통해 ‘간결함’만이 항상 좋은 UX의 조건은 아니라는 점, 그리고 사용자의 입장에서 친절한 설명이 가장 강력한 몰입 경험으로 이어질 수 있다는 점을 배웠다.

시나리오가 끝난 후 기사까지 읽게 하기

<나는 말하지 않았다>에는 딥보이스 체험뿐만 아니라, 텍스트 기사도 포함됐다. 딥보이스가 범죄에 악용된 실제 사례와, 정부와 기업이 딥보이스 범죄를 막기 위해 마련하고 있는 대책 관련 기사였다.

하지만 UT를 진행하는 과정에서 긴 줄글의 기사가 나오자 몰입이 갑자기 끊긴다는 사용자들의 반응이 많았다. 딥보이스 체험을 마친 직후 사용자의 감정의 몰입을 유지해야하는 퍼널이었음에도, 해당 화면은 이미지나 영상 없이 텍스트로만 구성되어 있었기 때문이었다. 긴 글에 피로감을 느끼지 않도록 하기 위한 방법을 고민하다 이런 아이디어가 떠올랐다.

모든 문장을 다 읽지 않아도, 한눈에 내용을 이해할 수 있게 만들 수 없을까?

AI 생성형 이미지 ‘미드저니’를 사용해보기로 했다. 실제 사례 기사의 등장인물이나 사건 내용을 시각화한 이미지를 미드저니로 생성해 기사에 넣기로 한 것. AI 이미지의 ‘불쾌한 골짜기’를 줄이기 위해 인물의 얼굴과 손 노출 최소화, 시네마틱한 구도, 긴장감을 유도하는 어두운 색감, 직접적인 묘사 대신 간접적인 표현 중심의 연출을 했다.

정부 및 기업 대책 기사 화면에서는 핵심 3줄 요약을 기사 첫부분에 제시했고, 중요한 문장은 하이라이트로 표시해 시각적 강조를 줬다. 미국, EU 등 각국의 AI 규제법을 비교하는 표의 경우, 법안이 제정된 시간 순으로 표를 구성해 독자의 이해가 쉽도록 했다. 이러한 시각적 보완은 딥보이스 체험의 몰입감이 텍스트 기사에서도 깨지지 않고 유지되는 환경을 만드는데 기여했다. 개선된 화면을 다시 사용자들에게 보여준 결과, 사용자들은 딥보이스 체험과 기사가 이어진다고 느꼈고, 딥보이스 체험 후 이어지는 실제 범죄 사례 기사를 접하니 그 위험성에 더욱 공감하게 됐다는 반응을 보였다.

몰입감이 유지되는 UX를 위해 디자이너는 무엇을 해야할까?

UT 내용을 화면별로 정리해 내부에 공유한 작업파일

사실, 처음엔 ‘내가 히어로 콘텐츠를 디자인한다고..?’ 라는 얼떨떨한 기분이었다. 하지만 디자이너로서 히어로 콘텐츠를 제작하고 UT를 전담하면서 몰입은 화려한 인터랙션에서 오는 게 아니라 사용자의 감정이 자연스럽게 이어질 때 만들어진다는 걸 느꼈다.
사용자가 각 기능을 어떻게 사용하는 지 관찰하는 것도 중요하지만, 무심코 흘리는 혼잣말과 행동 속에 사용자가 말하지 않은 ‘페인 포인트’가 숨어있었다. “다음으로 어떻게 넘어가지?”, “어떤 버튼을 눌러야하지?” 같은 짧은 혼잣말까지 빠짐없이 기록으로 정리한 것이 UX 개선에 가장 큰 단서가 되었다.

UT 를 진행하고 있는 모습

‘무심코 흘린 그 한마디, 그 뒤에 숨은 이유는 무엇일까’
이 질문을 끝까지 놓지 않으려 했다. 그렇게 만들어낸 이번 히어로 콘텐츠가 누군가에게는 기술의 무서움을 느끼게 하고, 누군가에게는 잊히지 않는 경험으로 남는다면, 그보다 더 뿌듯한 일은 없을 것 같다.

임선영 UI/UX 디자이너

이야기를 경험으로 만드는 인터랙티브 UX/UI 디자인을 하고 있습니다. 공감을 이끈 이야기는 사람들의 마음을 움직이고, 그 마음은 다시 세상을 변화시킨다고 생각합니다. 한 화면, 하나의 인터랙션에도 섬세한 경험을 담아 오랫동안 기억에 남는 사용자 경험을 만들어갑니다.

7bcbc@naver.com

Inside 더보기