TTS 음성 낭독과 사람의 시 낭독의 차이 — 무엇이 빠지고, 무엇이 더해지는가

도입

AI & Poem에 TTS 재생을 붙인 뒤, 저는 생성한 시를 계속 들어 봤습니다. 음질은 맑았습니다. 발음도 대체로 또렷했습니다. 그런데 이상하게도 "읽어 준다"는 느낌은 강한데, 사람이 시를 낭독한다는 느낌은 약했습니다.

TTS가 놓치는 것

Hodari 등 Amazon Research 연구진은 2020년 arXiv 논문 CAMP: a Two-Stage Approach to Modelling Prosody in Context에서 운율 모델링을 별도 문제로 다룹니다. 논문은 문맥 정보가 충분하지 않으면 적절한 운율을 정하는 일이 잘 정의되지 않는다고 설명합니다. 제안 모델은 자연음성과의 격차를 26% 줄였지만, 그 수치 자체가 음질과 문맥 적합성이 다른 문제임을 보여 줍니다.

이 논문은 한국어 시나 AI & Poem을 다루지 않습니다. 제 해석은 여기서 시작합니다. 시는 산문보다 행간, 쉼표, 줄바꿈 하나가 해석입니다. 문맥 없이 예측한 평탄한 운율은 정보 전달에는 충분해도, "어디서 숨을 쉴지"를 고르는 낭독에는 모자랍니다.

제가 TTS를 들으며 느낀 간극도 거기에 있었습니다. 문장은 맞게 읽히는데, 시가 품은 망설임이나 뒤늦은 깨달음까지 목소리가 따라오지는 못했습니다. 결함이라기보다 역할 차이였습니다.

사람이 더하는 것

Kraxenberger, Menninghaus, Roth, Scharinger는 2018년 Frontiers in Psychology 논문 Prosody-Based Sound-Emotion Associations in Poetry에서 사람이 독일어 시를 읽을 때 감정 내용에 맞춰 피치와 속도를 바꾸는지 실험했습니다. 기쁨 평정 1단위당 평균 피치는 1.68Hz 올랐고, 슬픔 평정 1단위당 1.58Hz 내려갔습니다. 뜻을 아는 독일어 청자에게는 운율 조작보다 시의 의미 내용이 감정 판단을 더 크게 밀었습니다.

이 결과도 한국어 낭독 연구는 아닙니다. 다만 제가 AI & Poem의 TTS를 운영하며 본 장면과 닿아 있습니다. 사람이 낭독에 더하는 것은 예쁜 목소리만이 아닙니다. 뜻을 이해한 뒤, 왜 여기서 목소리가 낮아져야 하는지 판단하는 힘입니다.

무엇이 빠지고, 무엇이 더해지는가

빠지는 것은 음질이 아닙니다. 문맥에 맞는 운율 선택입니다. TTS는 깨끗하게 읽을 수 있지만, 시의 줄바꿈과 침묵을 해석하는 데 약합니다.

더해지는 것은 사람의 의미 이해입니다. 사람은 슬픈 행을 느리게 붙잡고, 밝은 행에서 속도와 높이를 바꿉니다. 그 변화는 장식보다 판단에 가깝습니다.

AI & Poem은 지금 무엇을 하는가

AI & Poem의 TTS는 32개 언어로 생성한 시를 빠르게 미리 듣는 기능입니다. 낭독 리듬을 점검하는 데 유용하지만, 사람이 뜻을 이해하며 조절하는 낭독을 대신한다고 말하지 않습니다. 축사나 헌시처럼 직접 읽을 자리라면 TTS로 흐름을 확인하고, 실제 발화는 사람이 맡는 편이 낫습니다. 더 실용적인 기준은 TTS 낭독에 잘 어울리는 시를 뽑는 법에 따로 적었습니다.

마무리

저는 TTS의 한계를 실패로 보지 않습니다. 오히려 사람 낭독의 값을 또렷하게 보여주는 대비점으로 봅니다. 기계가 맑게 읽을수록, 사람이 뜻을 알고 잠깐 멈추는 순간이 더 선명해집니다.