LLM은 왜 한국어 시조의 율격을 못 맞출까 — 토큰화가 음절을 가리는 문제

문제

AI & Poem에 시조 모드를 붙일 때, 제가 가장 오래 붙잡은 값은 분위기가 아니라 음절 수였습니다. "시조 써 줘"라고 하면 모델은 그럴듯한 3행을 냅니다. 하지만 음보를 세면 종장 첫 음보가 네 글자로 늘거나 둘째 음보가 너무 짧아집니다. 형식에서 "시조"를 고르고 짧은 주제어를 넣는 현재 도구에서는 초안의 음수율이 약 70% 선에서 멈췄습니다.

원인: 토큰화

Park, Lee, Jang, Jung은 ACL의 AACL-IJCNLP 2020 논문 An Empirical Study of Tokenization Strategies for Various Korean NLP Tasks에서 한국어 NLP 과제별 토큰화 전략을 비교합니다. 논문은 BPE 하나가 모든 한국어 과제에서 늘 최선은 아니며, 기계번역과 자연어 이해 과제에서는 형태소 분절 뒤 BPE를 붙인 방식이 좋은 결과를 냈다고 보고합니다.

이 논문은 시조를 다루지 않습니다. 제 해석은 여기서 시작합니다. 모델이 한국어를 사람이 보는 글자 하나, 곧 음절 단위로 붙잡지 않고 여러 토큰 경계로 다시 자른다면, "이 음보가 몇 음절인가"라는 질문은 생성 중 계속 흔들립니다. 시조에서 음절 수는 장식이 아니라 골격입니다.

Liao와 Shi의 2026년 arXiv 논문 How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them은 더 직접적인 단서를 줍니다. 저자들은 서브워드 토큰화가 압운 같은 지역 음운 특징과 음절화 같은 전역 운율 구조 표현을 약하게 만들며, 토큰 경계와 음절 경계가 어긋날수록 음운 과제 성능이 떨어진다고 설명합니다.

이 발견도 한국어 시조 실험 결과가 아닙니다. 그래도 제가 겪은 70% 벽과 맞물립니다. LLM은 의미를 매끄럽게 잇는 데 강하지만, 한국어 정형시가 요구하는 글자 단위 검산에는 약합니다. 그 차이가 시조 모드에서 바로 보였습니다.

운영자의 해석

평시조는 3장 6구 12음보로 짜입니다. 초장과 중장은 대략 3·4·3·4 계열로 움직이고, 종장은 첫 음보 3음절 고정, 둘째 음보 5음절 이상이라는 매듭을 둡니다. 한 글자 차이가 사소하지 않습니다. 종장 첫 음보가 네 글자가 되면 마감의 탄력이 풀립니다.

그래서 시조는 LLM에 불리한 장르입니다. 자유시는 의미와 이미지가 먼저 버티지만, 시조는 글자 수가 틀리면 형식 자체가 무너집니다. 제가 만든 도구에서 "달빛" 같은 주제어 하나로 빠른 초안은 얻을 수 있었지만, 종장 규칙까지 안정적으로 맞추려면 별도 검산이 필요했습니다.

우회법

우회는 간단합니다. 음수율을 숫자로 먹이고, 출력 뒤 모델이 직접 세게 합니다. 다만 이 지시는 자유 입력 챗봇(ChatGPT·Claude 등)에 맞습니다. AI & Poem은 시 형식 셀렉터와 짧은 주제어로 초안을 빠르게 만드는 도구입니다. 실제 프롬프트는 자매글 시조 율격을 AI에게 맞게 설명하는 법에 따로 정리했습니다.

마무리

저는 이 문제를 결함 하나로 보지 않습니다. 한국어 정형시는 LLM이 언어를 어떻게 쪼개 보는지 드러내는 시험지입니다. AI 시대에 시조를 다룬다는 말은, 모델이 잘 쓰는 문장과 사람이 지키는 율격 사이를 끝까지 세어 보는 일입니다.