한국 근대시의 한자어와 LLM 토크나이저의 충돌

도입

AI & Poem으로 정지용·윤동주 느낌의 근대시풍 초안을 뽑아 보면, 한자어는 자주 나옵니다. 문제는 그 단어들이 너무 안전하다는 점입니다. "고독", "영혼", "운명"처럼 뜻이 곧장 열리는 말은 매끄럽지만, 근대시 특유의 낯선 결은 약합니다. 한자어를 쓰는데도 평평하게 읽히는 순간이 있었습니다.

연구 소개

Taehee Jeon(고려대)은 EMNLP 2025 Findings 논문 Beyond Distribution: Investigating Language Models' Understanding of Sino-Korean Morphemes에서 한글만 본 모델이 한자어 형태소를 실제로 잡는지 묻습니다. 논문은 Choo와 O'Grady를 인용해 한자어가 한국어 어휘의 57% 이상이라고 설명합니다. 실험은 같은 한글 음절이 같은 한자 뿌리를 공유하는 진짜 쌍과, 한글 음절만 같은 가짜 쌍을 나눴습니다. 생명(生命)과 생산(生産)은 생(生)을 공유하지만, 생명(生命)과 생략(省略)은 표기상 "생"만 같습니다.

핵심 결과

결과만 보면 BERT는 75%, fastText는 71% 정확도로 진짜 쌍과 가짜 쌍을 구별했습니다. 우연 50%보다 높습니다. 그러나 회귀분석은 이 성능이 한자 뿌리 이해보다 대상 단어의 학습 데이터 빈도에 크게 기대고 있음을 보였습니다. 저자는 사람이 국어·국립·국사가 國을 공유한다는 사실을 쉽게 알아채지만, 모델은 그런 형태소 층위의 패턴을 체계적으로 잡지 못하고 단어를 따로 처리한다고 설명합니다.

운영자의 해석 1

이 논문은 표준국어대사전 예문 기반의 일반 어휘를 다룹니다. 근대시나 AI & Poem을 실험하지 않았습니다. 여기서부터는 운영자인 제 해석입니다. 발견은 한국 근대시와 정확히 부딪힙니다. 근대 시인들은 흔한 한자어보다 뜻의 그늘이 깊은 말을 골라 씁니다. 정지용 「향수」와 윤동주 「서시」를 읽을 때도 단어 하나가 시대감과 윤리를 함께 끌고 옵니다.

저빈도 한자어일수록 논문이 말한 "빈도가 만드는 이해의 착시"는 더 위험해집니다. 자주 본 말은 모델이 그럴듯하게 붙잡습니다. 드물고 함축적인 말은 표면 문맥에 기대어 미끄러질 수 있습니다. 근대시풍 초안에서 단어가 무난한 쪽으로 모이는 이유도 저는 여기서 찾습니다.

운영자의 해석 2

AI & Poem은 시 형식 셀렉터와 짧은 주제어로 초안을 빠르게 만드는 도구입니다. 근대시풍을 고르면 분위기는 곧잘 따라옵니다. 하지만 모델은 함축적인 저빈도 한자어보다 흔하고 안전한 한자어로 수렴하는 경향을 보였습니다. 도구를 방어할 일도, 깎아내릴 일도 아닙니다. 초안의 역할이 거기까지인 경우가 많았습니다.

이 한계는 자매글에서 다룬 문제와 같은 줄에 있습니다. 시조의 70% 벽은 형식에서, TTS의 평탄한 운율은 소리에서, 단순성 선호는 내용에서 드러났습니다. 이번에는 어휘의 결입니다.

AI & Poem은 이 한계를 어떻게 다루는가

근대시풍을 의도했다면 AI & Poem의 초안은 참고점으로 보는 편이 맞습니다. 한자어 선택이 작품의 중심이라면 운영자가 직접 고쳐야 합니다. 흔한 단어를 덜고, 저빈도이지만 문맥에 맞는 한자어를 넣고, 그 말이 행 안에서 너무 설명적으로 풀리지 않는지 다시 읽어야 합니다.

마무리

저는 이 충돌을 도구의 실패보다 편집 지점으로 봅니다. LLM은 빠르게 초안을 냅니다. 근대시의 한자어는 사람이 다시 고릅니다. 그 사이에서 AI & Poem의 쓰임도 더 또렷해집니다.