2편에서 범용 번역기와 LLM 번역기의 번역 성능을 비교하는 내용을 소개해 드렸는데요.마지막 3편에서는 비교를 마무리하고 최종 결과와 시사점에 대해 말씀드려 보겠습니다.
🔍테스트 결과 분석(4)
이제 테스트 영상의 마지막 부분입니다. 마지막은 전체 영상의 본론 부분으로 살짝 긴 하나의 문장으로 구성되어 있습니다.
<테스트 영상 본론2 부분의 원문 대사와 번역기별 번역 결과>이 문장에는 캣툴이라는 용어가 나옵니다. ‘캣툴’은 CAT Tool를 일컫는 말로, Computer-Aided(또는 Assisted) Translation Tool의 약어입니다. 한국어로는‘컴퓨터 보조 번역 도구’나 ‘번역 지원 도구’ 정도로 표현할 수 있을 텐데요. 테스트에서는 문맥을 제대로 이해하는지 확인하고 싶어 소리나는 대로 ‘캣툴’이라고 작성해 보았습니다.
전체 내용은‘기존 캣툴(CAT took)’의 불편함에 대해 이야기하고 있습니다. 그렇다면 문맥 상 레터웍스의 편리함이나 장점에 대한 내용으로 이어지겠군요.
<테스트 영상 본론2 부분에 대한 원문 맥락(뉘앙스) 분석(제미나이)>번역기1은 캣툴이라는 용어를 CAT Tools라고 정확히 표현하였습니다. 전문 용어임에도 학습 데이터에 포함되어 있었던 것으로 보이네요. 번역기3 역시 기대대로 정확하게 표현(CAT Tools)하였습니다. 반면 번역기2는 cat tool이라고 작성하였습니다. 아쉽게도 그 맥락을 이해하지 못하고, 소리나는 대로 옮기지 않았을까 생각됩니다.
제미나이는 번역기1의 생성문에 대해 너무 직역투여서 원어민이 들었을 때 매끄럽지 않다고 느낄 가능성이 크다고 평가하였습니다. 또한 특정 어휘 선택이 부자연스럽다고 하네요.
번역기2에 대해서는 더욱 부정적인 평가를 하였는데요. random이라는 단어 선택으로 원문의 의미가 왜곡되었다는 분석입니다. ‘임의로 정해진’, 즉‘사용자가 선택할 수 없이 고정된’이라는 원문의 맥락을 이해하지 못하였기에 오역을 하게 된 것이지요.
번역기3에 대해서는 가장 자연스럽다는 평가입니다. 특히 hassle, pre-selected, being stuck with 처럼 원문의 의미를 정확히 전달할 수 있는 단어를 선택하여 자연스럽게 번역하였다고 평가하였습니다.
<번역기3(챗지피티)의 번역 결과에 대한 제미나이의 평가>
✅최종 결과
구글의 LLM인 제미나이는 챗지피티의 번역(번역기3)이 가장 우수하다고 평가하였습니다. 전체 내용의 맥락, 즉 문맥을 이해하고 번역 결과물을 생성해 준다는 점에서 기존의 범용 번역기와는 큰 차이가 있습니다.
범용 번역기는 원문 문장의 직역과 의미 전달에 주안점을 둔 반면, LLM은 학습 데이터를 바탕으로 현지인이 자연스럽게 받아들이는 점까지 고려하여 번역문을 생성한다는 점을 확인할 수 있었습니다.
특히 LLM 번역기의 우수한 성능은 더 이상 번역기가 업무를 보조하는 수단을 넘어,중요한 업무 도구로 활용될 수 있음을 보여줍니다. 세상 모든 언어에서 전부 다 우수한 성능을 발휘하지는 못하겠지만, 적어도 영어를 비롯한 주요 언어에 대해서는 상호 의사소통에 아무런 지장이 없을 정도의 뛰어난 번역 성능을 보여 줄 것이라 생각되네요.
<번역 성능에 대한 제미나이의 최종 평가>
💬맺음말
이제 범용 번역기의 시대는 지나가고, LLM 번역기의 시대가 온 것일까요?
이제 전문 번역가는 더 이상 필요없는 세상이 되어 버린 것일까요?
앞으로는 그런 세상이 올 수도 있겠지만 아직까지는 그렇지 않은 것 같습니다.
범용 번역기는 일상 생활에서 자주 사용되는 표현에 대해 우수한 번역 성능을 보여줍니다. 또한 번역 외에도 다양한 기능을 제공하는 LLM 모델과 달리, 번역 기능에 특화되어 있어 사용자 편의성이 대단히 뛰어나지요. 따라서, 간단한 번역을 필요로 하는 해외 여행자들이나 외국인과의 단순 의사소통을 원하는 사용자들에게 당분간 여전히 유용한 도구로 활용될 수 있습니다.
전문 번역이 필요한 콘텐츠 현지화 업무도 마찬가지입니다. 드라마, 영화와 같은 콘텐츠 번역에는 완벽한 의미 전달은 물론, 현지 문화 코드에 맞는 재해석까지 필요합니다. 드라마, 영화, 웹툰의 현지화 업무에서 전문 번역가의 역할을 LLM 번역기가 100% 대체하기는 아직까지 어렵다는 판단입니다. 현지 문화 코드에 적합하도록 원문을 재창작하려면 전문가가 LLM에게 해당 업무를 수행하라고 구체적인 명령을 내려 주어야 하니까요. 한 마디로 전문가의 업무를 보다 수월하게 만들어 주는 도구로 활용될 수 있는 것이지요.
예를 들어 똑바로 읽어도 거꾸로 읽어도 똑같은 ‘기러기, 토마토, 스위스, 인도인, 별똥별’을 영어로 표현한다면 직역으로는 곤란할 겁니다. 이런 유형의 단어를 팰린드롬(palindrome)이라 하는데 영어로는 ‘kayak, racecar, level, deed, civic’ 같은 단어로 표현해야 말의 맛을 살릴 수 있겠지요.
<LLM에 제시한 프롬프트 예시>
<LLM의 답변 예시>결국 이런 재창작 과정을 모조리 LLM에만 맡기기는 어렵습니다. 전문가가 원작 내용을 파악, 재해석하고 아이디어를 도출하여 생성된 번역문을 확인, 재창작하는 절차는 반드시 필요합니다. 다만 이 과정에서 LLM을 적절히 활용한다면 현지화 업무를 훨씬 효율적으로 진행할 수 있을 것입니다.
마지막으로 저희 레터웍스 소식을 전해 드리겠습니다. 레터웍스 기술팀은 LLM 번역기와 연결하여 최고 성능의 번역 생성을 할 수 있도록 개발에 박차를 가하고 있습니다. 적용이 완료되면 저희가 제공하는 ‘콘텐츠 현지화 서비스’의 품질과 업무 효율이 혁신적으로 개선됩니다. 이를 바탕으로 고객들께 보다 나은 서비스를 제공해 드리겠습니다.
지금까지긴 글 읽어주셔서 감사합니다!
다음 호에서 또 만나요~
