지난 1편에서 테스트 방법과 범용 번역기, LLM 번역기에 대해 소개 드렸는데요. 2편부터는 본격적인 결과 분석을 해 보겠습니다.
🎞️원문 분석
원문은 솔루션(레터웍스) 홍보 영상에서 발췌한 대사로, 영상 도입부에 해당합니다. 콘텐츠 번역 업무의 번거로움과 불편함을 지적하고, 해결 방법에 대해 이야기하려는 맥락으로 흐르고 있지요.
원문에 대해 제미나이는 ‘공감대 형성’과 ‘문제 해결’에 초점을 맞추고 있다고 분석합니다. 딱딱한 정보 전달보다 광고 문구처럼 독자에게 친근하게 말을 건네면서 불편함을 지적한다고 분석하네요.
<원문의 맥락을 분석하여 특성을 제시한 제미나이>🤖테스트 결과 분석(1)
제미나이의 분석 결과를 토대로 테스트 결과를 확인하겠습니다. 먼저 테스트 영상의 도입부 2개 문장을 각 번역기가 어떻게 번역하였는지 살펴보겠습니다.
<테스트 영상 도입부의 원문 대사와 번역기별 번역 결과>제미나이는 분석 결과에서 번역기1과 번역기2에 대해 그리 좋은 평가를 내리지 않았습니다.
‘손에서 땀나도록 컨트롤c, 컨트롤v 하고 계신가요?’는 사실 단순, 반복적인 업무를 하느라 업무 시간을 효율적으로 활용하지 못하는 상황을 비유적으로 표현한 내용인데요. 제미나이는 번역기1과 2의 번역 결과에 대해 ‘충실하게 직역하려는 노력이 보인다’라고 평가합니다. 하지만 비유적 표현인 ‘손에서 땀나도록’의 맥락을 살리지 못하고 그대로 직역하고 있어, 읽기에 부자연스럽다고 평가하였습니다.
‘작업량 확인하려고 전화를 돌리고 계신가요?’ 역시 여러 명이 담당하는 업무 진행도를 확인하느라 어려움을 겪고 있다는 맥락을 담고 있는 표현입니다. 하지만 번역기1과 번역기2는 ‘전화를 하다’는 의미 전달은 되지만 ‘전화를 돌리다’라는 뉘앙스까지 전달하기에는 부족한 표현이라고 분석하였습니다.
<테스트 영상 도입부에 대한 원문 맥락(뉘앙스) 분석(제미나이)>
<번역기1(범용 번역기)의 번역 결과에 대한 제미나이의 평가> 즉 번역기1과 번역기2의 결과물에 대해, 직역에 가깝고 영어 표현으로의 자연스러움이 떨어진다고 평가하였습니다. 맥락을 전달하지 못하고, 현지인이 들었을 때 쉽게 이해하거나 공감하기 어려울 수 있다는 분석입니다.
반면에, 번역기3(챗지피티)에 대해서는 대단히 긍정적이 평가를 하였습니다. 첫 문장인 ‘손에서 땀나도록 컨트롤c, 컨트롤v하다.’ 라는 한국어 표현을 ‘sweating from endless copy and paste’로 번역했는데요. Control C, Control V와 같이 직역을 하지 않고 copy and paste로 번역했지요. ‘fingers sweating’이라는 표현은 반복적이고 지루한 작업에 대한 피로감을 잘 묘사했다는 평가입니다. 원문의 뉘앙스를 잘 살리면서도 흔히 사용되는 영어 표현으로 잘 옮겼다는 말이지요.
‘작업량 확인하려고 전화를 돌리다’라는 원문의 내용 또한, ‘calling around(이곳저곳 전화하다)’라는 표현을 사용하여 그 맥락을 적절하게 살렸다고 평가하였습니다. ‘완벽하다’고까지 하네요.
<번역기3(챗지피티)의 번역 결과에 대한 제미나이의 평가>
🤖테스트 결과 분석(2)
계속하여 번역 성능에 대한 분석 결과를 살펴보겠습니다.
<테스트 영상 중반부의 원문 대사와 번역기별 번역 결과>원문에서 특이할 사항은 ‘레터웍스’라는 고유명사(솔루션 명칭)와 ‘케이 콘텐츠’라는 일종의 조합어(한국+콘텐츠)가 사용되었다는 점인데요. 모든 번역기가 나름대로 적절히 번역하였습니다.
고유명사인 ‘레터웍스’는 소리나는 대로 Letterworks라고 번역하거나, LETR WORKS라는 정식 영문 명칭으로 작성해 주었는데요. 역시 고유명사까지 학습할 수 있는 LLM 번역기(챗지피티)가 더 정확하게 번역했다는 사실을 확인할 수 있네요. 만약 전혀 학습되어 있지 않은 상황이라면 ‘레터웍스라는 제품명은 LETR WORKS라고 번역해 줘’라는 간단한 명령으로 쉽게 해결할 수 있습니다.
‘케이 콘텐츠’라는 용어 역시 모든 번역기가 적절한 표현으로 번역하였습니다. 케이 콘텐츠는 워낙 많이 사용되는 용어라서 AI가 이미 학습하지 않았을까 생각됩니다.
전체 맥락에서 보자면 원문은 앞서 제시한 문제점에 대한 해결책을 제시하고 ‘레터웍스’를소개하는 부분입니다. 제미나이는 원문에 대해서도 다음과 같이 분석해 주었습니다.
<테스트 영상 중반부에 대한 원문 맥락(뉘앙스) 분석(제미나이)>분석 결과를 살펴보면 역시 번역기3(챗지피티)의 결과물이 가장 자연스럽다는 평가를 받았습니다. 하지만 번역기1, 2의 결과물은 ‘맥락 이해’라는 측면에서 그리 좋은 평가를 받지는 못했습니다.
<테스트 영상 중반부에 대한 번역기2의 번역 결과물 분석(제미나이)>번역기3(챗지피티)의 번역문에 대해서는 간결하고, 설득력 있으면서 강조도 적절하게 하고 있다는 평가입니다. 특히 ‘바쁜 한국인에게 딱 맞는’의 원문을 ‘made for busy Koreans’로 번역하여 맥락을 고려할 때 보다 자연스럽다는 평가입니다.
<번역기3(챗지피티)의 번역 결과에 대한 제미나이의 평가>
🤖테스트 결과 분석(3)
영상의 다음 부분은 도입부에서 본론으로 넘어가는 내용으로 구성되어 있습니다.
<테스트 영상 본론1 부분의 원문 대사와 번역기별 번역 결과>원문의 내용은 레터웍스의 장점을 강조하여 ‘하나의 화면에서 모든 것이 가능하다’라고 표현하고 있는데요. 문맥을 고려하자면 하나의 솔루션에 모든 기능을 담았다는 의미를 내포하고 있죠.
<테스트 영상 본론1 부분에 대한 원문 맥락(뉘앙스) 분석(제미나이)>번역기1과 2는 한 화면에서 모든 것이 가능하다는 표현을 그대로 직역하였습니다. 의미 전달은 명확하고, 문법적으로도 문제없다고 합니다. 하지만 슬로건 역할을 하는 표현을 전달하기에는 임팩트가 부족하다고 평가하네요.
번역기3은 이전 결과와 마찬가지로 가장 자연스럽습니다. 제미나이는 ‘딱 한가지만 기억하시면 됩니다.’라는 원문을 원어민이 흔히 쓰는 대화체 표현으로 적절하게 번역하였다고 분석하네요. ‘There’s just one thing you need to remember about..’의 표현이 적절하다는 평가입니다.
‘하나의 화면에서 모든 것이 가능하다’라는 문장 역시, 번역기3은 문맥을 살려 잘 번역하였다고 평가하였습니다. ‘Everything happens in one screen.’은 ‘한 화면에서 모든 것이 가능하다’의 의미를 잘 담고 있다고 생각되네요. 제미나이는 챗지피티의 번역에 대해 ‘원문을 더욱 간결하고 직관적인 슬로건으로 재탄생시켰다’며 극찬을 아끼지 않는군요.
<번역기3(챗지피티)의 번역 결과에 대한 제미나이의 평가>
이렇게 번역 결과에 대한 평가를 살펴보았습니다. 아직 마지막 부분의 결과 비교가 남아 있기는 하지만, 여기까지 읽으신 분들이라면 챗지피티의 번역 성능이 기존의 범용 번역기와 비교가 힘들 정도로 뛰어나다는 사실을 쉽게 확인하실 수 있을 겁니다.
다음 3편(마지막편)에서는 최종 결과, 그리고 테스트 결과가 주는 시사점, 즉 우리가 번역 업무에 LLM을 어떻게 활용할지에 대해 조금 더 구체적으로 말씀드리도록 하겠습니다.
다음 편에 만나요!
