안녕하세요, 오랜만에 인사드리는 레터웍스 블로그지기입니다.
봄을 지나 본격적인 여름을 맞이한 요즘, 마침 4년만에 찾아온 북중미 월드컵으로 무더위에도 즐거운 나날을 보내고 계신가요?
오늘은 AI를 일상생활과 업무에 활용하시는 분들께 도움이 되는 내용으로 찾아 뵙게 되었습니다.
📜 야후에서 구글까지, 단어 기반 검색의 역사
인터넷이 세계적으로 보편화되기 시작한 90년대부터, 방대한 정보의 바다 속에서 사용자가 원하는 정보를 잘 찾아주는 검색 엔진이 큰 관심을 모았는데요. 초창기 인터넷의 보급에 크게 기여한 야후, 세계적인 기술 기업으로 성장한 구글, 한국 최고의 IT 기업 네이버와 같은 기업들은 사용자에게 최적화된 검색 기술을 선보였습니다.
사용자들은 이런 검색 엔진을 활용하여 인터넷에서 원하는 정보를 쉽게 찾을 수 있었고, 기업들은 사용자 트래픽을 비즈니스에 활용하여 규모를 키울 수 있었죠.
지금까지의 검색 기술은 사용자가 입력한 ‘단어와 키워드’가 본문에 그대로 포함되어 있는 콘텐츠를 찾아주는 방식이었는데요. 그러다 보니 사용자들은 검색 엔진의 특성에 맞춰 ‘맛집이나 생활 정보는 네이버, 학술 정보나 업무 정보는 구글’처럼 검색 플랫폼을 나누어 활용하곤 했습니다.
2000년대 이후 검색 서비스에서 정보를 찾아 활용하는 문화는 점차 보편화되었습니다. 스마트폰의 등장으로 이는 가속화되었는데요. 사람들은 언제 어디서나 스마트폰을 꺼내어 원하는 정보, 궁금한 내용을 찾아볼 수 있게 되었습니다.
2022년 챗GPT의 등장으로 AI가 전 세계적인 트렌드가 된 이후, 검색 기술에도 변화의 조짐이 나타났습니다. 단어와 키워드 기반의 검색 기술이 새롭게 진화할 수 있는 기술적 토대가 마련된 것인데요. 바로 AI를 검색 기술에 활용한 ‘맥락 검색’, ‘시맨틱 검색’입니다. 최근 새롭게 등장한 검색 기술은 LLM에 이어 새로운 트렌드가 되고 있습니다.
🧠 AI가 문장과 맥락을 읽는 시맨틱 검색이란?
시맨틱은 우리말로 ‘의미론적인’이라는 뜻입니다. 쉽게 말해 사용자가 입력한 검색어를 글자 그대로 인식하는 것이 아니라, 문장 속에 담긴 ‘의미와 의도, 그리고 맥락’을 사람처럼 이해하고 결과를 찾아주는 AI 기반 기술입니다.
예를 들어 《로미오와 줄리엣》을 기존 검색 엔진에 입력하면 본문에 ‘로미오’, 줄리엣’이라는 글자가 문자 그대로 포함된 콘텐츠만 찾아줍니다. 반면 시맨틱 검색 엔진에 입력하면 ‘로미오’나 ‘줄리엣’이라는 단어가 나오지 않더라도, ‘비극적인 사랑, 집안의 반대를 무릅쓴 연인, 슬프고 안타까운 결말’이라는 문맥을 AI가 알아차리고 관련 영상이나 콘텐츠를 정확히 찾아낼 수 있습니다.
우리말로 하면 ‘맥락 검색’이라고 할 수 있을 텐데요. 기술적으로는 한 단계 더 확장된 기술을 뜻하기도 합니다. 시맨틱 검색의 의미론적 접근을 넘어 사용자의 현재 상황, 위치, 최근 트렌드 같은 외부 환경까지 종합적으로 고려해 최적의 결과를 정제해 주는 검색 기술이라 할 수 있습니다.
🎭 컴퓨터가 인간의 감정을 어떻게 검색할까?
그러면 AI는 컴퓨터가 이해하지 못하는 인간의 복잡한 감정과 문맥을 어떻게 찾아낼 수 있을까요? 비밀은 ‘벡터 검색’과 ‘임베딩’이라는 기술에 있습니다.
-임베딩 : AI가 영상/자막/이미지 등의 언어적·시각적 맥락을 컴퓨터가 이해할 수 있는 수학적 좌표(고차원 벡터)로 바꾸는 과정을 의미
-벡터 검색 : 사용자가 검색했을 때, 이 좌표 공간에서 의미상 가장 가까운 거리에 있는 결과를 찾아내는 행위
본래 컴퓨터는 숫자로만 대화하기 때문에 ‘슬픔’, ‘비극’과 같은 인간의 감정을 이해하지 못하는데요. 최근 등장한 LLM과 같은 AI 모델은 인간의 복잡한 말과 콘텐츠의 문맥을 분석하여 컴퓨터가 알아들을 수 있는 ‘좌표(숫자)’로 바꿔 주는 일종의 통역사 역할을 합니다. 이 과정을 임베딩(Embedding)이라고 하지요.
의미가 비슷한 콘텐츠들끼리 좌표 위의 가까운 숫자로 모아서 배치해 주는 것인데요. 이 기술을 AI 모델이 구현해 주기 때문에 시맨틱 검색(벡터 검색)의 핵심은 AI 모델이라고 할 수 있습니다.
⚙️ 시맨틱 검색의 3단계 워크 플로우
사용자가 문장으로 검색했을 때, 시스템이 키워드 매칭을 넘어 ‘맥락’을 이해하고 이에 부합하는 결과를 출력하는 과정은 3단계로 이루어집니다.
1단계 : 기존 데이터의 지도화(임베딩)
-먼저 플랫폼이나 검색 엔진이 보유한 방대한 콘텐츠(영상, 이미지, 문서 등)를 AI 모델에 입력합니다. AI 모델은 이를 통째로 읽어 들인 뒤, 각 데이터가 어떤 문맥과 의미를 가졌는지 자동으로 분석하여 수학적 좌표(벡터)로 변환해 데이터베이스에 미리 저장해 둡니다.
-우리가 인터넷에서 마주치는 방대한 영상과 글, 이미지들이 사용자가 검색하기 전에 이미 AI의 ‘의미 지도’ 위에 좌표로 찍혀서 세팅되어 있는 것이죠.
2단계 : 사용자의 질문 해석
-사용자가 검색창에 질문을 던지면 AI 모델이 이를 실시간으로 분석합니다. 그리고 앞서 만들어 둔 의미 지도 위에서 정확히 어떤 좌표(위치)에 해당하는지 찾아냅니다.
-만약 사용자가 ‘로미오와 줄리엣’을 검색했다면 AI는 이를 단어 그대로 보는 게 아니라 ‘비극적인 사랑’, ‘집안의 반대’, ‘슬픈 결말’이라는 감정과 맥락의 좌표로 실시간 해석하는 것이죠.
3단계 : 가장 가까운 결과값을 찾아 출력(벡터 검색)
-마지막으로 시스템은 사용자의 질문 좌표와 가장 가까운 거리에 위치한 영상, 이미지, 문서 등 콘텐츠를 찾아내어 사용자에게 보여줍니다.
-비록 특정 콘텐츠에 ‘로미오’나 ‘줄리엣’이라는 단어가 적혀 있지 않더라도, 지도 위에서 ‘비극’, ‘이루어질 수 없는 사랑’, ‘슬픔’의 좌표와 가장 가까이 붙어 있는 콘텐츠(주인공들이 눈물을 흘리는 영상, 애절한 분위기의 이미지, 이별을 노래하는 서사 등)를 완벽한 맥락적 결과물로 판단하여 사용자에게 화면으로 보여주게 되지요.
지금까지 검색 트렌드 시장의 변화와 시맨틱 검색에 대해 살펴 보았는데요. 다음편에서는 시맨틱 검색을 적절히 활용할 수 있는 방법에 대해 말씀드리겠습니다.
그럼 2편에서 만나요!
