🔍ヒューマン・ラベリングと検証(校正)テスト
次に、プロジェクトにおけるヒューマン・ラベリングのプロセスについて見ていきましょう。AIモデルが作成した文章が完璧であれば、ヒューマン・ラベリングの過程は不要かもしれません。しかし、現時点では意味の適切性や文化的な文脈の反映度について、細かく検証する必要があります。
そのため、私たちは外部の専門機関に委託し、韓国語/英語の校正専門家に検証を依頼しました。
ここではさらに一歩進んだテストとして、ChatGPTが生成した結果をGeminiに、Geminiが生成した結果をChatGPTに相互に検討させるテストを実施しました。
具体的には、
1. まず、ChatGPTが生成した5つの文章に対し、Geminiに**「画像に合わない文章や不適切な表現を校正してほしい」**と依頼しました。
2. 逆に、ChatGPTに対しては、Geminiが生成した文章を検討するように依頼しました。正確なテストのために、全く同じ内容の依頼を両モデルに行いました。
<ChatGPTが生成した文章をGeminiが校正した結果(英文)>
いくつかの不自然な表現を中心に修正が加えられ、全体的に表現がより自然になった印象を受けます。
同様に、ChatGPTもGeminiが生成した文章を校正してくれました。
<Geminiが生成した文章をChatGPTが校正した結果(英文)>
ChatGPTは原文の文章をより簡潔に表現し、やや感傷的すぎると感じられる表現も修正してくれました。これは、原文を冗長で情緒的すぎると認識した結果だと考えられます。
実際に私たちの検収・校正業務はAIではなく人間の専門家が担当しましたが、この程度の修正精度であれば、近い将来、検収業務の一部もAIが担う日が遠くないと感じています。
その後、私たちはデータ有効性評価を通じて最終品質検証を完了し、評価結果、**83% (英語), 62% (韓国語)**という優れた有効性を達成することができました。
🌐 結び:ソブリンAIに向けた私たちの旅路
前述の通り、ソブリンAIは国家と社会が持つ固有の文脈と文化を反映して初めて真の意味を持ちます。今回ご紹介した韓国的な映像理解データプロジェクトは、まさにこの方向性を明確に示しています。
私たちが構築した41,000枚の韓国的な画像と205,000件のキャプション文章は、単なるデータセットを超え、文化的なニュアンスと地域的な文脈を捉えた基盤となります。これは、ソブリンAIが追求するデータ主権の確保、技術的な自立、そして文化的多様性の尊重を実現する中核的な基盤となるものです。
今後も私たちは、ソブリンAIの礎となるデータプロジェクトを拡大し、その発展を支えてまいります。さらに、世界中の多様な文化がAIに自然に溶け込み、偏りのない均衡の取れたAIモデルが確立されるよう貢献していく所存です。
<世界各国の特色ある公園イメージがAIモデルで実現されるその日まで>
究極的には、私たちLETR WORKSは、これらの取り組みを通じて、韓国だけでなくグローバルなAIエコシステムにおいても意味のある役割を果たしていきます。
最後までお読みいただき、誠にありがとうございました。
次回も有益なテーマでお会いしましょう!