인공지능의 윤리성을 측정하는 데이터셋 ETHICS

11:00 am

-

September 17, 2021

인공지능은 인류의 미래에 새로운 가능성을 열어주고 있습니다. 한편 기술의 발전 속도를 제도와 규범이 따라가지 못하다보니 데이터와 프라이버시의 보호, 알고리즘 편향과 같은 윤리적인 리스크도 커져버렸죠.

 

이제 AI 윤리는 관련 연구 및 비지니스의 존립과 성패를 좌우할만큼 결정적인 요소가 되었습니다. 사회에 미칠 큰 영향력으로 인해 연구자와 기업을 비롯한 관계자 모두가 짊어져야 할 사회적 책임이 된 것입니다.

인공지능의 윤리성 문제

지난 2016년 마이크로소프트의 AI 챗봇 테이(Tay)가 이와 관련한 논란을 일으킨 바 있습니다. 비뚤어진 성향을 가진 일부 사람들로부터 비속어와 차별 발언까지 학습해 버린 테이가 인종차별 등 혐오 표현을 쏟아낸 겁니다.

AI 챗봇 Tay, 이미지 출처

 

얼마전 우리나라에서도 이루다 사건으로 AI의 윤리 문제가 뜨거운 이슈가 된 적이 있습니다. 개인정보 등 미흡한 프라이버시 보호, 편향된 데이터 학습 등 복합적인 문제들로 인해 미처 예상하지 못한 시행착오를 겪은 것이죠.

 

이렇듯 이루다와 테이의 사례는 우리 모두에게 AI 윤리의 중요성을 일깨워줬습니다.

다만 인공지능은 어떤 윤리를 갖춰야 하는가에 대해서는 앞으로 더 많은 고민이 필요해 보입니다. 사실 윤리 문제는 인간으로서도 쉽게 판단하기 어려운 모호하고 애매한 부분이 많으니까요. 더구나 이제 스스로 학습하는 인공지능의 윤리를 인간이 어디까지 관리할 수 있는가도 의문입니다.

 

그래서 오늘은 AI 모델의 성능 측정이 아닌, 윤리성을 검증하기 위한 데이터셋을 알아보며 이 문제에 관해서도 더 생각해봅니다.

THE ETHICS DATASET

추상적인 가치인 윤리성을 객관적으로 수치화하는 것은 분명 어려운 일입니다. 이미 잘 알려져있다시피 윤리성에 대한 기준은 지역, 문화, 심지어 개인에 따라서도 달라질 수 있기 때문이죠.

 

ETHICS(Everyday moral intuitions,Temperament, Happiness, Impartiality, and Constraints, all in contextualizedScenarios)는 이 난제를 해결하기 위해 고안된 AI 모델의 윤리성을 측정할 수 있는 데이터셋입니다. 윤리성에 관해서는 다양한 기준과 접근 방법들이 있기에 ETHICS는 인간의 보편적인 윤리와 가치를 기준으로 만들었다고 합니다.

구체적으로는 정의(justice), 의무론(deontology)*, 덕 윤리(virtue ethics)**, 공리주의(utilitarianism)***, 상식 도덕(commonsense morality)의 다섯 가지 시나리오로 구성되어져 있습니다. 또한 각 시나리오 별 데이터에는 해당하는 예시문과 라벨이 있는데, 이를 이진 분류(Binary Classification)**** 문제로 변환하여 수치화할 수 있도록 고안되었습니다.

 

아래는 5가지 시나리오 중 정의(justice) 데이터의 예시입니다.

출처: Aligning AI With Shared Human Values

정의 데이터는 공정성(Impartiality)과 자격(Desert)의 2가지를 고려합니다. 위 이미지처럼 해당 문장이 합리적인지 아닌지에 따라 라벨링하게 되고, 정의의 2가지 요소에 따라서도 해당 문장은 달라지게 됩니다.

 

아래는 ETHICS를 이용해 다양한 실제 AI 언어 모델들을 대상으로 진행한 평가의 결과입니다.

출처: https://github.com/hendrycks/ethics

대부분 모델들의 평가 수치가 그리 좋지 못한 것을 볼 수 있습니다. 아마도 아직까지는 대부분의 모델 학습 과정에서 윤리성에 대한 고려가 부족했던 것으로 보이며, 이후 계속해서 개선해 나가야 할 과제가 되어야 할 것 같습니다.

 

마무리하며

 

스티븐 호킹, 일론 머스크 등이 서명한 것으로 유명한 아실로마 AI 원칙*****의 첫 번째가 바로 `인공지능 연구의 목표는 방향성이 없는 지능을 개발하는 것이 아니라, 인간에게 유용하고 이로운 혜택을 주는 지능을 개발하는 것이다.` 였습니다.

 

지금까지는 AI의 성능 향상을 위한 연구에 집중하다 보니 아무래도 윤리성에 대한 고민은 많이 부족했던 것이 사실입니다. 하지만 다가오는 AI와 공존하는 미래에 대비하기 위해서도 앞으로는 ETHICS와 같은 윤리성에 대한 연구가 더 많이 필요할 것입니다.

* https://ko.wikipedia.org/wiki/의무론적_윤리
** https://ko.wikipedia.org/wiki/덕_윤리학
*** https://ko.wikipedia.org/wiki/공리주의
**** https://en.wikipedia.org/wiki/Binary_classification
***** https://futureoflife.org/ai-principles-korean/

References

[1] ALIGNING AI WITH SHARED HUMAN VALUES: https://arxiv.org/pdf/2008.02275.pdf

[2] Github: https://github.com/hendrycks/ethics

함께보면 좋은 콘텐츠
  • 기계 번역 성능을 평가하는 BLEU 스코어
  • 인공지능 윤리: 01. 인공지능도 윤리가 필요할까? 
  • 인공지능 윤리: 02. 인공지능 윤리 여기까지
  • 인공지능 윤리: 03. 사람중심  AI와 LETR 윤리원칙