[NIA] EU의 인공지능 신규제메카니즘: 설명가능 인공지능(XAI)

[미국방연구원의 XAI 평가 지표]

 

 

 

*** 출처: [NIA] EU의 인공지능 신규제메카니즘: 설명가능 인공지능(XAI)

*** 문서:

[스페셜리포트_2018-3]_EU_ML_신규제메카니즘_설명가능_AI.pdf

 

 

 

 

1. 머신러닝과 인공지능의 경제적·사회적 영향력 확산

 

 

- ML / AI는 미국의 경우, 전 세계적으로 비교해 볼 때, 최고 수준의 경제 이익을 창출, 2035년에 이르면 최고 4.6 %의 성장률을 보일 것으로 전망

 

- 일본은 ML / AI를 이용하여 같은 기간 총 부가가치 성장률이 0.8 %에서 2.7%로 세 배가 될 것으로 전망

 

- 그 외 독일, 오스트리아, 스웨덴, 네덜란드는 같은 기간 동안 연평균 경제 성장률이 두 배가 될 것으로 전망

 

- ML / AI는 소셜네트워크, 뉴스미디어, 오락, 일반 소비생활에 적용되어 개인의 일상생활에도 크게 영향을 미치고 있음

 

 

○ ML / AI의 역기능 사례들도 보고되고 있음

 

- 주요 역기능은 빅데이터에 기반한 ML/AI 알고리즘이 한쪽으로 편향(biased)된 결과를 도출하고 차별을 만드는 것임

 

- Google의 온라인 광고시스템은 고소득 직업에 대한 구인광고를 여성보다 남성에게 훨씬 자주 표시

 

- 하버드 대학교수 Latanya SweeneySweeney가 자신의 이름을 구글 검색하여 학술 논문을 찾는 중 구글이 과거 그녀가 체포된 적이 있다고 광고하는 것에 충격을 받음. 많은 연구 끝에 그녀는 흑인을 연상하게 하는 이름을 검색할 때 이러한 종류의 광고를 게재 할 가능성이 25 % 더 높다는 것을 발견

 

- 2010년 미국주식시장의 플래시 크래쉬(갑작스런 붕괴) 사례: 5월 6일 36분 동안 자동화 알고리즘이 긴급 조정 응답을 생성함에 따라 비정상적으로 대규모 판매 주문이 일어나 미국 주식 시장에서 거의 1조 달러가 사라진 사건. 플래시 크래쉬는 현실 세계에서 작동하는 인공 지능 에이전트가 많아짐에 따라 예측하기 어려운 방식으로 상호 작용할 수 있다는 것을 보여준 예

 

 

 

[머신러닝 / 인공지능의 어두운 면]

 

 

 

2. ML / AI가 편향(biased)된 결과를 만들어 내는 이유

 

 

○ ML/AI 알고리즘이 현실세계가 반영된, 편향된 데이터셋을 학습하게 됨으로써 편향된 결과가 발생(Garbage in garbage out)

 

- 현실이 반영된 학습데이터에 의한 편향성은 인식하기도 쉽지 않고 학습데이터의 특정계층에 불리한 결과를 제시할 수 있음

 

- 알고리즘이 학습할 수 있도록 최초데이터(raw data)를 디지털로 가공하는 과정에서도 편향된 결과가 발생

 

- 최초데이터에 이미 존재하는 편향성(이전에는 문제가 되지 않았음)을 학습하고 결과를 도출, 과거 편향성을 그대로 노출

 

- 입력데이터와 상관없이 ML / AI의 블랙박스인 알고리즘 모델이 편향성을 일으키는 결과 발생

 

 

○ 편향된 학습을 통한 편향 사례

 

- 2016년 3월 MS사가 선보인 딥러닝 기반 챗봇 '테이'에게 일부 이용자들이 트롤링을 목적으로 ‘따라해봐’라는 말을 먼저 한 후 인종차별, 성차별 발언과 욕설을 학습하도록 유도. 테이는 결국 ‘홀로코스트는 조작’, ‘히틀러는 무죄’, ‘페미니스트는 지옥행’ 등 부적절한 말을 쏟아내고 MS는 공개 16시간 만에 운영을 중단. 테이사태로 AI를 어떻게 학습시키고, 어떻게 활용하느냐에 대한 고민이 필요하다는 공감대가 전세계적으로 형성되는 계기가 됨

 

- 영국의 Saint George 병원은 의사 모집 과정을 관리하기 위해 자동 응시자 평가 시스템을 구현, 이 새로운 솔루션은 더 빠르고 사람이 개입할 여지가 없었기 때문에 더 객관적일 것이라고 생각되었으나 이 시스템은 여성과 비유럽식 이름을 가진 사람들을 차별하는 것으로 밝혀짐. 새로운 모집절차 모델 개발자는 모집 담당자가 과거에 의사 결정을 내린 방식에 대한 데이터를 사용하기로 결정. 그러나 문제는 이러한 오래된 결정이 이미 편견을 갖고 있어서, 예를 들어, 업적 자격과 무관하게, 여성은 전반적으로 고려 대상이 되지 않았던 점을 학습

 

- 최근 버클리대학 연구팀은 머신러닝 AI 기술을 사용하여 늑대들이 찍힌 사진들과 허스키들이 찍힌 사진들을 구별하도록 시스템을 훈련, 인공지능이 사진 속의 동물이 늑대라고 판단할 때, 인공지능은 실제로 늑대들 사진에 있는 눈(snow)에 주의를 기울이고 있음을 발견. 테스트에 쓰인 늑대의 모든 사진에는 눈이 있었기 때문에 허스키 사진에 눈이 있으면 그것이 늑대라고 생각하는 잘못된 상관관계를 학습, 인공지능이 실제로 무엇에 주목하고 있는가를 알아야 어디에서 잘못된 실수가 일어나고 있는지 분명히 알 수 있게 됨

 

- 미국과 인도에서 미결정 유권자에 대한 일련의 연구 결과에 따르면 검색 엔진 결과는 투표 결과를 약 20% 정도 변경할 수 있었던 것으로 밝혀짐. 연구원은 의도가 있든 없든 간에 알고리즘을 사용하여 경쟁 후보자의
페이지 목록을 강화하면 후보자가 "경쟁할 수단이 없다"고 결론

 

- 2016 년에는 전문 인적네트워킹 사이트인 LinkedIn이 여성 관련 검색에 대한 응답으로 여성 이름과 비슷한 남성 이름을 보여주면서 응답하는 것을 발견, 이 사이트는 반대로 남성 이름 검색에서 여성 이름의 비슷한 추천을 하지 않았음. 예를 들어, "Andrea"는 사용자가 "Andrew"를 의미하는지 묻는 프롬프트를 표시하지만 "Andrew"에 대한 쿼리는 사용자가 "Andrea"를 찾으려고 하는지 묻지 않았으며 이 회사는 사용자와 사이트의 상호 작용을 분석 한 결과라고 말함

 

 

 

3. ML / AI 역기능에 대한 EU의 인식

 

 

○ Jenna Burrell 박사는 ML/AI의 투명성과 신뢰성을 해칠 수 있는, 그럼으로써 극복해야할 세 가지 장벽을 아래와 같이 언급

 

- 비즈니스 기업이나 정보를 처리하는 기업의 의도적인 은폐

 

- 대부분의 사람들이 기본 코드에 액세스하는 것이 불충분 하다는 기술적 소양의 부족

 

- 알고리즘에 의한 의사 결정에 대한 전문가의 해석 능력 부족

 

 

○ 이에 ML/AI의 투명성과 신뢰성 제고를 위한 규제 메커니즘 필요성을 제기하고 일반정보보호규정(GDPR)에 관련 규제조항을 마련

 

- 특히 기업의 의도적인 은폐를 막을 수 있는 조치의 마련, 정보주체의 설명요구권리를 보장하고 자동화된 의사 결정에 제한을 규정

 

 

 

4. 설명을 요구할 권리 규정 (Right to explanation)

 

 

- (Art 05) 데이터는 정보주체와 관련하여 적법하고 공정하며 투명하게 처리되어야 함

 

- (Art 13) 데이터 컨트롤러(데이터 프로세서)는 정보가 수집될 때 공정하고 투명한 처리를 보장하는 추가 정보를 정보주체에게 제공해야 함

 

- (Art 12) 데이터 컨트롤러는 간결하고 투명하며 이해하기 쉬운 방식으로, 명확하고 평이한 언어를 사용하여, 정보주체와 의사소통을 하기 위한 적절한 조치를 취해야 함

 

- (Art 40) 기업은 정보보호의 투명성과 책임성을 보장하기 위한 기업의 AI윤리(codes of conduct)를 마련하고 공적인 인증을 받을 것을 권장

 

 

 

5. 자동화된 의사결정을 제한할 권리 (Right to object to decision made by automated processing): Art 22

 

 

-  정보주체는 법적 효력을 초래하거나 본인에게 중대한 영향을 미치는 사항에 대하여 프로파일링 등 자동화된 처리에만 근거한 결정의 적용을 받지 않을 권리

 

- 컨트롤러는 정보처리에 적용된 로직(logic)에 관한 의미 있는 정보 및 그 중요성과 영향을 제공함으로써 처리의 공정성과 투명성을 보장해야 함

 

- 프로파일링을 위한 적합한 수학적 또는 통계적 방법을 사용, 오류를 시정하고 실수 위험을 최소화할 수 있는 적절한 기술적·조직적 조치 시행

 

- 차별적인 결과를 방지하기 위하여, 정보주체의 이익과 권리에 대한 위험의 크기에 비례한 개인정보 보호조치를 적용 (예: 인종차별 방지 등)

 

 

 

6. 신뢰의 ML/AI를 향한 자발적 조치(safeguards)

 

 

- 기업의 AI윤리(codes of conducts) 수립

 

- 정보품질진단과 감리

 

- 설명가능 AI의 개발 및 설계

 

- 차별인식 ML 알고리즘 개발

 

 

 

7. 현재 XAI 개발 사례

 

 

- 미국방연구원(DARPA)은 소속 과학자와 산업계, 학계의 전문가로 연구팀을 구성하여 기밀정보분석 , 무인자율시스템 영역에서 3가지 기술적 접근으로 통해, 2021년 4월까지 XAI 개발 프로그램을 추진 중

 

- Google은 머신러닝의 각 뉴런이 무엇을 식별하려고 시도하는지를 보여주는 도구를 개발하고 있으며 실제로 사진에 무엇이 있는지 (예 : 개 또는 턱시도 또는 새)를 결정하기 위해 뉴런들이 어떻게 결합하는지 방법을 제공하려고 노력하고 있음

 

 

 

[XAI 개발을 위한 기술적 접근]