[NIA] 인공지능 Kill Switch 관련 해외 동향

 

 

 

 

■ 로봇과 Kill Switch

 

 

1. 로봇 활동 중단을 위한 Kill Switch

 

 

□ Kill Switch

 

- 스마트 머신이 스스로 자신을 통제하는 경우를 대비해 인간에게 이를 통제할 다른 방법이 필요하다는 개념

 

- 기기/장비가 오류, 작동권한의 변동, 기타 내/외부적인 변화를 불문 ①소유자/관리자 등에 대하여 손해를 야기할 우려가 있거나 ②다른 권한이 없는 자에 의하여 통제되는 경우 ③단순히 초기화하여야할 필요가 있는 경우 물리적으로 그 기기/장비를 파괴, 초기화 등을 하기 위한 시스템 도구 또는 그러한 기능

 

- Big Red Button, Safely Interruptible Agents 등으로 표현

 

 

□ 로봇과 AI의 실제적 문제들

 

- 최근 구글Brain, 오픈AI, 스탠포드/버클리대 등의 연구진은 'Concrete Problems in AI'를 발표

 

- 실제 AI 시스템의 열악한 설계로 인해 발생할 수 있는 의도하지 않은 해로운 행동으로 정의되는 기계학습 시스템의 사고를 방지하기 위한 고려사항을 제시

 

① 부작용 방지(Avoiding Negative Side Effects)

 

AI는 임무를 완료하는 동안 주변 환경을 방해해서는 안된다. 청소용 로봇이 청소를 빨리 끝내기 위해 화병을 깨뜨리거나 화분을 망치면 안된다는 이치다.

 

② 보상적 해킹 방지(Avoiding Reward Hacking)

 

AI는 대충 처리하거나 꼼수를 부리지 말고 주어진 역할을 제대로 충실하게 이행해야 한다. 가령 깨끗하게 청소를 하기 위해 일부러 쓰레기로 주변을 어지럽게 만들고 나서 청소를 수행하는 로봇은 취지에 맞지 않는다.

 

③ 확장 가능한 감독(Saclable Oversight, Scalable Supervision)

 

AI의 효율성을 위해 인간의 끊임없는 피드백이나 인풋이 요구돼서는 안된다. 가령 인간에게 일일이 묻고 피드백을 받기보다 인간의 반응을 활용해 처리 능력을 향상시키도록 하는 식이 되어야 한다.

 

④ 안전 탐사(Safe Exploration)

 

AI는 학습하는동안 스스로나 주변 환경에 손상을 주거나 피해를 입혀서는 안된다. 가령 청소용 로봇이 청소를 할 때 물걸레로 전자기기를 닦는 시도를 해서는 곤란하다.

 

⑤ 변화 적응 / 변동성(Robustness to Distributional Change, Distributional Shift)

 

AI는 새로운 환경을 인식할 수 있어야 하고 그 환경에 자연스럽게 적응할 수 있어야 한다. 공장 작업장에 익숙해져 있는 경험이라면 사무실 공간에서는 그다지 안전하지 않을 수 있다는 점을 염두에 두어야 한다.

 

 

 

2. Skynet Situation

 

 

□ 엘론 머스크, 스티븐 호킹 등이 경고한 "로봇이 인간의 말을 듣지 않는 상황"

 

- 핵무기 발사와 같은 상황이 발생하지 않도록 AI의 활동을 멈추는 '안전 차단(Safely Interruptibility)' 방법의 개발 필요성 가오

 

- 다큐멘터리 제작자인 제임스 바렛은 그의 저서 "Final Invention"에서 수퍼 인공지능(ASI, Artificial Super Intelligence)으로 인한 인류의 위협을 경고

 

 

□ Safely Interruptible Agents

 

- 현실 세계와 같은 복잡한 환경과 상호 작용하는 보강학습 에이전트(Reinforcement Learning Agents)는 항상 최적의 행동을 하는 것은 아니기 때문에 운영자가 큰 빨간색 버튼(Big Red Button)을 사용하여 인간에게 해로운 일련의 행동을 중지시킬 필요성 강조

 

- 또한 인공지능 로봇이 Kill Switch를 피하기 위하여 Kill Switch를 피할 수 있는 방법을 학습하는 것을 제한할 필요 제시

 

 

 

■ 인공지능의 통제와 규제를 위한 계획

 

 

1. 인공지능의 통제, 규제

 

- EU의 로봇법(RoboLaw) 프로젝트 결과 보고서(D6.2 Guideline on Regulating Robotics) 등은 로봇 및 인간의 역량을 강화하는 신기술의 사회적 도입을 관리하는 방법에 관한 권고사항 포함

 

- 미국은 산업/학계 등에서 약한 인공지능에 대한 법적 공백 상태 해소를 위해 킬스위치 등 최소한의 규제장치 도입 논의 시작

 

- 국내는 물론 해외에서도 인공지능 및 로봇공학의 활용에 따르는 법률관계와 책임귀속에 관한 논의는 아직 초보적인 수준에 불과

 

 

□ 인공지능 시스템 통제

 

- 다중의 인공지능 에이전트가 다른 학습과정을 거쳐 상반되는 윤리적 판단결과를 가져오는 등 윤리적 기준의 혼란이 있을 수 있음

 

- 윤리적 판단에 맞춰지도록 프로그램된 인공지능 시스템들이 협업하면서 예상치 않은 결과가 유도될 가능성도 존재

 

- 개별 또는 다수의 인공지능 동작과정에서 언제든지 그 과정에 개입하여 스위치를 내릴 수 있는 비상장치 개발 필요

 

 

 

■ 인공지능 오류 사례

 

□ 2013~2014년, 미국의 플로리다 주는 범죄경력자 약 18,000 명의 2년 내 재범 가능성을 범죄예측 알고리즘을 통해 분석

 

- 분석결과는 흑인이 백이보다 45% 더 높은 것으로 파악, 실제로는 백인의 재범률이 더 높음

 

- 인간이 가진 인종차별의 편견이 알고리즘에 영향을 미쳤고, 프로그램의 심각한 오류로 나타남

 

 

□ 2010년 AI의 특정한 매도 거래의 과도 개입 오류로, 다우존스 지수가 1분만에 998.5p 급락, 손실액 1조 발생

 

□ 2012년 미국 뉴욕 초단타 매매 인공지능 오류로 440만 달러 손실 발생

 

 

 

** 출처: [NIA] 인공지능 Kill Switch 관련 해외 동향

** 문서:

2._인공지능_Kill_Switch_관련_해외_동향.pdf