[NIA] 인공지능 악용에 따른 위협과 대응 방안

 

[구글, 적대적 스티커(Adversarial Patch)]

 

 

 

 

 

 

*** 출처: [NIA] 인공지능 악용에 따른 위협과 대응 방안

*** 문서:

12.인공지능_악용에_따른_위협과_대응_방안_180803.pdf

 

 

 

 

I. 개요

 

■ 인공지능 워크숍: 악의적 행위자에 따른 위험(Bad Actor Risks in Artificial Intelligence Workshop)(‘17.02.19~20)

 

 

- 기존 인공지능의 안전성을 다룬 보고서는 인공지능으로 인해 의도치 않게 발생하는 피해에 초점을 맞춘 반면 보고서는 개인, 또는 조직이 다른 개인, 단체의 보안을 약화시키기 위해 고의적으로 인공지능을 사용하여 발생하는 위협만을 고려

 

 

 

II. 본론

 

1. 보안 환경의 변화를 촉발시키는 인공지능

 

 

■ 보안에 영향을 미치는 인공지능의 6가지 속성

 

 

① 이중성: 인공지능은 특정 용도로 사용되도록 정해지지 않았고, 민간용이나 군용, 혹은 유익한 용도나 유해한 용도로 사용 가능

 

② 효율성 · 확장성: 특정 작업을 인간보다 빠르거나 낮은 비용으로 수행할 수 있고, 더 많은 작업을 수행하기 위한 시스템 복제 가능

 

③ 우수성: 정해진 작업을 수행하는데 인간보다 뛰어난 성능 발휘가 가능하며, 인간에 비해 환경적 요인(수중, 야간 등)에 자유로움

 

④ 익명성: 인공지능으로 타인과 소통하거나, 타인의 행동에 대응하는 등 물리적으로 다른 사람과 대면하는 상황 감소

 

⑤ 보급성: 하드웨어에 비해 인공지능 알고리즘은 쉽게 재현될 수 있으며, 따라서 본래 기술 개발과 다른 목적으로도 사용 가능

 

⑥ 취약성: 데이터 중독 공격, 적대적 사례, 자율시스템의 결함 등 아직 해결되지 않은 취약점이 다수 존재

 

※ 데이터 중독 공격(data poisoning attack): 잘못 훈련된 데이터를 인공지능에 입력해 학습 시스템의 오류를 유발하는 공격 기법

 

※ 적대적 사례(adversarial example): 이미지 인식 알고리즘이 인식하는 데이터(example)에 노이즈를 추가해 알고리즘 오류를 일으키는 공격 기법

 

※ 2018/01/31 - [IT/Social 이야기] - [IITP 정보통신기술진흥센터] 구글 리서치 그룹 인공지능 알고리즘 오작동 유발 스티커 - Adversarial Patch 발표

 

 

 

■ 인공지능으로 인한 위협 환경 및 특성의 변화

 

 

① 기존 위협의 확대: 인공지능의 효율성, 확장성, 보급성 등의 속성을 바타응로 공격 행위자, 속도, 대상이 확대

 

- 우선 순위, 비용 편익 관점에서 기존에 공격할 가치가 없었던 대상도 공격 대상이 될 수 있어 공격 대상이 확대

 

- 익명성에 따라 공격자는 피해자와 대면하지 않아도 되므로 공격에 대한 주저함이나 거부감이 줄어들어 위협의 정도 증대

 

 

② 새로운 위협 출현: 사람보다 성공적인 공격을 위해 인공지능을 사용하거나, 인공지능이 적용된 시스템의 취약점을 공격

 

- 인공지능은 사람에 비해 환경적, 시간적 제약을 받지 않기 때문에 지금까지 인간이 할 수 없었던 공격 수행 가능

 

- 인간이 수동으로 제어할 수 없는 로봇과 악성코드 동작을 제어할 수 있다거나, 인공지능이 적용된 사회 인프라의 취약점을 역으로 공격

 

 

③ 위협의 전형적 특성 변화

 

- 일반적인 공격은 빈도는 높아도 규모에 따른 효과는 낮고, 효과는 크지만 자주 수행하기 힘든 '빈도와 규모의 효과 간 상충관계'라는 특성 존재

 

- 인공지능 시스템을 이용한 공격은 자주, 그리고 효과가 큰 공격이 가능해 일반적인 공격과 다르게 빈도와 규모사이의 상충관계 완화

 

- 고빈도, 고효과 공격 가능

 

 

 

2. 인공지능이 보안 영역에 미치는 영향과 관리 방안

 

 

■ 디지털 보안

 

- 디지털 보안은 대부분 인간의 노동력으로 수행되고 있기 때문에 인공지능을 활용해 자동화 할 수 있는 부분이 많은 분야

 

- 디지털 위협을 완전히 방지하기는 어렵지만, 다양한 주체에서 관리하면 위협을 완화시키고, 보안의 강화 가능

 

- 인공지능을 사용한 방어 장치가 사이버 영역에서 구현되고 있지만 더욱 강력한 기술 및 정치적 혁신이 필요함

 

 

■ 물리적 보안

 

- 물리적 세계는 공격대상지는 넓지만, 대규모 방어 장칙 구축에는 한계가 있기 때문에 정책 수단 개입 방안에 대한 검토 필요

 

- 로봇 통제 및 물리적 방어 장치가 개발되어 있지만 이는 자본집약적이고 불완전해 상당기간 인공지능을 활용한 공격을 방지하는 데 한계

 

- 하드웨어 제조, 유통업체, 로봇 사용자 등 다양한 주체별로 관리하면 인공지능과 관련된 물리적 피해 위험의 완화 가능

 

 

■ 정치적 보안

 

- 인공지능 사용이 증가하면 콘텐츠를 자동 생산, 게시하는 시스템 영향력이 확대되어 새로운 정치 역학이 등장할 전망

 

- 진입 장벽이 낮은 소셜 미디어 플랫폼 사용이 증가하면서 인공지능 시스템을 사용해 정치적 견해를 가진 일반인으로 가장하기에 용이

 

- 건전한 정치적 담론 형성을 위해 비판적 사고력 교육 등 고전적 방법과 함께 소셜미디어, 웹사이트 등 관리 주체별 맞춤형 대비 필요

 

 

 

 

※ 보안 영역별 인공지능 악용이 예상되는 부분

 

① 디지털 보안

 

- 사회 공학적 공격 자동화

- 알고리즘 코드의 취약점을 자동으로 발견하여 악용 코드 생성

- 공격대상 선택 및 우선수위 선정 향상, 해킹탐지 회피 가능

- 결제, 처리 등 범죄성 사이버 공격 프로세스 작업을 자동화

- 기계학습을 통한 사이버 공격 대상자 간의 우선순위 지정

- 인공지능 시스템의 블랙박스 모델 추출

 

 

② 물리적 보안

 

- 범죄 악용을 위해 AI 시스템의 기존 활용 목적 변경

- 미숙련자도 고숙련의 공격 역량 보유 가능

- 공격의 규모 확대

- 정교하고 자동화된 스웜(swarm)공격 수행

- 시간과 장소에 구애받지 않고 공격 가능

 

 

③ 정치적 보안

 

- 정부에 반하는 의견을 통제하기 위한 자동 감시 플랫폼 사용

- 조작된 동영상 및 음성을 사용한 가짜뉴스 제작

- 개인 맞춤화된 허위 정보 캠페인을 자동적으로 제공

- 악의적인 제안 혹은 허위 정보의 표적이 될 만한 인물을 분석해 정치 캠페인 수행

- 대규모 정보 생성 공격으로 정보채널에 노이즈를 추가해 정당한 정보 수집 방해

- 사용자 행동을 조작해 특정 콘텐츠에 접근하지 못하도록 유도