[IITP 정보통신기술진흥센터] 구글 리서치 그룹 인공지능 알고리즘 오작동 유발 스티커 - Adversarial Patch 발표

[인공지능 알고리즘 오작동 유발 스티커 - Adversarial Patch]

 

 

[Adversarial Patch로 인한 인공지능 사물인식 오작동 사례]

 

 

[Adversarial Patch로 인한 스마트폰 앱의 오작동 사례]

 

 

 

 

*** 출처: [IITP 정보통신기술진흥센터] 구글 리서치 그룹 인공지능 알고리즘 오작동 유발 스티커 - Adversarial Patch 발표

*** 문서:

file4775797984478447653-183103.pdf

 

 

 

 

■ 구글 리서치 그룹, 이미지 인식 인공지능(AI) 알고리즘을 오작동 시킬 수 있는 스티커 발표

 

- 애드버세리얼 패치(Adversarial Patch, 적대적 스티커)라 불리우는 원형 스티커를 사물 옆에 붙여 두면 이미지 인식 알고리즘이 제대로 작동하지 않게 된다고 함

 

- 이 스티커를 바나나 옆에 붙이면 바나나를 토스터로 잘못 인식하게 되는데, 만약 이를 길거리에 붙여 둔다면 자율운전자동차가 객체를 오인식해 제대로 주행할 수 없게 될 우려가 있음

 

 

 

■ 애드버세리얼 패치의 발표에 주목해야 하는 이유

 

- 구글이 공개한 이 스티커는 누구나 인쇄하여 자신의 스마트 폰에 설치된 이미지 인식 앱을 교란할 수 있는지 실제 실험해 볼 수 있음

 

- 이미지 인식 기능의 근간인 신경망을 쉽게 속일 수 있다는 문제 제기는 그 동안 많았지만, 구글의 스티커는 실생활에서 손쉽게 피해를 야기할 수 있다는 점에서 매우 심각함

 

- 2017년 7월 워싱턴 대학의 한 연구팀은 교통 표지판에 정교하게 만든 스티커를 붙여 넣으면 이미지 인식 알고리즘이 '정지' 표지판을 '속도제한' 표지판으로 오인식한다고 발표한다 있음. 구글의 스티커는 이 보다 훨씬 더 간단하게 오작동 유도가 가능함

 

 

 

■ 이처럼 이미지 인식 알고리즘이 인식하는 데이터(example)에 노이즈를 추가해 오류를 일으키는 공격 기법을 "애드버세리얼 이그잼플(Adversarial Example, 적대적 사례)"이라 하며, 구글의 스티커는 이 공격을 누구나 쉽게 할 수 있는 환경이 되었음을 의미함

 

 

 

■ 구글 리서치 그룹은 논문을 통해 스티커 제작 방법도 공개 함

 

- 스티커의 효과는 디자인뿐만 아니라, 객체에서의 위치, 스티커 방향, 스티커 크기 등에 따라 달라짐

 

- 애드버세리얼 패치는 '큰 변화량(large perturbation)'을 활용. 작은 변화량의 감지에 초점을 맞추고 있는 현재의 방어 기술들은 이런 큰 변화량에 대해 오히려 방어 기제로 작동하지 못하게 됨

 

- 스티커는 "변신에 대한 기대(Expectation Over Transformation)"라고 불리는 특수한 알고리즘으로 생성되며, 스티커를 붙일 객체의 위치, 크기 등의 조건을 감안하여 교란 효과가 최대로 되도록 스티커 생성 알고리즘을 교육함

 

- 스티커는 "화이트박스-앙상블(Whitebox-Ensemble)"이라는 방식으로 생성

 

 

 

■ 구글 리서치 그룹이 스티커와 해당 논문을 공개한 이유

 

- 인공지능(AI)를 이용한 공격의 위험성을 경고하고, 이에 대한 방어를 위해 이미지 인식 알고리즘의 개선을 촉구하기 위함

 

- 대규모 연산 환경의 제공이 어려운 엣지(Edge)의 경우 오작동 가능성이 높아 실시간으로 정확한 객체 판정을 할 수 있는 알고리즘과 이를 지원할 고급 인공지능(AI) 전용 프로세서의 개발 필요 강조