[NIA] 디자인 단계에서의 AI 리스크 회피 방안

[ 통제기능(controls) 이 내장된 디자인 과정에서의 AI 리스크 관리 방안 ]

 

 

- 출처 : [NIA] 디자인 단계에서의 AI 리스크 회피 방안 : AI 개발과정에서 리스크 회피 구축 방법 - 장준희 선임

 

 

 

■ ‘Derisking AI by design' 보고서 개요

 

○ ‘디자인 단계에서의 AI 리스크 회피 방안’은 McKinsey에서 발간한 보고서로 AI 리스크 관리를 위한 구체적인 방안을 제시

 

- 주요 내용

 

 

 

1) AI 리스크 관리의 필요성

 

○ 복잡하고 빠르게 변화하는 환경에서 전통적인 리스크 관리 접근 방식이 답이 아닐 수 있으며 새로운 접근 방식 필요

 

- AI 리스크 관리는 사후에 고려하는 것이 아닌 사전에 고려하는 접근 방식을 택해야 하며, 이 접근 방식을 ‘디자인 단계에서의 AI 리스크 회피(derisking AI by design)‘라고 명명

 

- 기업 전체에서 일관된 방식으로 AI의 내부 및 외부 개발과 준비를 동시에 진행하는 것이 필요

 

○ 전통적인 모델 리스크 관리가 AI 리스크 관리에 불충분한 이유

 

- 은행과 같은 규제 대상 산업의 ‘모델 리스크 관리(MRM)’는 현재 최고 리스크 책임자에게 보고하는 전담 독립 팀에 의해 수행. 이 회사들은 자본 요구 사항이나 대출 결정을 결정하는 중요한 모델의 거버넌스 및 제어를 개선하기 위해 강력한 MRM 접근 방식을 개발했지만, 이러한 접근 방식은 다음과 같은 이유로 요구 사항이 다르거나 규제가 덜한 산업의 기업에 적합하지 않음

 

➀ MRM은 일반적으로 시점 모델 평가(예: 1~5년에 한 번)를 기반으로 하며, 검토간에 모델이 대체로 정적이지만 AI 모델은 데이터에서 학습하고 새로운 데이터에서 재학습되면 논리가 변경되는 동적 모델

 

➁ 기존 MRM 워크 플로는 순차적이며 모델 개발이 완료된 후 6~12주의 검토 시간이 필요하므로 배포가 지연. 이런 이유로 AI 모델 개발에 자주 사용되는 민첩하고 반복적인 개발주기에 쉽게 적용하기 어려움

 

➂ MRM은 종종 전통적인 리스크 유형 (주로 자본 적절성 및 신용 리스크와 같은 재무 리스크)에 더 초점을 맞추기 때문에 평판 리스크, 소비자 및 행동 리스크와 같은 AI의 광범위한 사용으로 인해 발생하는 새롭고 다양한 리스크를 완전히 다루지 못할 수 있음

 

➃ 챗봇, 자연어 처리 및 HR 분석과 같은 일부 애플리케이션 및 사용 사례는 은행에서 사용되는 규제 정의에 따라 "모델"로 분류 되는데 이는 기존 모델 유형과 다르며 기존 MRM 접근 방식은 쉽게 적용되지 않음 (예: 자본 모델, 스트레스 테스트 모델 및 신용 리스크 모델)

 

➄ AI 알고리즘은 기존 모델보다 훨씬 더 복잡하고 불투명한 방식으로 공급 업체의 SaaS 같은 대규모 AI 애플리케이션 시스템에 내장되기 때문에, 모델을 검토하는 사람, 애플리케이션 및 플랫폼을 평가하는 사람, 공급 업체 간의 조정을 복잡하게 만듬

 

 

2) AI 리스크 관리가 새로운 과제인 이유

 

- AI는 익숙하지 않은 리스크를 초래하고 새로운 책임을 창출하기 때문

 

- AI는 기업 전체에 퍼져있어 리스크 원인을 추적하기 어렵기 때문

 

- AI 리스크 관리 기능이 없는 기업의 경우 초기 단계에서 많은 설계 선택사항이 있기 때문

 

 

3) AI 개발과정에 리스크 관리 적용 방안

 

[ 통제기능(controls) 이 내장된 디자인 과정에서의 AI 리스크 관리 방안 ]

 

 

[ 선도 기업의 AI 모델 개발 과정에 통제기능을 포함한 편향 완화 방안 ]

 

 

4) AI 리스크 관리자 배치와 지원 방안

 

- AI를 안전하고 윤리적으로 운영하기 위한 책임은 조직 여러 부분에 분포

 

 

- 분석 전문가와 리스크 전문가 모두 충분한 지식으로 기존 기술 보완 필요

 

 

 

- 모델 수명주기 전반에 걸쳐 분석팀과 리스크 관리자 간의 이러한 통합 및 조정에는 다음 요소를 포함하는 공유 기술 플랫폼이 필요

 

➀ 개발자, 리스크, 규정 준수 및 검증 포함된 모든 이해 관계자의 요구를 충족하는 합의 된 문서 표준

 

➁ 초기 개념부터 반복적인 개발 단계, 생산부터 출시, 궁극적으로 모델 폐기에 이르는 전체 라이프 사이클을 조정하고 문서화하는 단일 워크 플로우 도구

 

➂ 동일한 데이터, 개발 환경 및 테스트 및 검토 간소화

 

➃ 가장 중요한 생산 단계를 포함하여 자동화되고 자주 발생하는 AI 모델 모니터링을 지원하는 도구

 

➄ 본질적으로 불투명한 기술의 경우 모든 AI 기술의 동작을 해석하는 일관되고 포괄적인 설명 도구 세트

 

 

5) AI 리스크 관리 시작을 위한 단계

 

➀ (회사의 윤리 원칙과 비전 명확화) 고위 경영진은 회사가 데이터, 분석 및 AI를 사용하는 방법에 대한 하향식 관점(top-down view) 형성

 

- 하향식 관점이 조직에 제공하는 가치에 대한 명확한 설명, 관련 리스크에 대한 인식, 조직에서 더 자세한 리스크 관리 요구 사항의 기반을 형성 할 수 있는 명확한 지침 및 경계가 포함되어야 하며, AI 설계에 대한 관리에는 조정된 접근 방식이 필요

 

➁ (개념 디자인 설계) AI 리스크 관리를 위한 기본 프레임 워크 구축 원칙 만들기

 

- 전체 모델 개발 수명주기(아이디어이션, 데이터 소싱, 모델 구축 및 평가, 산업화 및 모니터링)를 포함 하는지 확인 필요 - 라이프 사이클의 각 단계에서 제어가 이루어져야 하므로 초기에 분석팀과 협력하여 만든 설계가 기존 개발 접근 방식에 통합될 수 있는지 확인

 

➂ (거버넌스 및 주요 역할 설정) 분석 팀 및 관련 리스크 관리 역할에서 핵심 인력 식별, 리스크 관리 프레임 워크 내에서 역할을 명확화, AI 제어와 관련하여 임무와 책임을 정의

 

- 리스크 관리자에게 기존 분석에 대한 이전 경험 이상의 지식을 개발할 수 있도록 교육 및 지침을 제공하여 최신의 AI 모델에서 무엇이 잘못 될 수 있는지에 대해 질문

 

➃ (민첩한 참여 모델을 채택) 분석팀과 리스크 관리자를 모아 상호 책임과 작업 관행 이해시키고 충돌을 해결 하는 등 개발 과정 동안 유동적으로 상호 작용하는 효율적인 방법을 결정

 

- 검토 및 승인을 애자일 또는 스프린트 기반 개발 접근 방식에 통합하고 리스크 관리자가 분석 팀의 의견을 경청하도록 하여, 대부분의 테스트 및 품질 관리에 대한 책임을 지는 대신 검토에 집중할 수 있도록 조치

 

➄ (투명성 도구 활용) 설명 가능성과 해석 가능성을 얻기 위한 필수 도구 채택

 

- 투명성 도구를 사용하여 모델 결과의 동인을 식별하고 결과를 사용하는 데 필요한 결과를 이해하도록 팀 교육 필요

- 효과적으로 협력하려면 분석팀, 리스크 관리자 및 회사 외부 파트너가 동일한 도구 활용 필요