[NIA] 인공지능 시대, 벤치마크 데이터셋의 중요성

[ 이미지넷 벤치마크 데이터셋을 통한 연도별 성능개선 현황 ]

 

 

- 출처 : [NIA] 인공지능 시대, 벤치마크 데이터셋의 중요성 - 우상근 책임

 

 

 

1. 벤치마크 데이터셋

 

- 벤치마크 데이터셋 예시

 

 

- 벤치마크 데이터셋은 공통된 기준으로 인공지능 정확도를 평가하고 경쟁할 수 있는 기반이며, 인공지능 발전에 핵심 역할을 담당하고 있음

 

- 자연어 이해, 이미지 분류, 얼굴인식 등 다양한 종류의 글로벌 벤치마크가 존재하며 국내도 최근 언어 모델 전문가들이 협업을 통해 벤치마크 데이터셋 구축

 

 

2. 벤치마크 데이터셋의 인공지능 생태계 내 주요 역할

 

 

 

1) 공통된 평가 기준으로 인공지능 모델 성능의 객관성 확보

 

- 벤치마크 활용 방법은 크게 두 가지이며, 정해진 벤치마크 데이터셋만을 통해 모델을 학습하고, 성능을 테스트(평가)할 수도 있고,

 

- 다양한 데이터를 통해 모델을 구축하고, 벤치마크 데이터로 미세조정(Fine tuning, 추가 학습) 후 모델을 테스트하는 유형이 있음

 

2) 공정한 경쟁 환경 조성을 통해 성능 한계 극복(리더보드)

 

3) 우수한 모델이 대거 쏟아져, 파일럿 테스트 및 산업적용 가속화

 

- 벤치마크에서 SOTA를 달성한 모델들은 후속 연구를 위해 대부분 공개되고 있고, 여러 연구원들이 재현 해보며 검증하는 문화 확산