IT 와 Social 이야기
[NIA] 인공지능 시대, 벤치마크 데이터셋의 중요성
manga0713
2021. 11. 6. 09:53
- 출처 : [NIA] 인공지능 시대, 벤치마크 데이터셋의 중요성 - 우상근 책임
1. 벤치마크 데이터셋
- 벤치마크 데이터셋 예시
- 벤치마크 데이터셋은 공통된 기준으로 인공지능 정확도를 평가하고 경쟁할 수 있는 기반이며, 인공지능 발전에 핵심 역할을 담당하고 있음
- 자연어 이해, 이미지 분류, 얼굴인식 등 다양한 종류의 글로벌 벤치마크가 존재하며 국내도 최근 언어 모델 전문가들이 협업을 통해 벤치마크 데이터셋 구축
2. 벤치마크 데이터셋의 인공지능 생태계 내 주요 역할
1) 공통된 평가 기준으로 인공지능 모델 성능의 객관성 확보
- 벤치마크 활용 방법은 크게 두 가지이며, 정해진 벤치마크 데이터셋만을 통해 모델을 학습하고, 성능을 테스트(평가)할 수도 있고,
- 다양한 데이터를 통해 모델을 구축하고, 벤치마크 데이터로 미세조정(Fine tuning, 추가 학습) 후 모델을 테스트하는 유형이 있음
2) 공정한 경쟁 환경 조성을 통해 성능 한계 극복(리더보드)
3) 우수한 모델이 대거 쏟아져, 파일럿 테스트 및 산업적용 가속화
- 벤치마크에서 SOTA를 달성한 모델들은 후속 연구를 위해 대부분 공개되고 있고, 여러 연구원들이 재현 해보며 검증하는 문화 확산