본문 바로가기
IT 와 Social 이야기/Data Science

[NIA] 데이터옵스 DataOps

by manga0713 2022. 5. 30.

[ 데브옵스 툴 체인 : 가트너 ]

 

 

[출처 : NIA - 디지털서비스 이슈리포트2022-5] 더 나은 비즈니스 결정을 이끄는 데이터옵스]

 

 

 

1. 데이터옵스의 정의

 

- 사용자에게 신뢰할 수 있는 고품질 데이터를 빠르게 제공하기 위해 사람 프로세스 및 기술을 융합 사용하는 것 (사람 프로세스 및 기술을 통합하는 과정)

- 조직 전체의 데이터 관리자와 데이터 소비자 간의 데이터 흐름의 커뮤니케이션 통합 및 , 자동화를 개선하는 데 중점을 둔 협업 데이터 관리 방식

- 데이터 및 분석 솔루션을 사용하는 효과적인 작업방식에 관한 것

 

2. 데이터옵스의 목표

 

- 조직에서 흐르는 데이터의 품질과 속도를 높임

- 비즈니스 전반에 걸쳐 데이터 중심의 비전을 유지하기 위한 경영 전략을 지원

 

3. 데이터옵스의 이점

 

- 효율적인 데이터 플로우 : 전체 프로세스를 관리하며 데이터 수명 주기의 모든 단계에서 연결 및 최적화된 데이터를 선별 통제 관리할 수 있음

- 안전하고 규정을 준수하는 데이터 : 자동화되고 사용자 지정 가능한 데이터 품질, 마스킹, 토큰화 등에 대한 제어를 적용하여 데이터를 보호하고 여정의 모든 단계에서 규정 준수를 확인할 수 있음

- 데이터 비용 절감 : 대부분의 비즈니스 이해관계자들은 스스로 서비스에 액세스할 수 있게 되어 IT 의존도를 줄이고 분석 결과를 가속화하며 데이터 비용을 낮추는 동시에 데이터를 쉽게 검색 선택 및 프로비저닝 할 수 있음

 

4. 역할 구분에 의한 데이터옵스 워크플로우

 

[ 출처 : IBM ]

 

5. 데이터옵스 설계 구조

 

- 다음과 같은 질문에 대답할 수 있는 데이터와 인포메이션의 설계 구조가 있어야 함

  • 데이터를 알고 있고 그 데이터를 신뢰하는가
  • 오류를 빠르게 감지할 수 있는가
  • 전체 데이터 파이프라인을 중단 하지 않은 상태에서 점진적으로 변경할 수 있는가

- 데이터 거버넌스 통합 도구 및 학습에 대한 모든 인벤토리 작성

 

- 프로세스 설계를 위해 5 가지 핵심 영역으로 나누어 흐름 정의

 

  • 데이터 큐레이션 서비스
  • 메타데이터 관리
  • 데이터 거버넌스
  • 마스터 데이터 관리
  • 셀프서비스 상호 작용

 

6. 데이터옵스 접근 방법

 

- 주요 비즈니스 이해관계자와 데이터 관련 프로젝트에서 작업하는 다양한 팀 및 역할, 진행 상황, 현재까지의 성공 정도 및 각각의 문제점 파악

 

- 조직이 데이터를 효과적으로 사용하기 위해 계획된 우선순위가 높은 프로젝트 서치

 

- 이해관계자를 참여시켜 프로젝트의 주요 구성 요소에서 보다 민첩하고 협업적인 접근 방식으로 전환하고 데이터옵스 기술과 도구를 사용하여 기존의 병목 현상을 해결하는 방법 경험