[ITFIND] 빅데이터 프로세싱 아키텍처 기술 및 도구 현황

 

 

■ 서론

 

프로세싱이란 데이터 처리를 일련의 연속된 과정으로 보는 기술을 의미한다. 이 기술을 빅데이터와 접목하면 데이터 수집, 저장, 분석, 활용을 별개의 기술로 구분하는 것이 아닌 공통 파이프라인(이전 처리 단계의 출력이 다음 단계의 입력으로 이어지는 구조)으로 연결하는 것이 바로 빅데이터 프로세싱 기술이다.

 

 

 

■ 아키텍처 기술 현황

 

- 람다 아키텍처

 

 

 

- 카파 아키텍처

 

 

 

 

- 람다 vs. 카파

 

 

 

 

■ 프로세싱 도구 현황

 

① 데이터 수집 도구

 

-- 카프카 vs. 풀룸

 

 

 

② 배치 레이어 도구

 

-- 맴리듀스 vs. 테즈 vs. 스파크 vs. 플링크

 

 

 

 

③ 스피드 레이어 도구

 

-- 스톰 vs. 스파크 스트리밍 vs. 삼자 vs. 플링크

 

 

 

 

④ 서빙 레이어 도구

 

-- 엘리펀트 DB, HBASE, 카산드라 / 하이브, 임팔라, 프레스토

 

 

 

 

 

 

177002.pdf