응용프로그램 이벤트 실시간 분석(Real-time Insights into Application Events) 북마크

넷플릭스 응용프로그램은 매일 수백억건의 로그 이벤트를 생성하여 데이터 파이프 라인을 통해 전송한다. 전송된 데이터는 향후 분석을 위해 하둡 클러스터에 저장된다. 데이터를 분석하는 개별 팀들은 하이브를 포함한 다양한 하둡 기반 자체 솔루션을 사용하여 끊임없이 질의를 수행하고 이벤트를 가공한다. 궁극적으로 데이터 분석가들이 원하는 건 최소한의 프로그래밍 노력으로 실시간 트렌드를 발견하고 분석하고 가시화할 수 있는 능력이다. 넷플릭스 플랫폼팀은 하둡의 한계를 극복하여 이러한 수요를 충족하는 시스템을 구축하였으며 시스템 디자인, 구현, 운영, 노하우에 대해서 이야기하고자 한다.

발표자 소개

현재 넷플릭스 데이터 파이프라인과 오픈 소스 기반 실시간 이벤트 분석 시스템을 개발/운영하고 있다. 넷플릭스 데이터 파이프라인은 하루 수백억건의 메시지를 다양한 곳으로 실시간 전송하고 있으며, 하둡 기반 데이터 웨어하우스를 비롯하여 실시간 이벤트 분석 백엔드가 데이터 파이프라인 뒷단에 위치한다. 이 시스템은 실시간 색인/질의뿐만 아니라 실시간 데이터 전송을 모두 지원한다.

강의대상

하둡이 느려서 실시간성을 충족시켜주지 못해 고민인 개발자 및 데이터 아키텍트