본 세션에서는 SK Telecom에서 지난 1년 6개월 동안 Big Data 시스템을 구축하고 운영하면서 생긴 일들을 이야기하고자 합니다. 이 기간 동안 우리의 데이터는 수 테라에서 수 페타로 확장되었고, 서버는 거의 1,000대급으로 성장하고, 한 시간 동안 수행되는 작업도 수백개 이상으로 증가했습니다. 하지만 그리 순조로운 과정은 아니었습니다. 우린 Namenode가 중단되는 경험도 하고, 누군가의 복잡하고 잘못된 Map Reduce 프로그램으로 인해 모든 자원을 낭비하기도 했습니다. 또한 다양한 분석 기술을 적용하려고 시도하다 보니, Tajo, Spark처럼 응답성이 좋은 기술도 적용할 기회가 있었습니다. 하지만 이런 시도도 데이터의 크기와 시스템의 규모에 따라 항상 다른 양상을 보여 왔고 우리를 힘들게 만들었습니다. 이 외에도 인프라의 구성 등 여러가지 어려운 일들이 많았습니다. 본 세션에서는 지난 시간동안 우리가 선택한 최선에 대해 이야기하고자 합니다. 물론 아직도 우리는 우리의 최선을 찾고 있는 중입니다만.

발표자 소개 안성화 SK Telecom

현재 SK Telecom Big Data Infra 담당 매니저 NHN Performance Engineering / Multimedia mining TF : Cache Cloud, 음원검색엔진 등 개발 삼성SDS 정보기술연구소, KT NexR 등에서 선행기술 R&D 등 수행

강연 대상

Big Data, Hadoop Eco System/ Infra 등에 관심있는 모든 사람

발표 자료

동영상