트랙별 보기
-
DAY 1 / 10.14(월)
-
DAY 2 (SDEC) / 10.15(화)
-
세션 1 ⁄ 10:00 ~ 10:45
Redis Sentinel internal and HOWTO 북마크
Redis를 사용하려는 시도가 증가하고, 이를 사용하는 서비스 또한 늘어나고 있습니다. 그런데 Redis의 경우 Failover를 위한 정형화된 방법이 아직 없어서, 많은 Redis 사용자들이 고민하는 영역입니다. 이를 위해 Redis에는 Sentinel이라는 심플한 페일오버를 위한 도구를 제공합니다. 그러나, 이 내부구조나 어떻게 사용하는지 sentinel의 특성에 대해서는 아직 많이 아는 사람이 없습니다.
그래서 이를 위해 sentinel의 내부구조, 동작원리와 이를 이용해서 어떻게 안정적으로 페일오버를 구현하는가에 대해서 얘기합니다.강대명카카오
-
세션 2 ⁄ 11:00 ~ 11:45
구글의 검색 수집 로봇 최적화 북마크
매일 매일 전세계에는 수많은 웹페이지가 생겨나고 있습니다.
넘쳐나는 정보의 바다가운데 구글이나 네이버와 같은 검색엔진이 없는 삶은 태평양에서 내가 길렀던 니모 한마리를 찾는 것과 비슷하겠지요.
현재까지 전 세계에는 약 60조(60,000,000,000,000)개가 존재하는 것으로 알려져있습니다.
매일 1억개의 페이지를 수집해도 10년이 걸리는 그 양을, 그리고 또 더 많이 늘어나고 있는 그 웹페이지들을, 구글은 어떻게 찾아내고 수집해서 여러분들이 찾는 정보를 보여주는 것일까요?
분산 시스템과 머신 러닝을 이용하여 최적화 되어있는 구글의 검색 수집 로봇 시스템을 함께 알아보고자 합니다.김영진Google
-
세션 3 ⁄ 13:00 ~ 13:45
응용프로그램 이벤트 실시간 분석(Real-time Insights into Application Events) 북마크
넷플릭스 응용프로그램은 매일 수백억건의 로그 이벤트를 생성하여 데이터 파이프 라인을 통해 전송한다. 전송된 데이터는 향후 분석을 위해 하둡 클러스터에 저장된다. 데이터를 분석하는 개별 팀들은 하이브를 포함한 다양한 하둡 기반 자체 솔루션을 사용하여 끊임없이 질의를 수행하고 이벤트를 가공한다. 궁극적으로 데이터 분석가들이 원하는 건 최소한의 프로그래밍 노력으로 실시간 트렌드를 발견하고 분석하고 가시화할 수 있는 능력이다. 넷플릭스 플랫폼팀은 하둡의 한계를 극복하여 이러한 수요를 충족하는 시스템을 구축하였으며 시스템 디자인, 구현, 운영, 노하우에 대해서 이야기하고자 한다.
배재현Netflix
-
세션 4 ⁄ 14:00 ~ 14:45
SQL-on-Hadoop with Apache Tajo, and application case of SK Telecom 북마크
타조는 빅데이터 분석 처리 엔진 분야에서 화두가 되고 있는 Interative Analysis(IA) 의 차세대 핵심 기술로 아파치 인큐베이션 프로젝트(http://tajo.incubator.apache.org/)로 등록되어 있는 오픈소스이며, 그루터가 개발을 주도하고 있는 프로젝트입니다. 비슷한 컨셉의 기술로는 클라우데라의 임팔라, 호튼웍스의 스팅거, 맵R의 드릴, EMC의 호크가 있습니다.
SK Telecom에서는 내부 빅 데이터 처리에서 Hive, Mapreduce 등의 한계를 느껴서 다양한 고려 결과 타조를 선택하였고, 그루터와의 공동 개발 참여를 통하여 엔터프라이즈 적용 수준으로 개선하였습니다.
본 세션에서는 타조의 아키텍처와 로드맵, SK Telecom 적용예, 그리고 IA 기술의 트랜드를 설명합니다.정재화그루터 박근태SK Telecom
-
세션 5 ⁄ 15:00 ~ 15:45
이렇게 배포해야 할까? - Lightweight Linux Container Docker 를 활용하여 어플리케이션 배포하기 북마크
린 스타트업에서는 가설을 수립하고 MVP(Minimum Viable Product)를 만들어 고객의 반응을 살펴보며 그 가설이 맞을 때 제품의 완성도를 높이라고 얘기합니다.
그리고 우리는 대부분 가설이 성공할 확률보다 실패할 확률이 더 높은 것을 알고 있습니다. 가설이 올바른지 검증하는 것도 중요하지만 실패에서 배우고 다음 시도까지의 시간을 줄이는 것 또한 중요한 일입니다.
우리가 만든 어플리케이션을 어떻게 배포할 것이며 다양한 환경에서의 문제를 어떻게 해결할 것인가 고민하게 됩니다. 특히, 응용 어플리케이션의 문제뿐아니라 시스템 환경까지 함께 고민해야 한다면 배포하는 일은 고된 작업입니다.
이러한 문제를 해결하기 위해서 Linux Foundation 의 지원을 받고 있는 docker 라는 오픈소스를 활용하여 어플리케이션 배포하고 관리하는 방법에 대해 공유하려고 합니다.김영찬KT
-
세션 6 ⁄ 16:15 ~ 17:00
AWS에서 추천 구현하기 북마크
“함께 구매한 상품” 혹은 “함께 본 상품”, 우리 사이트에 이런 추천을 넣고 싶으셨나요? 추천을 계산하기 위해 필요한 데이터 수집부터 추천 알고리즘 설명, 실제 추천의 효과까지 소개 해 드립니다. 또한 AWS에서 Hadoop 및 HBase 설치 및 운영 노하우, 추천 계산 및 분석을 위한 HBase 테이블 설계, 전체 시스템 디자인, Hadoop프로그래밍 팁 등의 노하우를 공유 해 드립니다.
이채현SK Planet
-
세션 7 ⁄ 17:15 ~ 18:00
링크드인의 Big Data Recommendation Products - 어제의 데이터를 통해 내일을 예측한다 북마크
링크드인 플랫폼 상의 다양한 Recommendation Product들, 이 제품들의 키워드는 바로 'Relevance(연관성)' 입니다. 가장 관련있는 데이터들을 제공함으로써 사용자의 삶을 더 쉽고 편하게 만들어 주는것이 링크드인 데이터 팀의 목표라 할 수 있겠습니다. 그렇다면 어떻게 해야 사용자에게 가장 연관성 높은 데이터를 제공 할 수 있을까요? 이에 대한 답을 한문장으로 요약하자면 '어제의 데이터를 분석하여 내일의 사용자의 행동을 예측한다' 가 될 것 같습니다.
본 발표에서는 이 한 문장을 좀 더 길게 풀어보려 합니다. 링크드인에서는 Hadoop, Key-Value Storage, Machine Learning등의 기술을 어떤 식으로 활용하여 연관성 높은 Recommendation Product를 만들고 있는지에 대해 소개해보겠습니다.김형진LinkedIn