Excellence Sharing Growth

2018. 10. 11-12 COEX Grand Ballroom, Seoul

Scroll icon
See you next year!

DEVIEW 2018 행사가 종료되었습니다.

발표 영상과 자료를 지금 확인해보세요.

WATCH VIDEOS
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진
2018 DEVIEW 행사 사진

SESSIONS

강연 목록

강연자 사진
강연 분야
  • 빅데이터
강연 제목
C3, 데이터 처리에서 서빙까지 가능한 하둡 클러스터
강연 내용
네이버의 다양한 대용량 데이터를 다루기 위해 수백명이 함께 사용하는 사내 공용의 하둡 클러스터인 C3가 운영되고 있습니다. 일반적으로 하둡은 MapReduce, Spark와 같은 데이터 처리를 위한 플랫폼으로 알려져 있습니다. 하지만, C3에서는 HBase, Kafka, Zeppelin 등의 다양한 앱을 실행하거나 사용자가 직접 작성한 Docker 이미지를 실행할 수 있는 환경을 제공합니다. 이로써 C3는 데이터 처리뿐 아니라 다양한 용도로 사용되고 있습니다. 예를 들어 Zeppelin을 이용해 데이터를 분석하거나, 처리된 데이터를 서빙하는 웹서버를 구동시킬 수도 있습니다. 사실상 데이터 처리부터 분석, 서빙까지의 모든 작업이 하둡 클러스터에서 가능합니다. 본 세션에서는 이를 위해 활용된 YARN, Apache Slider, Docker 대해 소개하며 어떻게 이를 적용하였는지 설명합니다. 또한, 그동안 발생했던 다양한 이슈들을 사례를 들어 설명하고 해결 방법을 공유합니다.
목차
1. C3 소개
  • 데이터 처리를 위한 하둡 클러스터로 시작
  • 다양한 앱, Docker 이미지 실행 환경 제공
2. 어떻게?
  • Hadoop YARN, Apache Slider, Docker
3. 고려사항 / 이슈
  • Containerization
  • Resource Isolation
  • Reliability
  • Scheduling
  • Upgrade/Reconfigure
  • Usability
4. 앞으로는?
강연자
남경완
강연자 사진
강연 분야
  • 인프라
  • 성능
  • 기타
강연 제목
대형 컨테이너 클러스터에서의 고가용성 Network Load Balancing: Maglev Hashing Scheduler in IPVS, Linux Kernel
강연 내용
수 천개의 컨테이너로 구성된 대형 컨테이너 클러스터 Platform 에서, Network Load Balancing 은 아주 복잡한 문제 중 하나입니다. 대용량의 Network 트래픽을 컨테이너들로 분산 시키기 위해 많은 수의 Load Balancer 를 구축하고 이를 유기적으로 연결시켜 효율적인 Balancing, High Availability 등을 보장해줘야 하지만, 컨테이너 클러스터 Platform 환경에서는 몇 가지 문제에 직면하게 됩니다. - Container 는 Life Cycle의 특성 상 생성/삭제가 매우 빈번하기 때문에 Load Balancer에 이를 동적으로 반영할 수 있어야 합니다. - 한 개, 또는 여러 개의 Load Balancer가 Down 되어도 이 곳을 경유하던 Network Connection들이 유실되어서는 안됩니다. 이 Connection들은 다른 정상적인 Load Balancer에서 문제 없이 처리되어야 합니다. 이를 위하여 각각의 Load Balancer 가 모든 Connection 정보를 유지하고 있어야 합니다. - 물론, 대용량의 Traffic의 효율적인 분산도 보장되어야 합니다. 이러한 문제들을 풀기 위해서 Linux Kernel 의 Software Load Balancer 인 IPVS 에 Maglev Hashing Scheduler 라는 Module을 개발하여 Contribution 하였고, 이를 사용하여 네이버 서비스 컨테이너들로의 부하를 분산하는 Load Balancer 를 운영하고 있습니다. 이 세션에서는 위 문제들을 해결하기 위해 했던 고민들과 Linux Kernel v4.18 부터 포함되는 IPVS Maglev Hashing Scheduler의 특징을 소개하고, 대형 컨테이너 클러스터에서 어떻게 효율적이고 고가용성을 갖는 Network Load Balancer 를 구축하였는지 등을 공유합니다.
강연자
송인주
전체 Schedule 보러가기

PARTNERS

  • baidu
  • carnegie mellon university
  • logo_coupang
  • google
  • hyper connect
  • imply
  • labs
  • labs europe
  • line
  • lunit
  • naver
  • naver business platform
  • nvidia
  • samsunginternet
  • superb ai
  • theori
  • udacity
  • urbanbase

LOCATION

장소
코엑스 그랜드볼룸 (Coex Grand Ballroom)
주소
서울 강남구 영동대로 513 코엑스, (지번) 삼성동 159 코엑스
연락처
02-6000-0114

그랜드볼룸은 봉은사 맞은편 코엑스 1층 북문 쪽에 위치해 있습니다.
지하철 이용 시 9호선 봉은사역 7번 출구를 이용하시거나 삼성역 6번 출구를 이용하시면 됩니다.

교통정보 더보기 >

DEVIEW 2018에 관하여 더 궁금한 점이 있다면?

FAQ 보러가기