DEVIEW 2018

Excellence Sharing Growth

2018. 10. 11-12 COEX Grand Ballroom, Seoul

See you next year!

DEVIEW 2018 행사가 종료되었습니다.

발표 영상과 자료를 지금 확인해보세요.

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

2018 DEVIEW 행사 사진

SESSIONS

강연자 사진

강연 분야

빅데이터
머신러닝
AI

강연 제목

NAVER 광고 deep click prediction: 모델링부터 서빙까지

강연 내용

이 세션에서는 온라인 광고 시스템의 전통적인 클릭 예측(click prediction) 문제를 설명하고, 고성능의 예측 및 대용량의 온라인 예측 문제를 해결하기 위해 네이버 광고에서 시도한 모델링 및 엔지니어링 접근 방식을 설명합니다.

목차

1. 온라인 광고 시스템의 주요 문제들

클릭 예측 문제
온라인 서빙과 차원의 저주

2. 모델 구조

후보군 생성을 위한 추천 시스템
임베딩 모델 성능과 서빙 성능 간의 tradeoff 제어
Preference와 similarity를 함께 학습하기

3. 서빙 구조

Approximate Nearest Neighbor search와 cold start 문제
솔루션 비교: Clipper vs. TensorflowServing
I/O size 변화에 따른 성능 변화
CPU 기반 vs GPU 기반 prediction 비교

강연자

김윤중 임지훈

강연자 사진

강연 분야

검색
머신러닝
AI

강연 제목

기계독해 QA: 검색인가, NLP인가?

강연 내용

이 세션에서는 기계 독해 (Machine Reading) 모델을 QA 엔진에 적용하는 방법론에 대한 연구, 겪었던 문제들, 연구계 및 산업의 동향, 그리고 제가 생각하는 우리가 나아가야 할 방향을 전반적으로 다룰 예정입니다. 기계독해는 주어진 문서와 문서에 대한 질문이 주어졌을 때, 문서내에서 답을 구하는 문제입니다. 기계독해는 2016년 SQuAD를 시발점으로 최근에 많은 모델과 많은 데이터 (TriviaQA, MS MARCO, 등등)가 연구 및 공개되었고, 특히 올해에는 인간수준을 넘어서는 알리바바, 마이크로소프트 및 구글의 모델이 공개되기도 했습니다. 이렇게 연구계와 업계가 많은 관심을 보인 이유가 여럿 있겠지만, 기계독해 모델이 QA (질의응답) 엔진에 직접적으로 적용이 가능한 점을 빼놓을 수 없습니다. 예를 들어, "하늘이 왜 파랄까?"라는 질문을 답하기 위해 먼저 관련된 "하늘"이라는 문서를 찾고, 기계독해 모델에 해당문서와 질문을 넣게 되면, 답이 나오는 구조입니다. 이는 문서를 찾아주기만 하는 서비스, 즉 "검색"을 넘어서서, 문서를 "이해"하고 원하는 정보를 꼭 집어서 찾아줄 수 있는 서비스가 됩니다. 다만 막대한 정보의 바다 속에서 올바른 문서를 찾는 것은 쉬운 것이 아닙니다. 따라서 기계독해를 통한 QA는 검색과 NLP의 첨단 접점이라 볼 수 있습니다. 먼저 기계독해 이전의 검색기반 QA를 간단히 설명하고, 다음은 최근에 각광받는 기계독해 (NLP) 기반 QA를 자세하게 살펴보려 합니다. 하지만 전자는 섬세함이 부족하고, 후자는 속도가 느립니다. 그래서 마지막으로는 둘을 통합하는 방법론을 다룹니다. 특히, 단순하게 "검색 후 독해" 형태를 벗어나서, 제가 최근에 연구했던 Phrase-Indexed QA를 새로운 challenge로서 제안하고자 합니다. 기존 기계독해 문제를 phrase retrieval 형태로 치환함으로써, scalability (속도) 뿐만 아니라 phrase representation learning 을 도모합니다. 새로운 패러다임의 첫번째 주자로서 제가 겪었던 문제들 및 해결방법을 논하고, 연구계 및 업계의 참여를 독려하고자 합니다.

목차

1. 찾는 QA (검색)

2. 이해하는 QA (NLP)

3. QA는 검색과 NLP의 조화다

찾고나서 이해하기
빛의 속도로 읽기: Phrase-Indexed QA

강연자

강연자 사진

강연 분야

검색
성능

강연 제목

Search Reliability Engineering (부제: 지진에도 흔들리지 않는 네이버 검색시스템)

강연 내용

네이버 검색에서는 하루에도 수십억 건씩 발생하는 사용자 검색 request를 항상 원활하게 처리하기 위해서 많은 노력을 하고 있습니다. 이렇게 대용량 트래픽을 1년 365일 무중단으로, 장애 없이, 그리고 low latency까지 보장하면서 운영하려면 어떤 방법이 필요할까요? 이번 세션에서는, 네이버 검색시스템에서 지금까지 겪어왔던 고민과 해결책들을 소개하고자 합니다. 시스템의 상태를 정확히 파악하기 위해서 새로운 가용량 지표를 개발하고, 경보 피로를 줄일 수 있는 anomaly detection 방법을 연구하고, SRE 문화를 도입하는 등 많은 경험을 쌓아왔습니다. 이러한 과정에서 얻은 노하우들과 더불어 그동안 맞닥뜨렸던 다양한 검색 이벤트들도 함께 공유해드리겠습니다. "월드컵 한국 vs 독일 경기 당시 어떤 패턴의 검색 요청이 들어왔을까?" "아시안게임 남자축구 금메달이 확정되는 순간 네이버 검색시스템에서는 무슨 일이 일어났을까?" "규모 5.8의 지진이 일어났을 때 검색시스템이 감당해야 하는 트래픽은 얼마일까?" "야간과 주말에 최소 비용으로 장애관제를 하기 위해서는 어떤 체계가 필요할까?" "200개가 넘는 검색서비스가 수만 대의 서버 위에서 동작하고 있을 때 특정 포인트의 장애를 detection할 수 있을까?"

강연자

김재헌 손주식

강연자 사진

강연 분야

검색

강연 제목

네이버 검색과 개인화

강연 내용

이 세션에서는 네이버 검색에서 생각하는 '개인화'서비스에 대하여 이야기하고자 합니다. "검색에서 개인화 서비스는 필요한 것인가?"라는 질문으로 시작해서, 네이버 검색이 '개인화'라는 화두에 대해 어떤 목표를 가지고 무엇을 이루어가려고 하는지 다룹니다. 사용자의 검색의도를 만족시킨다는 측면에서, 검색에 적용된 개인화 기술을 소개합니다.

목차

검색에 개인화가 필요한가?
검색의도를 만족시키기에 유리한 개인화
검색의도 추정
의도에 맞는 결과 구성
개인화 평가

강연자

강연자 사진

강연 분야

머신러닝
AI

강연 제목

Deep Learning to help student’s Deep Learning

강연 내용

With the growing demand for people to keep learning throughout their careers, massive open online course (MOOCs) companies, such as Udacity and Coursera, not only aggressively design new courses that are relevant (e.g., self-driving cars and flying cars), but refresh existing courses’ content frequently to keep them up-to-date. This effort results in a significant increase in student numbers, which makes it impractical for even experienced human instructors to assess an individual student's level of engagement and anticipate their learning outcomes. Moreover, students in each MOOC classroom are heterogeneous in background and intention, which is very different from a classic classroom. Even subsequent offerings of a course within a year will have a different population of students, mentors, and—in some cases—instructors. Also, due to the nascent nature of online learning platforms, many other aspects of a course will evolve quickly such that students are frequently being exposed to experimental content modalities or workflow refinements. In this world of MOOCs, an automated machine which reliably forecasts students’ performance in real-time (or early stages), would be a valuable tool for making smart decisions about when (and with whom) to make live educational interventions as students interact with online coursework, with the aim of increasing engagement, providing motivation, and empowering students to succeed. With that, in this talk, we first recast the student performance prediction problem as a sequential event prediction problem. Then introduce recently-developed GritNet architecture which is the current state of the art for student performance problem and develop methods to use (or operationalize) GritNet in real-time or live predictions with on-going courses. Our results for real Udacity students’ graduation predictions demonstrate that the GritNet not only generalizes well from one course to another across different Nanodegree programs, but enhances real-time predictions explicitly in the first few weeks when accurate predictions are most challenging. In contrast to prior works, the GritNet does not need any feature engineering and it can operate on any student event data associated with a timestamp.

강연자

강연자 사진

강연 분야

인프라
성능
기타

강연 제목

대형 컨테이너 클러스터에서의 고가용성 Network Load Balancing: Maglev Hashing Scheduler in IPVS, Linux Kernel

강연 내용

수 천개의 컨테이너로 구성된 대형 컨테이너 클러스터 Platform 에서, Network Load Balancing 은 아주 복잡한 문제 중 하나입니다. 대용량의 Network 트래픽을 컨테이너들로 분산 시키기 위해 많은 수의 Load Balancer 를 구축하고 이를 유기적으로 연결시켜 효율적인 Balancing, High Availability 등을 보장해줘야 하지만, 컨테이너 클러스터 Platform 환경에서는 몇 가지 문제에 직면하게 됩니다. - Container 는 Life Cycle의 특성 상 생성/삭제가 매우 빈번하기 때문에 Load Balancer에 이를 동적으로 반영할 수 있어야 합니다. - 한 개, 또는 여러 개의 Load Balancer가 Down 되어도 이 곳을 경유하던 Network Connection들이 유실되어서는 안됩니다. 이 Connection들은 다른 정상적인 Load Balancer에서 문제 없이 처리되어야 합니다. 이를 위하여 각각의 Load Balancer 가 모든 Connection 정보를 유지하고 있어야 합니다. - 물론, 대용량의 Traffic의 효율적인 분산도 보장되어야 합니다. 이러한 문제들을 풀기 위해서 Linux Kernel 의 Software Load Balancer 인 IPVS 에 Maglev Hashing Scheduler 라는 Module을 개발하여 Contribution 하였고, 이를 사용하여 네이버 서비스 컨테이너들로의 부하를 분산하는 Load Balancer 를 운영하고 있습니다. 이 세션에서는 위 문제들을 해결하기 위해 했던 고민들과 Linux Kernel v4.18 부터 포함되는 IPVS Maglev Hashing Scheduler의 특징을 소개하고, 대형 컨테이너 클러스터에서 어떻게 효율적이고 고가용성을 갖는 Network Load Balancer 를 구축하였는지 등을 공유합니다.

강연자

전체 Schedule 보러가기

PARTNERS

LOCATION

장소: 코엑스 그랜드볼룸 (Coex Grand Ballroom)
주소: 서울 강남구 영동대로 513 코엑스, (지번) 삼성동 159 코엑스
연락처: 02-6000-0114

그랜드볼룸은 봉은사 맞은편 코엑스 1층 북문 쪽에 위치해 있습니다.
지하철 이용 시 9호선 봉은사역 7번 출구를 이용하시거나 삼성역 6번 출구를 이용하시면 됩니다.

교통정보 더보기 >

DEVIEW 2018에 관하여 더 궁금한 점이 있다면?

FAQ 보러가기