지난 10년간 데이터마이닝이 네이버 검색에서 어떻게 쓰였는지 소개하고, 그 과정에서 얻어진 노하우를 공유합니다. 데이터마이닝을 이용한 최초의 서비스였던 네이버 연관검색어, 실시간검색어 로부터 현재 진행중인 데이터마이닝 프로젝트까지 소개합니다.
실제데이터로 하는 데이터마이닝이 이론으로 하는 데이터마이닝과 어떻게 다른지 이야기하고 좋은 데이터마이너가 되기위해 필요한 것들을 이야기합니다.

[목차]
1. 네이버 데이터마이닝 프로젝트
2. 좋은 데이터마이너가 되기위해 필요한 것
3. 현재 진행중인 실시간 데이터마이닝 프로젝트

League of Legends (LoL) is a multiplayer online video game developed and published by Riot Games.

I'd like to share what I learned from my experience developing a backend service application that processes millions of requests (per minute) with the extremely low latency.

In this presentation, I'll discuss:
- AWS-based cluster setup for RESTful services
- Writing production level Node.js applications
- Redis use cases, scaling and optimization techniques
- Docker container deploy automation and performance optimization in AWS ECS/EC2

The Ethereum project has advanced block-chain technology beyond the paradigm of specific use-cases; with Ethereum it is now possible to upload custom rules and have their execution secured by the block-chain. Ethereum can be seen as a "World Computer", a shared robust secure computing resource that anyone can use. It includes both execution and storage, with customizable cryptographic permissions possible on both.
This talk will explore the technology that makes this possible, some of the challenges that had to be overcome and some of the possibilities that Ethereum can power.

Ethereum 프로젝트는 특정 유스케이스의 패러다임을 넘어선 진보된 block-chain 기술을 보유하고 있습니다. Ethereum을 이용해 커스텀된 규칙을 업로드하고 이 block-chain을 이용해 그들의 실행을 안전하게 보호할 수 있습니다. Ethereum은 마치 누구나 사용할 수 있는 탄탄하고 안전한 공유 컴퓨터 자원, 즉 "세계 컴퓨터"처럼 보일 것입니다. 이것은 실행 기능과 저장 장치를 포함하며, 양쪽 모두에 대해 암호화된 접근 제어를 제공합니다.
이 세션에서는 이 모든 것을 가능하게 한 기술과 극복해야 했던 어려움들에 대해 이야기하고, Ethereum이 해줄 수 있는 가능성에 대해서 설명합니다.

* 본 세션은 동시 통역이 제공됩니다.

Apache Zeppelin은 Spark 및 다른 여러 분석 프레임웍을 지원하는 Notebook 환경입니다. 오픈소스 소프트웨어를 이용해 데이터 분석 시스템을 구축할 때 경험하게 되는 시스템 구성의 복잡성으로 인해, 분석가들은 실제 분석보다는 시스템 구성과 유지 보수에 더 많은 시간을 소비하는 경우가 많습니다.
본 세션에서는 기존에 Hadoop / Hive / Spark / mongodb 등을 사용해 AccessLog 분석하는 시스템에 Zeppelin 을 적용한 사례를 통해 기존시스템의 문제점을 진단하고 Zeppelin 을 통해 개선한 시스템의 구성을 살펴보고자 합니다.
이 과정에서 다중 사용자 지원, 라이브러리 아카이브 구성, 노트북 공유 등 실제 데이터 분석 팀이 마주칠 수 있는 문제의 해결책을 제시합니다. 또한 Zeppelin 의 유연성에 대해 알아보고, 새로운 분석 framework, 시각화 등을 사용자가 직접 추가할 수 있는 방법에 대해 공유하고자 합니다.

Docker Orchestration이란 여러개의 Docker Container로 하나의 서비스를 만들어 주는 것을 의미합니다.
이 발표에서는 Docker Orchestration이 어떤 요소와 구현체가 있는지 소개하고 서비스를 빌드/배포하는 관점에서 Docker Orchestration을 통해 서비스를 쉽게 Dockerize 하기위해 저희가 하고 있는 일들을 소개 합니다.

2011년 애플 Siri 서비스 이후, 삼성 s-voice, 구글 나우 같이 대화 기능을 포함하는 스마트폰 앱들이 다수 등장하였습니다. 최근에는 소프트뱅크의 페퍼, 지보사가 개발한 지보, IBM 왓슨을 이용하는 cognitoys 등 대화 기능을 장착한 로봇형 시스템들이 계속 등장하고 있습니다.
네이버에서는 2012년 링크앱 개발과 함께 대화 기술에 관한 연구를 진행하고 있습니다.
본 발표에서는 네이버에서 대화 기술을 개발하면서 연구/조사했던 내용을 공유합니다. 특히, 대화 시스템 개발에 꼭 필요한 "대화 관리" 기술에 관해서 주로 다룹니다. "대화 관리"는 사용자와 시스템간의 대화 내용을 관리하고, 이를 기반으로 사용자 질의에 적절하게 답변하는 역할을 하는 기술입니다.

HBase에서 데이터는 오직 rowkey기반의 사전식 순서로 정렬되어 이를 통한 조회만이 가능하며, 보조인덱스(secondary index)를 지원하지 않습니다. 이 때문에 rowkey 이외의 기준으로 데이터를 조회하기 위해서는 사용자가 보조인덱스를 직접 만들어 쓰거나, 시중에 나와있는 보조인덱스 시스템들을 사용해야만 합니다.
하지만 이러한 시스템들은 index consistency(data테이블과 index간의 일관성)를 보장하지 않습니다. 일부는 잘못된 데이터를 보정하는 툴을 제공하거나, 제한적으로 지원(eventually consistant)하고 있는데요, 데이터에 대한 신뢰가 중요한 시스템에서는 결과를 확신할 수 없습니다. 이러한 배경에서 index consistency를 보장하는 보조인덱스 시스템 HIM을 개발하게 되었습니다.
이번 발표에서는 hbase에서의 보조 인덱스 구현을 위한 배경 지식과 index consistency를 보장하는 방법에 대해서 설명합니다. 또, Coprocessor와 Custom Filter, Zookeeper 등을 이용한 내부 구조와 성능에 대해 소개하고, HBase의 보조인덱스로서 RDBMS의 것들과 구분되는 사용패턴과 이를 지원하는 기능들에 대해 논하고자 합니다.

사용자가 검색할 때 '내이버' 등의 오타를 입력하는 경우가 많으며 검색어로 오타가 입력되는 경우 검색결과가 만족스럽지 않습니다. 이러한 경우 가급적 '네이버'와 같이 교정 추천해 주면 사용자의 검색 만족도가 증가합니다.
네이버는 수년 전부터 자연어처리(NLP) 기술을 이용한 검색어 교정 추천 서비스를 제공하였습니다. 스마트폰 사용이 증가하면서 pc에서 검색할 때보다 오타 입력이 증가하였고, 이에 따라 네이버의 기존 검색어 교정 시스템은 교정 추천 커버리지가 한계에 다다르게 되었으며 보다 좋은 품질의 검색어 교정 추천 시스템의 필요성도 함께 증가하였습니다.
이에 기존의 교정 추천 시스템을 대신 할 검색어 교정 알고리즘과 라이브러리를 새롭게 개발하여 네이버 검색에 적용하게 되어 DEVIEW를 통해 새로운 검색어 교정 시스템을 소개하고자 합니다.

The Circuit is a light-weight cluster operating system. It is based on a peer-to-peer network of daemons, connected through a robust, dynamic membership and broadcasting protocol. Every host, member of a circuit, provides a local API that presents a dynamic, unified view and control over the entire cluster. The API is available as a command-line tool, as well as a Go package.

During this talk, I am going to Go over the Circuit abstraction of a cluster as well as the practical side of running and organizing a circuit cluster. We are then going to implement a complete basic cluster job scheduler from scratch, using the Circuit Go API, and demo its usage.
Time permitting, I will give a peek into the power of process recursion at cluster scale.

* 본 세션은 동시 통역이 제공됩니다.

빅데이터 처리에 대한 관심의 증가로 많은 기업들이 데이터 분석을 위해 클러스터를 도입하고 있습니다. 반면, 수퍼컴퓨터로 대표되는 고성능 클러스터를 사용하던 과학자들은 사이언스 데이터 분석을 위해 빅데이터 어낼리틱스에 점차 관심을 높여가고 있습니다.
본 발표에서는 고성능 컴퓨팅 관점에서 하둡과 HPC 미들웨어를 비교해보며, UNIST에서 개발 중인 고성능 데이터 어낼리틱스 프레임워크를 소개합니다.

대부분의 네트워크 프로그래밍은 end-to-end 통신을 전제로 합니다. 개발자에게 네트워크는 데이터를 원격으로 주고 받는 통로일 뿐입니다. 네트워크는 당연히 되어야 하는 것, 당연히 있어야 하는 것이죠. 하지만 여러분이 보내는 패킷이 지구 반대편까지 가기 위해 수 많은 연산 과정을 거쳐야 한다는 것을 아십니까? 심지어 여러분이 보내고 받는 패킷을 중간에 있는 네트워크 장비가 모든 내용을 읽어보고 변형 시키고 있다는 것도 알고 있습니까? 본 세미나에선 학부 네트워크 전공 시간에 배웠을 네트워크의 기본 개념을 훑어보면서 패킷엔진 (PacketNgin)이라는 RTOS를 활용해 네트워크 장비 입장에서 프로그래밍 하는 방법을 배웁니다.

DAQRI Helmet은 '마이너리티 리포트'나 '아이언맨'에서 봐 왔던 것처럼 증강 현실을 사용자에게 보여주는 웨어러블 기기이고, 특히 산업 현장 (공장, 건설 현장) 을 타겟으로 개발하고 있습니다.
본 세션에서는 DAQRI Helmet/platform에 소개와 더불어 증강 현실에 관련된 기술들 (Visual-IMU navigation, 2d/3d recognition) 과 과제에 대해 이야기하고, 개발 과정에서 있었던 어려움이나 해결책에 대해 공유하려고 합니다.

이 세션에서는 네이버 사내의 로깅 플랫폼에서 새롭게 구현된 실시간 알람 시스템에 대하여 이야기하고자 합니다. 전사 로깅 플랫폼의 특성상 다수의 서버와 모바일 단말로부터 방대한 로그 데이터가 유입됩니다. 실시간 알람 모듈은 이 유입 로그들에 대하여 각 개발자가 자신의 알람 규칙을 정의하고, 그 이벤트가 발생할 경우 실시간으로 알람을 전송하여 즉각 대응이 가능토록 하고자 개발되었습니다.
본 세션에서는 구현에 활용된 오픈소스(Storm, Elasicsearch, Redis, Kafka)들에 대한 소개와 각각을 어떻게 적용하였는지, 그리고 이를 통해 사용자들에게 부가적으로 전달할 수 있었던 가치는 어떤것들이 있었는지를 여러분과 공유하고자 합니다.

O2O 시대. 다른 사람들이 어느 장소에 있는지 궁금해하는 분들이 많습니다. 이를 알면 사용자들을 더 잘 이해할 수 있고, 보다 좋은 서비스를 제공할 수 있으니까요. 하지만 현재 스마트폰에서 제공해 주는 위치 정보로는 내가 지금 우리집 1층에 있는지 2층에 있는지 구별하기 어렵고, 같은 공간에 있었던 사람도 인식할 길이 없습니다.
본 세션에서는 현존하는 무선 신호 소스 중 가장 많이 설치되어 있는 WIFI를 활용해서 이러한 문제들을 해결해본 실전 경험을 나눠보도록 하겠습니다.

Practical advice and insights about applying machine learning to real life big data problems: Methods, Examples and Lessons learned

네이버 검색 서비스를 위한 문서 정제는 많은 데이터에 대한 처리(배치 처리)와 입수된 데이터의 빠른 처리(스트림 처리)가 필요하고, 두 처리 시스템의 조화가 필수적입니다. 대용량 분산 처리를 위해 Hadoop, HBase, Storm, Spark, Kafka 등 많은 오프소스 솔루션이 있지만 모든 문제를 하나의 솔루션만으로 해결할 수는 없습니다. 그리고 처리하는 정제 로직을 솔루션마다 따로 작성한다면 유지보수의 어려움이 있습니다. 본 세션은 이러한 문제를 해결하기 위해서 어떻게 프로그래밍 모델을 추상화했고, 어떻게 배치와 스트림 처리를 통합할 수 있었는지 설명하고자 합니다.
- 배치 처리 vs 스트림 처리
- Domaine Architecture
- 초기 구축 배치 처리 방법

Cuda Library를 활용하여 Deep learning 엔진(VUNO-Net)을 자체 개발한 경험을 바탕으로, 구현 방법 및 어려움 등을 공유하고, 이를 이용한 몇가지 결과를 소개합니다.

1. Deep Learning Review
2. Implementation on GPU using cuDNN
3. Optimization Issues
4. Introduction to VUNO-Net

이 세션에서는 네이버 증분 검색 시스템에서 문서 정제를 하는데 사용하고 있는 Cana를 소개하고, 개발 과정에서 겪은 여러 가지 문제와 이를 해결한 경험을 공유합니다. Cana는 데이터 증분 처리 플랫폼으로 HBase에서 Snapshot Isolation 레벨의 트랜잭션을 사용할 수 있도록 하며 Event Notification을 통한 실행 모델을 제공합니다.

Dataflow is all about connecting systems with different protocols and data formats that are constantly changing. Messaging-based solutions are a popular answer currently, but they don’t address many of the fundamental challenges of enterprise dataflow.
We will identify the capabilities of Apache NiFi provides for end-to-end dataflow and how it ensures compliance of distributed systems at scale with new lineage techniques and comprehension the information supply chain.

* 본 세션은 동시 통역이 제공됩니다.

소스코드 분석을 통해, 검색으로는 알 수 없는 Presto의 내부 구조를 해부해보는 세션입니다.
주요 Library, ByteCode generation, 숨겨진 Plugin 과 기능들, 새로운 Plugin 작성방법을 다룰 예정입니다.

데이터를 다루는 사람들은 다들 추천엔진을 한번 구현해 보려고 합니다. 작은 규모의 Collaboration Filtering이든, Hadoop이나 Spark을 이용한 대규모 분산 처리로든, 그걸 한번 구현해보는 것은 로망중에 하나이죠. 이번에는 좀 좋은 노트북 정도의 머신 한대로, 글로벌 규모의 실시간 추천 엔진을 구현하는 방법을 한번 살펴봅시다. 농담이 아닙니다. 머신 한대로 글로벌 서비스 사이즈이고, 실시간입니다. 어떻게 그것이 가능한지 살펴보도록 합시다. 확률적 자료구조의 아름다움을 맛봅시다.

넷플릭스 빅데이터 팀은 10 petabytes가 넘는 대규모의 data warehouse를 AWS 클라우드 위에서 운영하고 있습니다. 현재 Hadoop, Hive, Pig, Presto 등의 오픈소스 소프트웨어를 이용해 데이터를 분석/처리하고 있는데, 최근 Apache Spark의 등장으로 기존 하둡 YARN 기반의 플랫폼에 Spark을 통합하는 작업을 작년부터 진행하였습니다.
이 세션에서 저는 넷플릭스 빅데이터 플랫폼에 Spark이 어떻게 연동되는지 설명하고, multi-tanant 환경의 하둡 YARN 클러스터에서 Spark을 운영하면서 겪은 문제점 및 해결책을 공유하고자 합니다. 특히, S3상의 하이브 테이블에 데이터를 저장하고 이를 Spark을 이용해 처리하는 것에 관심있으신 분들은 이 세션을 통해 많은 팁을 배우실 수 있을 것입니다. 또한, MapReduce 기반의 ETL job을 Spark으로 전환할 경우 어느정도 성능이 향상될 수 있는지에 대한 use case도 공유하고자 합니다.

S2Graph는 사용자의 activity를 실시간으로 수집/조회 할 수 있는 Graph Database입니다.
이름도 생소한 Graph Database를 만든 목적과 S2Graph를 사용하여 기존의 문제들을 해결한 사례들을 공유하도록 하겠습니다. 특히 Facebook의 뉴스 피드나 채팅 서비스, 실시간 콘텐츠 추천 엔진을 S2Graph를 사용하여 쉽고 빠르게 구현하는 방법을 살펴보도록 하겠습니다.
그리고 아무리 기능이 편하고 쉬워도 performance가 나오지 않으면 의미가 없겠죠. S2Graph의 linear scalability를 benchmark를 통해 확인하고, 실제 서비스의 트래픽 상황을 공유 하도록 하겠습니다.

대규모 데이터에 대한 Deep Learning 알고리즘은 통상 GPGPU 프로그래밍으로 구현하고 있습니다. 그러나 구글은 DistBelief와 같은 대규모 분산 시스템에서 Deep Learning을 구동하고 있고, 최근 오픈소스 커뮤니티에서도 Hadoop과 같은 분산 시스템 위에 Large-Scale Deep Learning을 구현하는 시도가 있습니다.

이에 구현 관점에서 Deep Learning 알고리즘을 소개하고, Spark 등을 활용한 분산 아키텍처에서의 Deep Learning 구현 방안을 소개하고자 합니다.