AfreecaTV의 개인 인터넷 방송은 동시간대에 평균 5000개의 방송이 수시로 시작되고 종료됩니다. 이렇게 소비 사이클이 짧고 변동성이 큰 Item(인터넷방송)은 어떻게 추천해야 하고, 추천서비스 아키텍쳐는 어떻게 구성되었을까요? 이러한 인터넷 방송을 추천하기 위해 개인 관심도 측정, Item Matrix(연관분석&Similarity), 실시간 Cowatching(covisitation), 역빈도 적용 등의 복합적인 Collaboration filtering 기술과 추천서비스 제공을 위해 데이터 수집(API,UDP)부터 전달(MessageQueue),저장(Hdfs,hadoop,Redis),처리(Workflow,hive,ES)에 이르기 까지 구성된 AfreecaTV의 실시간 대용량 데이터 처리 플랫폼 아키텍쳐에 대하여 공유하고자 합니다.그리고 AfreecaTV서비스에 적용하면서 느낀 점(A/B 테스트, 서비스 적용시 고려할 점 등)과 "측정할 수 없으면 개선할 수 없다" 라는 말이 있듯이 어떤 추천 알고리즘 선택하고 개선해 나아가야 하는지에 대한 이야기를 하려고 합니다.

발표자 소개 최규민 아프리카TV

처음 10여 년 동안의 밥벌이였던 network 분석/보안 분야의 주 종목을 버리고, 불현듯 새로움을 갈망하여 아프리카TV에 들어가서 빅데이터 플랫폼, 실시간데이터 처리, 추천 시스템을 개발을 담당하고 있습니다. 요즘은 "측정할 수 없다면 개선할 수 없다" 라는 명언을 마음에 새기고 최소한 직접 만드는 기능들은 측정 가능하도록 하여 개선해 나가려고 하는 데이터 기반 인재가 되려고 하는 개발자입니다.

강연 대상

recommender system engineer, 빅데이터 플랫폼기술자, collaboration filtering

발표 자료

동영상