제로투원. 해석하면 0에서 1. 즉, 무에서 유를 창조한다는 의미다. 책의 제목에 걸맞게 주변에 스타트업에 다니는 분들에게 자주 추천받았던 책이다.

새해를 맞이하자마자 작년의 목표와 기대에는 없던 일이 일어났다. 오랜만에 뵌 분께 은희경 작가님의 "빛의 과거"라는 책을 선물받은 것이다. 그 동안 읽었던 텍스트라고는 오직 논문이었기에 선물받자마자 들었던 생각은 “아, 내가 과연 책을 읽을 수 있을까?” 였다.

그 와중에 작가님의 성함이 눈에 띄었다. 은희경 작가님… 왜 이렇게 익숙한 이름인가 했더니 개인적으로 존경하고 흠모하는 언니로부터 추천받았던 작가님이었다는 것이 떠올랐다. 단지 이 작은 이유만으로 오랜만에 접하는 소설의 벽이 낮아지는 느낌이었다.

이 책을 읽을 운명이었던 것인지, 마침 다음 날은 주말이었고 미용실에 오랜만에 가기 위해 예약을 잡아두었다. 자리에 앉자마자 책을 펼쳐들었다. 그리고 단숨에 그 소설의 세계에 몰입하게 되었다.

목적에 맞는 Dev와 Test set을 구축했다면, 이제 모델이 얼마나 잘하고 있는지, 못한다면 그 이유는 무엇인지에 대한 분석을 할 수 있다. 그래서 이번에 다룰 주제는 Basic Error Analysis이다.

Ch.13: Build your first system quickly, then iterate

Ch.14: Error analysis: Look at dev set examples to evaluate ideas

Ch.15: Evaluating multiple ideas in parallel during error analysis

Ch.16: Cleaning up mislabeled dev and test set examples

Ch.17: If you have a large dev set, split it into two subsets, only one of which you look at

Ch.18: How big should the Eyeball and Blackbox dev sets be?

Ch.19: Takeaways: Basic error analysis

이번에 요약할 Chapter 5~12 의 소제목은 Setting up development and test sets 이고, 아래와 같은 제목으로 구성되어 있다.

Ch.5: Your development and test sets

Ch.6: Your dev and test sets should come from the same distribution

Ch.7: How large do the dev/test sets need to be?

Ch.8: Establish a sinlge-number evaluation metric for your team to optimize

Ch.9: Optimizing and satisficing metrics

Ch.10: Having a dev set and metric speeds up iterations

Ch.11: When to change dev/test sets and metrics

Ch.12: Takeaways: Setting up development and test sets

Deep learning으로 예전에는 풀지 못했던 문제들을 풀게 되면서 다양한 기업에서 자신들의 서비스에 Deep learning을 활용하려는 시도가 많아졌다. 그러나 생각보다 Deep learning을 서비스에 적용하는 과정은 간단하지 않다. 연구 목적으로 사용되는 것보다 데이터가 훨씬 크고, 이 때문에 한번 모델을 학습시키는데 소요되는 시간이 더 길다. 더욱이 서비스로 배포되기 위해서는 매우 정확해야 하므로 (서비스의 특징에 따른 차이는 있겠지만 대체적으로) 모델의 검증과 재학습의 iteration이 더 많이 이루어진다. 그러므로 연구실에서보다 회사에서 더 전략적인 판단의 과정이 필요하다.

우리 팀도 NMT를 서비스에 반영하면서 다양한 고민에 부딪혀왔다. 그래서 Andrew Ng이 쓴 <>을 같이 읽고 있는데, 책 구석구석 고민해왔던 문제들에 대한 Andrew Ng 만의 해결책이 적혀있어 속이 뻥 뚫리는 기분을 맛보고 있다. (아무래도 Andrew Ng 은 Geoffrey Hinton, Yann Lecun, Joshua Bengio와 다르게 산업적인 측면에서의 Deep Learning에 더 관심이 많은 분인 듯하다.) 책 자체가 쉽게 쓰여져 있고, 각 챕터가 1~2장 정도밖에 되지 않아 부담은 적지만 큰 주제 별로 요약하면 더 많은 사람들이 쉽게 내용을 이해하고, 각자의 분야에 접목시킬 수 있을 것 같아서 이 글을 쓰게 되었다.