온라인 광고는 전 세계에서 성장 중인데…

온라인 광고 시장은 개발도상국에서도 빠르게 성장하고 있습니다. 그런데 클릭률(CTR) 예측 분야의 최신 연구들을 보면 대부분 파라미터 수가 어마어마한 딥러닝 모델을 전제로 합니다. 문제는, 이런 모델을 서빙하려면 고성능 GPU를 비롯한 상당한 컴퓨팅 자원이 필요하다는 것입니다.

그런데 개발도상국의 서비스 환경은 이 전제와 잘 맞지 않는 경우가 많습니다. 컴퓨팅 자원이 제한적이고, 학습과 서빙을 위한 인프라 투자 여력도 넉넉하지 않습니다. “최신 모델이 이론적으로는 더 좋다”는 것과 “실제로 우리 서비스에 쓸 수 있다”는 것 사이에는 꽤 큰 간극이 있었던 셈입니다.

발상의 전환: CTR 예측은 사실 Tabular 문제다

저희(HYPERCONNECT, ICLR 2021 PML4DC 워크숍)는 여기서 질문을 하나 바꿔봤습니다. “더 화려한 딥러닝 모델을 어떻게 경량화할까?”가 아니라, “CTR 예측이라는 문제 자체가 사실은 Tabular Learning(표 형태 데이터 학습) 문제와 본질적으로 닮아있지 않은가?”라는 질문이었습니다.

CTR 예측에 쓰이는 데이터를 뜯어보면, 결국 사용자 속성, 광고 속성, 문맥 정보 같은 범주형·수치형 피처들이 표 형태로 나열된 데이터입니다. 이건 정확히 GBDT(Gradient Boosted Decision Tree) 계열 모델, 즉 XGBoost나 CatBoost 같은 Tabular Learning 모델이 원래 아주 잘하는 영역입니다. 굳이 무겁고 파라미터가 많은 딥러닝 구조를 새로 설계할 이유가 없었던 것이죠.

결과: 더 가벼운데, 더 잘 맞습니다

8개의 공개 CTR 데이터셋에서 실험한 결과는 명확했습니다. Tabular Learning 모델이 그 당시 최신(SOTA) CTR 예측 모델 12개보다 더 좋은 성능을 냈습니다. 그리고 무엇보다, 고성능 GPU 없이도 훨씬 빠르게 학습이 가능했습니다. “가볍게 만들려고 성능을 희생했다”가 아니라, 애초에 이 문제에 더 적합한 모델을 골랐을 뿐인데 성능도, 효율성도 함께 잡힌 셈입니다.

실험실 밖으로 — 실제 서비스에 적용해보니

여기서 끝나지 않고, 실제 온라인 서비스에 A/B 테스트를 진행했습니다. 라이브 스트리밍 서비스 Hakuna에 CatBoost 기반 Tabular Learning 모델을 적용한 결과, 오프라인 지표뿐 아니라 실제 사용자들의 CTR 자체가 유의미하게 상승하는 것을 확인했습니다. 두 지역에서 각각 약 +59%, +85%에 달하는 CTR 개선을 관찰했는데, 이는 모델 자체의 성능 향상뿐 아니라 가벼운 모델 덕분에 매일 재학습(daily training)이 가능해지면서 오래된 모델이 최신 트렌드를 못 따라가는 “정체 문제(stale problem)”까지 함께 해결된 결과였습니다.

거창한 딥러닝 아키텍처 경쟁에서 한 발짝 물러나 “이 문제는 원래 무슨 문제인가”를 다시 물어봤을 뿐인데, 실제 서비스 지표까지 개선된 사례입니다. 이 모델이 실제로 하쿠나 라이브 추천 시스템에 어떻게 녹아 들어갔는지는 별도로 정리한 글에서 더 자세히 다뤘습니다. 논문 원문은 위 카드를 클릭하면 arXiv에서 바로 확인하실 수 있습니다.