渋谷アドテクの父がアテナに助けられた話し
この記事はCyberAgent Developers Advent Calendar 2018の15日目です。 2年ぶりに会社のAdvent Calendarに参戦！（2年前の記事はコチラ）。
ごあいさつ
アドテク本部 ProFit-X事業部の小栗（@neiraza）です。
サイバーエージェント 5 年目、エンジニア 16 年目、iOS/Androidデベロッパー 9 年目、プロダクトマネージャー 2 年目、人生 42 年目になりました。あ、あと『渋谷アドテクの父』 1 年目です。
たぶんですが、職業はアドテクのプロダクトマネージャーです。
あとの自己紹介は、「Roppongi Product Manager Meetup #6」にCA ProFit-X プロダクトマネージャーの小栗が登壇しました！で。
2018 - 2019
やってる事業を抽象化するとこんな感じですが、
僕らは『ユーザー体験を損なわない』広告配信が、「媒体」様の持続的な成長につながると信じて、この事業をやってます。
勝負しに行くドメインとして、5Gの普及が開始する2019年に向けて仕込みを増やしていこうと、2018年は事業／プロダクトとして、個人としても新しいことにチャレンジしてきましたが、
その一歩目、ライブ配信サービスのマネタイズに特化したSSP「PFX LIVE」の提供開始）。
もっと加速して、2019年に入っていきたいと考えています。
アクセラレータ？
もっともっと「DSP」さんの入札率をあげ、広告枠を買ってもらい、「媒体」様に収益を戻したいです。 たぶん近道はなくて、僕らがでつくりあげてきた配信サーバーの5年分をひっくり返し始めました。
いつから○○だと錯覚していた？
とにかく全てを疑ってみる。いま、何が起こっているのかを正確に把握する。 ただ、頭の中にある仕様と実装されたコードを読んでも、「藍染惣右介の鏡花水月」の影響で、小さな点くらいしか見つからない気がする。
データが語りかけてくる
僕に語りかけてくることを期待して、違和感を見つけるまで追うことにしました。
置いてある場所とモノ
- Amazon RDS
- 配信実積が置いてある。接続してSQLを投げるだけ。楽勝。
- Amazon DynamoDB
- AWS EMR
- 配信や取引に関わるログが置いてある。どうやってデータみるんだろ。
配信や取引に関わるログデータの流れ
Amazon EC2の各インスタンス上のサーバーから Amazon Kinesis Data Streamを経てAWS EMR（Apache Spark）とAmazon S3にデータが流れてる。
アテナ
どうしたもんか相談したら、AWS AthenaでSQLを投げればログデータから、欲しい情報が取得できるって！
「聖闘士星矢」の城戸沙織でおなじみアテナも超歓喜。
ファイルストレージに置いてあるファイルをSQLで抽出できるって。Amazonさん、TUEEE！ と思ったけど、そんなテーブル定義もなしに、SQLで何かできるわけなくね？と思って調べました。
のり
たぶん、Amazon S3に置いてあるログを、AWS Glueでデータベース＆テーブル化して、AWS Athenaからクエリを投げられるようにしたんだろなと推測。きっと会ってる。 開発チームでグルーグルーって言ってたし。
まとめ
AWS Athena を利用して、現在の状況をデータで把握するとこから始めようと思います。 今後は、仮説とKPIを引きながら配信サーバの修正依頼を投げ、TableauからAWS Athenaへ接続して簡単なビジュアル表示をして、KPIを追っていこうかと考えています。
AWS Athenaでかかる費用を見極めつつ、2018年、そろそろ本気だすか。知らんけど。
