抱えていた課題

事業が急成長するに伴い、施策の振り返りや仮説検証等のための分析/レポーティングのニーズ・重要度が急増。
以前はデータアナリストがデータ整備まで行っていたが、これが重荷になり、本来の分析業務への集中が妨げられていた。
また、分析業務の一環として必要なデータの欠損や重複等についての確認作業にも負荷がかかり、迅速かつ正確な分析を行う上で障壁となっていた。

実現した結果

データエンジニアとデータアナリストの連携強化。
データウェアハウス/データマート/レポートの構築ルール、改善プロセスの明文化、継続的運用。
データ品質の定常的なシステム監視。

---

Pococha は、さまざまな個性あふれる「ライバー」と、視聴者である「リスナー」が双方向コミュニケーションを気軽に楽しむことができるライブ配信アプリです。
事業成長に伴い分析/レポーティングの重要度が増す中で、より迅速かつ正確な分析が行えるよう、データ整備のプロセスと仕組みを構築しました。

素早く、的確なインサイトを引き出すためのデータの整備

優秀なデータアナリストがいてもデータが扱いづらく信頼性が低ければ、増え続ける事業のニーズに応えることができません。
そこで、データエンジニアとデータアナリストが密に連携する体制を構築。データモデルを最適に保ち続けるためのルールやプロセスについて議論した上で明文化し、継続的なデータ改善の取り組みを開始しました。

エンジニアリングによるプロセスの下支え

運用負荷が重ければ、定義したルールやプロセスも形骸化してしまいます。
そこで、ルール違反の検知や、改善の検討に役立つメトリクス収集のシステム化を推進。Google BigQuery や BI ツールのアクセスログ、メタデータ等を活用し、必要な情報をすぐに把握できるようにしました。

また、データウェアハウスに対して欠損・重複・不整合等が起きていないかシステム的に定期診断を行い、データ品質に問題があった場合に即検知・対応できるようにしています。
内製ツールでデータ品質に関するメトリクスを収集し、Looker にて可視化。
異常値が存在した場合は Looker のアラート機能を利用し、 Slack へ通知されるようにしました。