マルティスープ
Staff Blog

2018.10.12

GCPの課金データをBigQueryにエクスポートしてDataStudioで可視化してみる（１）

みなさん、こんにちは。

Google Cloud Platform（以下、GCP） と Google Maps Platform（以下、GMP） は、同じような課金体系になり、GCPのコンソール内のお支払いページから参照ができます。お支払いページでは、GCPやGMPの細かい使用回数や請求金額、クレジット（値引き金額）などが確認できますが、Google が提供するBIツールの DataStudio を使って可視化できないかチャレンジしてみました。

色々調べてみると、DataStudio で可視化する場合、課金データを一旦、BigQueryに登録してから、DataStudio 側でBigQueryのテーブルをアタッチしてデータの取り込みを行うようです。

BigQueryを利用するためのプロジェクトを作成

BigQueryを利用するためのプロジェクトを作成します。もちろん既存のプロジェクトでも良いです。当然ですが、請求アカウントを設定しておく必要があります。

BigQuery にデータセットを作成

課金データを登録するためには、BigQuery にデータセットを作成しておく必要があります。GCPコンソールのメニューよりBigQueryを選択し、BigQueryページを開きます。プロジェクト名の横にある矢印をクリックすると「Create new dataset」が表示されるのでクリックします。

下記イメージのように入力し、OKボタンをクリックするとデータセットが作成されます。

課金データをBigQueryにエクスポート

課金データをBigQueryにエクスポートするためには、お支払いページのメニューにある「課金データのエクスポート」を開き、「設定の編集」をクリックします。

作成したプロジェクトと BigQuery のデータセットを選択し、保存します。以上の設定で、数時間すると作成したデータセット配下に、テーブルが自動で作成され、課金データが登録され始めます。テーブルの名前は「gcp_billing_export_v1_xxxxxxxxxxxxxxxx」のような感じです。

数時間してから BigQuery を見てみると、テーブルができていました！

データの方も、以下のように登録されていますね。

作成されたテーブルの主要なフィールドを説明します。

上記のフィールドを見てわかったことは、１レコードに複数回の利用情報（usage_start_time から usage_end_time までの期間）が登録されることです。つまり、ある程度データをまとめて登録する仕様のようです。また、GCPやGMPには、クレジット（値引き）が付くことがありますので、その情報も登録されるようです。

これで、データの準備は整いました。後は、DataStudio でテーブルをアタッチして、可視化するだけですね。

私もここまでは順調に来たのですが、ここから先が悪戦苦闘でした。

話は長くなりますので、DataStudio での可視化については、次回にしたいと思います。

バイ！