MULTISOUP

MULTISOUP

MULTISOUP

マルティスープ
Staff Blog

Introduction example

2018.10.12

GCPの課金データをBigQueryにエクスポートしてDataStudioで可視化してみる(1)

DataStudioで可視化

みなさん、こんにちは。

Google Cloud Platform(以下、GCP) と Google Maps Platform(以下、GMP) は、同じような課金体系になり、GCPのコンソール内のお支払いページから参照ができます。お支払いページでは、GCPやGMPの細かい使用回数や請求金額、クレジット(値引き金額)などが確認できますが、Google が提供するBIツールの DataStudio を使って可視化できないかチャレンジしてみました。

 

色々調べてみると、DataStudio で可視化する場合、課金データを一旦、BigQueryに登録してから、DataStudio 側でBigQueryのテーブルをアタッチしてデータの取り込みを行うようです。

 

 

BigQueryを利用するためのプロジェクトを作成

BigQueryを利用するためのプロジェクトを作成します。もちろん既存のプロジェクトでも良いです。当然ですが、請求アカウントを設定しておく必要があります。

 

 

BigQuery にデータセットを作成

課金データを登録するためには、BigQuery にデータセットを作成しておく必要があります。GCPコンソールのメニューよりBigQueryを選択し、BigQueryページを開きます。プロジェクト名の横にある矢印をクリックすると「Create new dataset」が表示されるのでクリックします。

下記イメージのように入力し、OKボタンをクリックするとデータセットが作成されます。

 

dataset_create

 

 

 

 

 

課金データをBigQueryにエクスポート

課金データをBigQueryにエクスポートするためには、お支払いページのメニューにある「課金データのエクスポート」を開き、「設定の編集」をクリックします。

作成したプロジェクトと BigQuery のデータセットを選択し、保存します。以上の設定で、数時間すると作成したデータセット配下に、テーブルが自動で作成され、課金データが登録され始めます。テーブルの名前は「gcp_billing_export_v1_xxxxxxxxxxxxxxxx」のような感じです。

 

 

billing_export_setting

 

 

数時間してから BigQuery を見てみると、テーブルができていました!

 

bigquery_schema

 

 

データの方も、以下のように登録されていますね。

 

bigquery_data

 

 

作成されたテーブルの主要なフィールドを説明します。

フィールド概要値の例
_PARTITIONTIME  
billing_account_idGCP上の請求ID 
service.idサービスID1934-AA85-20F9
service.descriptionサービスの詳細説明Maps and Street View API
sku.idSKU(製品)のIDFAF4-3B2D-51B2
sku.descriptionSKU(製品)の詳細説明Dynamic Maps
usage_start_time1レコードの計算開始日時 2018-10-05 15:02:07.001 UTC
usage_end_time1レコードの計算終了日時 2018-10-05 15:42:01.529 UTC
project.idGCP上のプロジェクトIDapi-project-xxxxxxx
project.nameGCP上のプロジェクト名multisoup-demo
export.timeデータがエクスポートされた日時2018-10-06 05:44:44.913 UTC
cost1レコードの請求金額17.408159
currency請求金額の通貨JPY
currency_conversion_rate通貨のレート113.00000
usage.amount1レコード内での使用回数22.0
usage.unit単位request
credit.nameクレジットの名前Maps Free Tier
credit.amount1レコード内のクレジッット金額22.0
invoice.month請求年月201809

 

 

上記のフィールドを見てわかったことは、1レコードに複数回の利用情報(usage_start_time から usage_end_time までの期間)が登録されることです。つまり、ある程度データをまとめて登録する仕様のようです。また、GCPやGMPには、クレジット(値引き)が付くことがありますので、その情報も登録されるようです。

 

 

これで、データの準備は整いました。後は、DataStudio でテーブルをアタッチして、可視化するだけですね。

 

 

私もここまでは順調に来たのですが、ここから先が悪戦苦闘でした。

話は長くなりますので、DataStudio での可視化については、次回にしたいと思います。

 

 

バイ!

 

 

 

 

 

 

 

 

 

 

地図や位置情報を用いたシステムのご提案・開発ならマルティスープへ

マルティスープは、創業以来のGISとモバイル開発の実績と技術力で、営業支援システムやリサーチ・公共インフラ・工事・警備業界の現場を支援するシステム開発など、地図や位置情報を使った業務システムの導入のご提案や開発をいたします。

現場をつなぐコミュニケーションが屋内外業務のパフォーマンスを最大限に。マルティスープのiField(アイ・フィールド)®シリーズは、屋内外業務の現場の実力を減少させるコミュニケーション障壁を除き、使い慣れたスマートデバイスを使って 現場の実力をリアルに伝えるサービス。

位置・空間情報のエキスパート集団として一緒に働きませんか?

マルティスープは地図情報をはじめとする位置・空間情報技術のエキスパート集団です。当社で日々研究している地図や位置情報といった技術は、災害支援など貢献度の高いシステムとして使用されることもあれば、スマートフォンアプリのゲームとして使われることもあり、その利用用途・価値は、今後もますます広がっていっています。
私たちの企業理念は、「創る喜び、使う喜び」です。
今後の開発体制をより強化するために、新卒・中途問わず、当社の未来を共に創っていただける新メンバーを募集します!

【関連記事】こんな記事も読まれています

2018.11.25

GCPの課金データをBigQueryにエクスポートしてDataStudioで可視・・・

みなさん、こんにちは。

前回まで、GCPの課金データをBigQueryにエクスポート、DataStudioで簡単に可視化するところまで解説しま・・・

続きを読む

2018.10.01

BigQuery GIS とは?

みなさん、こんにちは。

先日開催された  続きを読む

2018.10.20

GCPの課金データをBigQueryにエクスポートしてDataStudioで可視・・・

みなさん、こんにちは。

前回は、BigQuery に課金データを登録するところまででしたが、今回は、BigQuery のデータを DataSt・・・

続きを読む

 - スタッフ日記