とりゅふの森

GCPデータエンジニアとして生きる

BigQuery

Cloud FunctionsでGoogle Search Consoleのデータ収集を完全自動化する

こんにちは、前回はPythonでGoogleサーチコンソールのデータをBigQueryへロードする方法についてご紹介しました。 www.true-fly.com 前回はPythonのプログラムをローカルで実行していましたが、 今回はGCPの各サービスを利用して、日時で自動でデータのロー…

PythonでGoogle Search ConsoleのデータをBigQueryにロードする

こんにちは、今日は、Pythonを使って、Google Search ConsoleのデータをBigQueryにロードする方法についてまとめました。 当ブログの運用でもGoogle Search Consoleを利用しており、本格的に運用を始めてから半年以上が経過したので、普段良く使うBigQueryと…

VSCodeの拡張機能「Visual-BigQuery」を公開しました

かねてより自作していたVisual Studio Code(VSCode)の拡張機能をマーケットプレイスに公開しました! marketplace.visualstudio.com 「Visual-BigQuery」という名前で、BigQuery SQLのシンタックスハイライト、オートコンプリートなどの言語サポート機能を作…

【BigQuery演習】JSON文字列をSQLで展開してみよう!【JSON関数】

おはようございます。本日のBigQuery演習のテーマはこちら! JSON文字列をSQLで展開してみよう! BigQueryはJSONをテーブルにロードする機能がありますが、JSONを文字列としてロードして、SQLで加工することもできます! 例えば以下のようなJSON文字列のデー…

【BigQuery】GCPのリリースノートを公開データセットから取得してみる

2021/8/13に、GCPのリリースノートが、BigQueryの公開データセットに追加されました。 bigquery-public-data:google_cloud_release_notes.release_notes というテーブルです。 通常のリリースノートは、プロダクト別にページが存在しますが、このテーブルで…

【BigQuery演習】気象データをPIVOTで集計してみよう

おはようございます。本日のBigQuery演習のテーマはこちら! SQLで日付毎の気象データから月毎に集計したピボットを作成しよう BigQueryも今年になってPIVOT演算子が実装されました。ピボットというと、Excelやスプレッドシートで馴染み深いものですが、これ…

【Google Analytics4】イベントデータをBigQueryに連携する

こんにちは、今回は当ブログで利用している、Google Analytics4のデータを、Google BigQueryに連携してみたので、その手順についてまとめました。 ほんの5分程度、画面上で設定をするだけで、Google Analytics4のデータをBigQueryのSQLを使って集計、分析が…

【BigQuerySQL演習】世界ビールの日なのでブルームーンが次に訪れる日について求めてみよう【特別編】

こんにちは、とりゅふです。今日のBigQuerySQL演習ですがその前に… 本日8月6日は、世界ビールの日、だそうです! 成人済みエンジニアの皆さんはビールお好きですか? 私もビールは大好きで、クラフトビールも嗜む程度には飲みます。嗜む程度に飲むっていうと…

【BigQuery演習】SQLで配列をフラットに加工する

おはようございます。本日のBigQuery演習のテーマはこちら! SQLで配列をフラットに加工する BigQueryでは以下のように、配列でデータを持つことができます。データを管理する側としては便利ですが、集計する側からしてみれば使いにくい状態かなと思います。…

【BigQuery】2021.7.27にPreview公開されたINTERVAL型を試してみる

BigQueryの2021.7.27のリリースノートで、INTERVAL型というものがPreview公開されたらしいので試してみました。 Release notes | BigQuery | Google Cloud Intervalというと間隔という意味ですが、ここではどのように使われるのか、実際にSQLを実行しながら…

【BigQuerySQL演習】100万件のデータをランダムソートしよう

おはようございます、BigQueryのSQL演習シリーズ第一弾の記事です。 BigQuery歴3年超の私が、SQL書いててよく使うなあって書き方を少しずつ紹介していきたいと思っています。 お題 + 答えSQL + 解説の構成です。 今回のお題はこちら! 100万件の商品に1~100…

【BigQuery】QUALIFYフィルタリングを試してみた

こんにちは、BigQueryで好きな関数、RANK() OVER(PARTITION BY A ORDER BY B)のとりゅふです。 BigQueryでデータ分析といえば、やっぱりWindow関数ですよね。 このWindow関数、今まではSELECT句にしか書けなかったのですが、2021年5月10日にプレビューリリー…

【BigQuery】PIVOT/UNPIVOT演算子を試してみた

2021年7月19日のリリースでGAとなった、PIVOT/UNPIVOT演算子を試しました! cloud.google.com Excelやスプレッドシートで馴染み深いピボットですが、BigQueryには従来は この機能はなかったので、ピボットテーブルを作るときは、クエリの結果をPythonのpanda…

【BigQuery入門】SQLで一般公開データを抽出する

2020年も終わりが見えてきたので、そろそろGoogleが誇る最強のデータウェアハウス、BigQueryを触ってみませんか? GCP、AWS、Azureを始めとしたパブリッククラウドを始め、様々なクラウドサービスが行き交うクラウド戦国時代の今日、 政府もクラウド型システ…