とりゅふの森

GCPデータエンジニアとして生きる

2021-07-01から1ヶ月間の記事一覧

【BigQuery】2021.7.27にPreview公開されたINTERVAL型を試してみる

BigQueryの2021.7.27のリリースノートで、INTERVAL型というものがPreview公開されたらしいので試してみました。 Release notes | BigQuery | Google Cloud Intervalというと間隔という意味ですが、ここではどのように使われるのか、実際にSQLを実行しながら…

【BigQuerySQL演習】100万件のデータをランダムソートしよう

おはようございます、BigQueryのSQL演習シリーズ第一弾の記事です。 BigQuery歴3年超の私が、SQL書いててよく使うなあって書き方を少しずつ紹介していきたいと思っています。 お題 + 答えSQL + 解説の構成です。 今回のお題はこちら! 100万件の商品に1~100…

【BigQuery】QUALIFYフィルタリングを試してみた

こんにちは、BigQueryで好きな関数、RANK() OVER(PARTITION BY A ORDER BY B)のとりゅふです。 BigQueryでデータ分析といえば、やっぱりWindow関数ですよね。 このWindow関数、今まではSELECT句にしか書けなかったのですが、2021年5月10日にプレビューリリー…

【BigQuery】PIVOT/UNPIVOT演算子を試してみた

2021年7月19日のリリースでGAとなった、PIVOT/UNPIVOT演算子を試しました! cloud.google.com Excelやスプレッドシートで馴染み深いピボットですが、BigQueryには従来は この機能はなかったので、ピボットテーブルを作るときは、クエリの結果をPythonのpanda…

GASを使ってRSSフィードをGoogleスプレッドシートに出力する

皆さん、ブログなどを見るときに、RSSリーダー、使ってますか? 購読したいサイトのRSSを登録しておいて、新着記事が来たらRSSリーダー内の一覧に表示し、記事を読んでいく、 情報収集ツールとして欠かせないツールですよね。 でも、張り切ってたくさんのサ…

Airflow Breezeを使い、Windows10上でAirflowを動かす

Apache Airflow、Pythonで定義できるワークフローエンジン、使ってますか? 私はGoogle Cloud PlatformのCloud Composerを利用しているのですが、 毎回GCS上にアップロードして確認するのがなかなか手間で……ローカルでの動作確認環境もちゃんと構築したいと…