皆さん、データエンジニアという職種、ご存知ですか？ ITエンジニアと一括に言っても、Webエンジニア、社内システムエンジニア、インフラエンジニア、機械学習エンジニアなど、様々な肩書があると思います。 データエンジニアとは、一言で言うと、社内のデー…

おはようございます。以前の記事で、カンバンボードサービス、Atlassian Trelloを使って、ブログの運用タスクを管理している事例についてご紹介しましたが、今回はこのTrelloを、APIで操作する方法についてご紹介します。 www.true-fly.com 上記記事の通り、…

2021/8/13に、GCPのリリースノートが、BigQueryの公開データセットに追加されました。 bigquery-public-data:google_cloud_release_notes.release_notes というテーブルです。 通常のリリースノートは、プロダクト別にページが存在しますが、このテーブルで…

おはようございます。本日のBigQuery演習のテーマはこちら！ SQLで日付毎の気象データから月毎に集計したピボットを作成しよう BigQueryも今年になってPIVOT演算子が実装されました。ピボットというと、Excelやスプレッドシートで馴染み深いものですが、これ…

みなさんおはようございます。MicrosoftがGitHubの買収を発表してから早３年 あまりがたった今… GitHubから楽しいニュースが発表されました。 New shortcut: Press . on any GitHub repo. pic.twitter.com/AHTSDot4qc— GitHub (@github) August 11, 2021 な…

こんにちは、とりゅふです。今回はTwitter APIを30分で申請して利用してみたので、その手順についてまとめました。 Twitter API、ちょっと前までは利用申請するのにそれなりの時間がかかっていたのですが、2021年の今、簡単に利用申請ができるようになってい…

こんにちは、とりゅふです。今回はPythonの開発環境構築についてまとめました。 本日のテーマはこちら！ 1つの端末で複数のプロジェクトを独立した開発環境で開発できるようにする 面倒な環境構築を手順化し、チームメンバーに共有できるようになる Pythonの…

こんにちは、今回は当ブログで利用している、Google Analytics4のデータを、Google BigQueryに連携してみたので、その手順についてまとめました。 ほんの5分程度、画面上で設定をするだけで、Google Analytics4のデータをBigQueryのSQLを使って集計、分析が…

こんにちは、とりゅふです。今日のBigQuerySQL演習ですがその前に… 本日8月6日は、世界ビールの日、だそうです！ 成人済みエンジニアの皆さんはビールお好きですか？ 私もビールは大好きで、クラフトビールも嗜む程度には飲みます。嗜む程度に飲むっていうと…

おはようございます。本日のBigQuery演習のテーマはこちら！ SQLで配列をフラットに加工する BigQueryでは以下のように、配列でデータを持つことができます。データを管理する側としては便利ですが、集計する側からしてみれば使いにくい状態かなと思います。…