とりゅふの森

GCPデータエンジニアとして生きる

【BigQuery演習】JSON文字列をSQLで展開してみよう!【JSON関数】

おはようございます。本日のBigQuery演習のテーマはこちら! JSON文字列をSQLで展開してみよう! BigQueryはJSONをテーブルにロードする機能がありますが、JSONを文字列としてロードして、SQLで加工することもできます! 例えば以下のようなJSON文字列のデー…

【Python入門】コメントとdocstring

本日はPython入門記事です。 本日のテーマはこちら! Pythonのコメントとdocstringを理解する Pythonのコメントの書き方 ダブルクォーテーション3つはコメント? docstringとは docstringの書き方 docstringをVSCodeで書くなら拡張機能「Python Docstring Ge…

はてなブログの編集画面とプレビュー画面を横並びにする方法【コピペでOK】

はてなブログで記事を執筆する時、編集画面上でMarkdownやはてな記法で記述して、プレビューで確認しながら執筆していくと思います。 プレビュー画面には、別画面で表示できる通常の「プレビュー」と、横並びで表示できる「リアムタイムプレビュー」の2種類…

データ分析基盤開発のスペシャリスト、データエンジニアになろう!

皆さん、データエンジニアという職種、ご存知ですか? ITエンジニアと一括に言っても、Webエンジニア、社内システムエンジニア、インフラエンジニア、機械学習エンジニアなど、様々な肩書があると思います。 データエンジニアとは、一言で言うと、社内のデー…

【Atlassian Trello】APIでカードを操作する【Google Apps Script】

おはようございます。以前の記事で、カンバンボードサービス、Atlassian Trelloを使って、ブログの運用タスクを管理している事例についてご紹介しましたが、今回はこのTrelloを、APIで操作する方法についてご紹介します。 www.true-fly.com 上記記事の通り、…

【BigQuery】GCPのリリースノートを公開データセットから取得してみる

2021/8/13に、GCPのリリースノートが、BigQueryの公開データセットに追加されました。 bigquery-public-data:google_cloud_release_notes.release_notes というテーブルです。 通常のリリースノートは、プロダクト別にページが存在しますが、このテーブルで…

【BigQuery演習】気象データをPIVOTで集計してみよう

おはようございます。本日のBigQuery演習のテーマはこちら! SQLで日付毎の気象データから月毎に集計したピボットを作成しよう BigQueryも今年になってPIVOT演算子が実装されました。ピボットというと、Excelやスプレッドシートで馴染み深いものですが、これ…

もうローカルのエディタはいらない?ブラウザで動くVSCode「github.dev」を試してみた

みなさんおはようございます。MicrosoftがGitHubの買収を発表してから早3年 あまりがたった今… GitHubから楽しいニュースが発表されました。 New shortcut: Press . on any GitHub repo. pic.twitter.com/AHTSDot4qc— GitHub (@github) August 11, 2021 な…

【2021年版】Twitter APIを30分で申請して利用してみた【Google Apps Script】

こんにちは、とりゅふです。今回はTwitter APIを30分で申請して利用してみたので、その手順についてまとめました。 Twitter API、ちょっと前までは利用申請するのにそれなりの時間がかかっていたのですが、2021年の今、簡単に利用申請ができるようになってい…

【Python入門】Windows10+pyenv+venvで最強のPython開発環境を構築する【2021年版】

こんにちは、とりゅふです。今回はPythonの開発環境構築についてまとめました。 本日のテーマはこちら! 1つの端末で複数のプロジェクトを独立した開発環境で開発できるようにする 面倒な環境構築を手順化し、チームメンバーに共有できるようになる Pythonの…