とりゅふの森

GCPデータエンジニアとして生きる

2021-01-01から1年間の記事一覧

【VSCode】拡張機能の開発を学ぶ(プロジェクト作成~シンタックスハイライト編)

こんにちは、好きなエディターはVisual StudioCode(VSCode)のとりゅふです。 皆さん、VSCode使ってますか?統合開発環境としては軽量でシンプルなUIと、豊富な拡張機能が素敵ですよね。 今回はそんなVSCodeの拡張機能の開発方法について学んだのでまとめまし…

【Atlassian Trello】カンバンでブログ運用タスクを管理する

こんにちは、とりゅふです。皆さん、開発チームのタスク管理だったり、個人のToDoリストで、どのようなアプリを使っていますか? 個人で本ブログの運用タスクの管理は、今まではGoogle Keepを用いたTodoリストを利用していたのですが、Atlassianの製品、Trel…

【BigQuery】2021.7.27にPreview公開されたINTERVAL型を試してみる

BigQueryの2021.7.27のリリースノートで、INTERVAL型というものがPreview公開されたらしいので試してみました。 Release notes | BigQuery | Google Cloud Intervalというと間隔という意味ですが、ここではどのように使われるのか、実際にSQLを実行しながら…

【BigQuerySQL演習】100万件のデータをランダムソートしよう

おはようございます、BigQueryのSQL演習シリーズ第一弾の記事です。 BigQuery歴3年超の私が、SQL書いててよく使うなあって書き方を少しずつ紹介していきたいと思っています。 お題 + 答えSQL + 解説の構成です。 今回のお題はこちら! 100万件の商品に1~100…

【BigQuery】QUALIFYフィルタリングを試してみた

こんにちは、BigQueryで好きな関数、RANK() OVER(PARTITION BY A ORDER BY B)のとりゅふです。 BigQueryでデータ分析といえば、やっぱりWindow関数ですよね。 このWindow関数、今まではSELECT句にしか書けなかったのですが、2021年5月10日にプレビューリリー…

【BigQuery】PIVOT/UNPIVOT演算子を試してみた

2021年7月19日のリリースでGAとなった、PIVOT/UNPIVOT演算子を試しました! cloud.google.com Excelやスプレッドシートで馴染み深いピボットですが、BigQueryには従来は この機能はなかったので、ピボットテーブルを作るときは、クエリの結果をPythonのpanda…

GASを使ってRSSフィードをGoogleスプレッドシートに出力する

皆さん、ブログなどを見るときに、RSSリーダー、使ってますか? 購読したいサイトのRSSを登録しておいて、新着記事が来たらRSSリーダー内の一覧に表示し、記事を読んでいく、 情報収集ツールとして欠かせないツールですよね。 でも、張り切ってたくさんのサ…

Airflow Breezeを使い、Windows10上でAirflowを動かす

Apache Airflow、Pythonで定義できるワークフローエンジン、使ってますか? 私はGoogle Cloud PlatformのCloud Composerを利用しているのですが、 毎回GCS上にアップロードして確認するのがなかなか手間で……ローカルでの動作確認環境もちゃんと構築したいと…

駆け出しエンジニアを卒業したら次に学ぶべきこと2つ

こんにちは、とりゅふです。最近駆け出しエンジニアさんを公私ともに見る機会が増えたので、今回は、駆け出しエンジニアが駆け出しエンジニアを卒業したらやるべきことをまとめました。 そもそも駆け出しエンジニアってどうやったら卒業できるのでしょう?私…

【Python入門】if __name__ == '__main__'ってなに?

こんにちは。今回はPythonの言語仕様的なお話です。 JavaやPHPに詳しいけど、Pythonはそこまで詳しくはないってエンジニアが、Pythonを書き始めるのって、そこまで苦ではないんですよね。かくゆう私も、最初はJavaやC#を学んで、この業界に入りました。 で、…

【Python入門】with構文を使いこなそう

こんにちは、とりゅふです。みなさん、Pythonでファイルを読み込みする時って普段どのように書きますか?私ならこんな感じで書きます。 with open('text.csv') as f: text = f.read() print(text) withを使ってファイルを開き、中のテキストを取り出し、prin…

【Python入門】例外の発生方法と、独自例外クラス

今回はPythonにおける例外の発生方法と、例外クラスについてまとめました。 以下の記事の続きになります。例外処理がそもそもわからないという方はまずはこちらをどうぞ。 www.true-fly.com 本記事のコードはすべて、Python 3.7.6で実行しています。 例外の…

【Python入門】エラー・例外と例外処理のキホンを学ぶ

プログラム書いている人で、必ずといっても過言ではないくらい躓きがちなものが、エラー、例外処理だと思います。 今回はPythonにおける例外処理の基礎についてまとめました。 本記事のコードはすべて、Python 3.7.6で実行しています。 エラー、例外 SyntaxE…