おはようございます。以前の記事で、カンバンボードサービス、Atlassian Trelloを使って、ブログの運用タスクを管理している事例についてご紹介しましたが、今回はこのTrelloを、APIで操作する方法についてご紹介します。 www.true-fly.com 上記記事の通り、…
2021/8/13に、GCPのリリースノートが、BigQueryの公開データセットに追加されました。 bigquery-public-data:google_cloud_release_notes.release_notes というテーブルです。 通常のリリースノートは、プロダクト別にページが存在しますが、このテーブルで…
おはようございます。本日のBigQuery演習のテーマはこちら！ SQLで日付毎の気象データから月毎に集計したピボットを作成しよう BigQueryも今年になってPIVOT演算子が実装されました。ピボットというと、Excelやスプレッドシートで馴染み深いものですが、これ…
みなさんおはようございます。MicrosoftがGitHubの買収を発表してから早３年 あまりがたった今… GitHubから楽しいニュースが発表されました。 New shortcut: Press . on any GitHub repo. pic.twitter.com/AHTSDot4qc— GitHub (@github) August 11, 2021 な…
こんにちは、とりゅふです。今回はTwitter APIを30分で申請して利用してみたので、その手順についてまとめました。 Twitter API、ちょっと前までは利用申請するのにそれなりの時間がかかっていたのですが、2021年の今、簡単に利用申請ができるようになってい…
こんにちは、とりゅふです。今回はPythonの開発環境構築についてまとめました。 本日のテーマはこちら！ 1つの端末で複数のプロジェクトを独立した開発環境で開発できるようにする 面倒な環境構築を手順化し、チームメンバーに共有できるようになる Pythonの…
こんにちは、今回は当ブログで利用している、Google Analytics4のデータを、Google BigQueryに連携してみたので、その手順についてまとめました。 ほんの5分程度、画面上で設定をするだけで、Google Analytics4のデータをBigQueryのSQLを使って集計、分析が…
こんにちは、とりゅふです。今日のBigQuerySQL演習ですがその前に… 本日8月6日は、世界ビールの日、だそうです！ 成人済みエンジニアの皆さんはビールお好きですか？ 私もビールは大好きで、クラフトビールも嗜む程度には飲みます。嗜む程度に飲むっていうと…
おはようございます。本日のBigQuery演習のテーマはこちら！ SQLで配列をフラットに加工する BigQueryでは以下のように、配列でデータを持つことができます。データを管理する側としては便利ですが、集計する側からしてみれば使いにくい状態かなと思います。…
こんにちは、前回、前々回に引き続き、VSCodeの拡張機能開発についてまとめました。シンタックスハイライト、コードスニペットに続き、今回はJavaScriptでの拡張機能開発編です！ 今まではノンプログラミングで実装してきましたが、今回からはJavaScriptで実…
こんにちは、前回に引き続き、VSCodeの拡張機能開発についてまとめました。前回はシンタックスハイライト、今回はコードスニペット編です！ コードスニペットとは、以下のような、単語を入力して、よく使う構文などを補完してくる機能です。 コードスニペッ…
こんにちは、好きなエディターはVisual StudioCode(VSCode)のとりゅふです。 皆さん、VSCode使ってますか？統合開発環境としては軽量でシンプルなUIと、豊富な拡張機能が素敵ですよね。 今回はそんなVSCodeの拡張機能の開発方法について学んだのでまとめまし…
こんにちは、とりゅふです。皆さん、開発チームのタスク管理だったり、個人のToDoリストで、どのようなアプリを使っていますか？ 個人で本ブログの運用タスクの管理は、今まではGoogle Keepを用いたTodoリストを利用していたのですが、Atlassianの製品、Trel…
BigQueryの2021.7.27のリリースノートで、INTERVAL型というものがPreview公開されたらしいので試してみました。 Release notes | BigQuery | Google Cloud Intervalというと間隔という意味ですが、ここではどのように使われるのか、実際にSQLを実行しながら…
おはようございます、BigQueryのSQL演習シリーズ第一弾の記事です。 BigQuery歴3年超の私が、SQL書いててよく使うなあって書き方を少しずつ紹介していきたいと思っています。 お題 + 答えSQL + 解説の構成です。 今回のお題はこちら！ 100万件の商品に1~100…
こんにちは、BigQueryで好きな関数、RANK() OVER(PARTITION BY A ORDER BY B)のとりゅふです。 BigQueryでデータ分析といえば、やっぱりWindow関数ですよね。 このWindow関数、今まではSELECT句にしか書けなかったのですが、2021年5月10日にプレビューリリー…
2021年7月19日のリリースでGAとなった、PIVOT/UNPIVOT演算子を試しました！ cloud.google.com Excelやスプレッドシートで馴染み深いピボットですが、BigQueryには従来は この機能はなかったので、ピボットテーブルを作るときは、クエリの結果をPythonのpanda…
皆さん、ブログなどを見るときに、RSSリーダー、使ってますか？ 購読したいサイトのRSSを登録しておいて、新着記事が来たらRSSリーダー内の一覧に表示し、記事を読んでいく、 情報収集ツールとして欠かせないツールですよね。 でも、張り切ってたくさんのサ…
Apache Airflow、Pythonで定義できるワークフローエンジン、使ってますか？ 私はGoogle Cloud PlatformのCloud Composerを利用しているのですが、 毎回GCS上にアップロードして確認するのがなかなか手間で……ローカルでの動作確認環境もちゃんと構築したいと…
こんにちは、とりゅふです。最近駆け出しエンジニアさんを公私ともに見る機会が増えたので、今回は、駆け出しエンジニアが駆け出しエンジニアを卒業したらやるべきことをまとめました。 そもそも駆け出しエンジニアってどうやったら卒業できるのでしょう？私…
こんにちは。今回はPythonの言語仕様的なお話です。 JavaやPHPに詳しいけど、Pythonはそこまで詳しくはないってエンジニアが、Pythonを書き始めるのって、そこまで苦ではないんですよね。かくゆう私も、最初はJavaやC#を学んで、この業界に入りました。 で、…
こんにちは、とりゅふです。みなさん、Pythonでファイルを読み込みする時って普段どのように書きますか？私ならこんな感じで書きます。 with open('text.csv') as f: text = f.read() print(text) withを使ってファイルを開き、中のテキストを取り出し、prin…
今回はPythonにおける例外の発生方法と、例外クラスについてまとめました。 以下の記事の続きになります。例外処理がそもそもわからないという方はまずはこちらをどうぞ。 www.true-fly.com 本記事のコードはすべて、Python 3.7.6で実行しています。 例外の…
プログラム書いている人で、必ずといっても過言ではないくらい躓きがちなものが、エラー、例外処理だと思います。 今回はPythonにおける例外処理の基礎についてまとめました。 本記事のコードはすべて、Python 3.7.6で実行しています。 エラー、例外 SyntaxE…
2020年12月14日20時頃、いつものようにYouTubeを見て、Gmailをチェックし、個人のGCPのプロジェクトをいじって遊んでいた時、Twitterのタイムラインで「YouTube落ちた？」とのツイートが大量に流れてきた。 「え、見れてるよ」構わず視聴を続けた僕だったが…
2020年も終わりが見えてきたので、そろそろGoogleが誇る最強のデータウェアハウス、BigQueryを触ってみませんか？ GCP、AWS、Azureを始めとしたパブリッククラウドを始め、様々なクラウドサービスが行き交うクラウド戦国時代の今日、 政府もクラウド型システ…
Eclipse Theiaは、ポピュラーな統合開発環境であるVisual Studio Codeをベースに、デスクトップやWeb上で動く、オープンソース統合開発環境です。今日はこのEclipse Theiaが使える、Gitpod、Google Cloud Shell2つのクラウド開発環境について紹介します。
2020年も12月になりましたので、この1年間のITエンジニアライフを振り返りました。 ITエンジニア職を目指す学生さんや、非エンジニアでもこの社会状況の中、キャリアチェンジを考えている方々に向けて、いちITエンジニアとして会社で働く僕の働き方の変化に…
少しIT業界に詳しい人とか、そういった人と仕事をしてきた人とプライベートであった時、自分がITエンジニアだと話すと、たまにこう言われます。「PGとSEどっちなの？」と。どうやらITエンジニアには、PG（プログラマー）、SE（システムエンジニア）といった…
プログラミングの基礎を一通り学んだ人が次に学ぶべきことについて、まとめました。変数名の付け方、メソッドの分け方を考えていきましょう。
