とりゅふの森

GCPデータエンジニアとして生きる

2021-01-01から1年間の記事一覧

2021年の個人的振り返りと2022年の目標!

こんにちは!2021年最後の投稿になりました。本ブログをご愛読してくださるすべての方々に感謝の1年でした。 そんな色々あったようで色々なかった2021年、最後は今年の自分の振り返りをして納めたいと思います。 2021年の振り返り ブログを本格的に始めた VS…

【2022年版】VSCode + Dockerで最強のPython開発環境を構築する【Remote Development】

こんにちは、2021年もあっというまに年の瀬、師走真っ只中ですね。 今回はPython開発環境構築のお話です。 以前Windowsで最強のPython開発環境をご紹介しました。 www.true-fly.com この環境を用いれば、 1つの端末で複数のプロジェクトを独立した開発環境で…

VSCodeの拡張機能「Visual-BigQuery」を公開しました

かねてより自作していたVisual Studio Code(VSCode)の拡張機能をマーケットプレイスに公開しました! marketplace.visualstudio.com 「Visual-BigQuery」という名前で、BigQuery SQLのシンタックスハイライト、オートコンプリートなどの言語サポート機能を作…

【Python入門】Pythonのロギングと真剣に向き合う

こんにちは、将来の夢が最近「ログハウスのサウナ小屋を建てたい」に変わった、とりゅふです。 logという単語は、「丸太」という意味なのですが、ITの世界では、情報の履歴、記録といった意味を持ちます。 blogもweb logの略です。 このlogの語源ですが、時…

ぼっちSlackはじめました

お久しぶりです、とりゅふです。少し間が空いてしまいましたが、お元気ですか? 今日は個人の開発プロジェクトに、超定番コミュニケーションツール、Slackを導入してみようと思います。 Slackといえば、チームでコミュニケーションを図るためのツールですが…

「キミ、意味多すぎない?」って思うエンジニア用語4選

エンジニアとして働いていると、「キミ、意味多すぎない?」という単語といくつか遭遇します。 そういった言葉は業務中の会話に頻繁に出現します。 しかし、会話の中でふと思うことがあります。 「あれ? 私が思っている単語の意味とちょっと違くない?」 そ…

Cloud Functionsで処理したデータをCloud Firestoreに保存する

おはようございます、今日はGCPのサーバレスサービス、Cloud Functionsと、NoSQLサーバレス、Cloud Firestoreを用いたアプリケーションを作ってみます。 Cloud Functions、Cloud Firestoreについてはそれぞれ以下の記事でもどうぞ。 www.true-fly.com www.tr…

Font Awesomeで自分のWebアプリケーションにイラストやアイコンを導入する

エンジニアがブログだったりWebアプリケーションを作っていると、どうしてもできないものが1つ出てきます。 デザインです。 ということで、今日のテーマはこちら! Font Awesomeで自分のWebアプリケーションにイラストやアイコンを導入してみよう! 元々絵…

【超入門】Cloud FirestoreをPythonで操作する

前回はGCPのNoSQLサービス、Cloud Firestoreの使い始め、GUIでの操作方法をについてご紹介しました。 www.true-fly.com 本日のテーマはこちら! GCPのNoSQLサービス、Cloud FirestoreをPythonで操作してみよう 今回はプログラムからCloud Firestoreのデータ…

【超入門】GCPのNoSQL、Cloud Firestoreを使ってみる

前回の記事で、NoSQLについてご紹介しました。 www.true-fly.com 今日はその中でも、ドキュメント指向データベースである、GCPのCloud Firestoreについてご紹介します! GCPのNoSQL、Cloud Firestoreを使ってみよう! GCPにもBigTableやCloudSQL、Cloud Span…

データエンジニアなら知っておきたい、NoSQLってなに?

今日はRDBと違うデータベース、「NoSQL」についてご紹介します。 データベースというと、OracleやMySQLといったリレーショナルデータベース(RDB)を思い浮かべると思います。 NoSQLとは、「RDBでないデータベース」のことです。 RDBばかり触っている方には…

プログラミング初心者はPythonを学習するのがおすすめな理由

よくプログラミング言語の人気ランキングや求人数、年収、学びたいランキングなどで、Pythonが上位に来ている昨今ですが、こう思ったことはありませんか? Pythonって難しくないの?? 特にこれからプログラミングを学習する人にとって、データ分析にも使え…

はてなブログにVue.jsコンポーネントを導入してHTMLを簡略化しよう!

はてなブログ、HTML、CSS,JavaScriptをブログ全体に追加できたりと、ある程度揃っているブログサービスなのに、カスタマイズできるところもたくさんあって便利ですよね! 今回は、そんなはてなブログに、Vue.jsを導入してみたので、その手順についてご紹介し…

【Cloud Functions】Cloud Schedulerを使って、サーバレス関数をスケジュール実行する【FaaS】

おはようございます!今回は前回に引き続き、GCPのサーバレスサービスCloud Functionsを使って生きます! www.true-fly.com 前回はHTTPリクエストで呼び出す方法についてご紹介しましたが、今回のテーマはこちら! GCPのサーバレスサービス、Google Cloud Fu…

【Google Cloud Functions】Pythonでサーバレスサービスに入門してみる【FaaS】

プログラムを外部に公開する時、必ず必要なものって何でしょうか? そう、実行環境、つまりはサーバーです! しかし、サーバを用意しなくてもプログラムを実行する環境を、GCPやAWSなどのパブリッククラウドサービスは提供してくれます。それがサーバレスサ…

【BigQuery演習】JSON文字列をSQLで展開してみよう!【JSON関数】

おはようございます。本日のBigQuery演習のテーマはこちら! JSON文字列をSQLで展開してみよう! BigQueryはJSONをテーブルにロードする機能がありますが、JSONを文字列としてロードして、SQLで加工することもできます! 例えば以下のようなJSON文字列のデー…

【Python入門】コメントとdocstring

本日はPython入門記事です。 本日のテーマはこちら! Pythonのコメントとdocstringを理解する Pythonのコメントの書き方 ダブルクォーテーション3つはコメント? docstringとは docstringの書き方 docstringをVSCodeで書くなら拡張機能「Python Docstring Ge…

はてなブログの編集画面とプレビュー画面を横並びにする方法【コピペでOK】

はてなブログで記事を執筆する時、編集画面上でMarkdownやはてな記法で記述して、プレビューで確認しながら執筆していくと思います。 プレビュー画面には、別画面で表示できる通常の「プレビュー」と、横並びで表示できる「リアムタイムプレビュー」の2種類…

データ分析基盤開発のスペシャリスト、データエンジニアになろう!

皆さん、データエンジニアという職種、ご存知ですか? ITエンジニアと一括に言っても、Webエンジニア、社内システムエンジニア、インフラエンジニア、機械学習エンジニアなど、様々な肩書があると思います。 データエンジニアとは、一言で言うと、社内のデー…

【Atlassian Trello】APIでカードを操作する【Google Apps Script】

おはようございます。以前の記事で、カンバンボードサービス、Atlassian Trelloを使って、ブログの運用タスクを管理している事例についてご紹介しましたが、今回はこのTrelloを、APIで操作する方法についてご紹介します。 www.true-fly.com 上記記事の通り、…

【BigQuery】GCPのリリースノートを公開データセットから取得してみる

2021/8/13に、GCPのリリースノートが、BigQueryの公開データセットに追加されました。 bigquery-public-data:google_cloud_release_notes.release_notes というテーブルです。 通常のリリースノートは、プロダクト別にページが存在しますが、このテーブルで…

【BigQuery演習】気象データをPIVOTで集計してみよう

おはようございます。本日のBigQuery演習のテーマはこちら! SQLで日付毎の気象データから月毎に集計したピボットを作成しよう BigQueryも今年になってPIVOT演算子が実装されました。ピボットというと、Excelやスプレッドシートで馴染み深いものですが、これ…

もうローカルのエディタはいらない?ブラウザで動くVSCode「github.dev」を試してみた

みなさんおはようございます。MicrosoftがGitHubの買収を発表してから早3年 あまりがたった今… GitHubから楽しいニュースが発表されました。 New shortcut: Press . on any GitHub repo. pic.twitter.com/AHTSDot4qc— GitHub (@github) August 11, 2021 な…

【2021年版】Twitter APIを30分で申請して利用してみた【Google Apps Script】

こんにちは、とりゅふです。今回はTwitter APIを30分で申請して利用してみたので、その手順についてまとめました。 Twitter API、ちょっと前までは利用申請するのにそれなりの時間がかかっていたのですが、2021年の今、簡単に利用申請ができるようになってい…

【Python入門】Windows10+pyenv+venvで最強のPython開発環境を構築する【2021年版】

こんにちは、とりゅふです。今回はPythonの開発環境構築についてまとめました。 本日のテーマはこちら! 1つの端末で複数のプロジェクトを独立した開発環境で開発できるようにする 面倒な環境構築を手順化し、チームメンバーに共有できるようになる Pythonの…

【Google Analytics4】イベントデータをBigQueryに連携する

こんにちは、今回は当ブログで利用している、Google Analytics4のデータを、Google BigQueryに連携してみたので、その手順についてまとめました。 ほんの5分程度、画面上で設定をするだけで、Google Analytics4のデータをBigQueryのSQLを使って集計、分析が…

【BigQuerySQL演習】世界ビールの日なのでブルームーンが次に訪れる日について求めてみよう【特別編】

こんにちは、とりゅふです。今日のBigQuerySQL演習ですがその前に… 本日8月6日は、世界ビールの日、だそうです! 成人済みエンジニアの皆さんはビールお好きですか? 私もビールは大好きで、クラフトビールも嗜む程度には飲みます。嗜む程度に飲むっていうと…

【BigQuery演習】SQLで配列をフラットに加工する

おはようございます。本日のBigQuery演習のテーマはこちら! SQLで配列をフラットに加工する BigQueryでは以下のように、配列でデータを持つことができます。データを管理する側としては便利ですが、集計する側からしてみれば使いにくい状態かなと思います。…

【VSCode】拡張機能の開発を学ぶ(JavaScript Extension編)

こんにちは、前回、前々回に引き続き、VSCodeの拡張機能開発についてまとめました。シンタックスハイライト、コードスニペットに続き、今回はJavaScriptでの拡張機能開発編です! 今まではノンプログラミングで実装してきましたが、今回からはJavaScriptで実…

【VSCode】拡張機能の開発を学ぶ(コードスニペット編)

こんにちは、前回に引き続き、VSCodeの拡張機能開発についてまとめました。前回はシンタックスハイライト、今回はコードスニペット編です! コードスニペットとは、以下のような、単語を入力して、よく使う構文などを補完してくる機能です。 コードスニペッ…