とりゅふの森

GCPデータエンジニアとして生きる

Python

Cloud FunctionsでGoogle Search Consoleのデータ収集を完全自動化する

こんにちは、前回はPythonでGoogleサーチコンソールのデータをBigQueryへロードする方法についてご紹介しました。 www.true-fly.com 前回はPythonのプログラムをローカルで実行していましたが、 今回はGCPの各サービスを利用して、日時で自動でデータのロー…

PythonでGoogle Search ConsoleのデータをBigQueryにロードする

こんにちは、今日は、Pythonを使って、Google Search ConsoleのデータをBigQueryにロードする方法についてまとめました。 当ブログの運用でもGoogle Search Consoleを利用しており、本格的に運用を始めてから半年以上が経過したので、普段良く使うBigQueryと…

【Python入門】エラー時の自動リトライの仕組みを実装する

よくプログラムから外部のAPIにリクエストを投げるときに、たまにの接続エラーだったり、Timeoutだったりで、正常なレスポンスが返ってこないことがあります。 でも偶発的なエラーであれば、時間を空けて再試行することで正常な結果が得られることがあります…

【GCP超入門】超小規模Webアプリこそ、Google App Engineを使え!

超小規模Webアプリこそ、Google App Engineを使え! 世の中にはWebアプリケーションを公開する手段はたくさんあります。 GCP、AWSなどのパブリッククラウド、自社サーバやレンタルサーバでの構築などなど……。 さらのGCP一つをとっても、 Compute Engine App …

【2022年版】VSCode + Dockerで最強のPython開発環境を構築する【Remote Development】

こんにちは、2021年もあっというまに年の瀬、師走真っ只中ですね。 今回はPython開発環境構築のお話です。 以前Windowsで最強のPython開発環境をご紹介しました。 www.true-fly.com この環境を用いれば、 1つの端末で複数のプロジェクトを独立した開発環境で…

【Python入門】Pythonのロギングと真剣に向き合う

こんにちは、将来の夢が最近「ログハウスのサウナ小屋を建てたい」に変わった、とりゅふです。 logという単語は、「丸太」という意味なのですが、ITの世界では、情報の履歴、記録といった意味を持ちます。 blogもweb logの略です。 このlogの語源ですが、時…

Cloud Functionsで処理したデータをCloud Firestoreに保存する

おはようございます、今日はGCPのサーバレスサービス、Cloud Functionsと、NoSQLサーバレス、Cloud Firestoreを用いたアプリケーションを作ってみます。 Cloud Functions、Cloud Firestoreについてはそれぞれ以下の記事でもどうぞ。 www.true-fly.com www.tr…

【超入門】Cloud FirestoreをPythonで操作する

前回はGCPのNoSQLサービス、Cloud Firestoreの使い始め、GUIでの操作方法をについてご紹介しました。 www.true-fly.com 本日のテーマはこちら! GCPのNoSQLサービス、Cloud FirestoreをPythonで操作してみよう 今回はプログラムからCloud Firestoreのデータ…

【Cloud Functions】Cloud Schedulerを使って、サーバレス関数をスケジュール実行する【FaaS】

おはようございます!今回は前回に引き続き、GCPのサーバレスサービスCloud Functionsを使って生きます! www.true-fly.com 前回はHTTPリクエストで呼び出す方法についてご紹介しましたが、今回のテーマはこちら! GCPのサーバレスサービス、Google Cloud Fu…

【Google Cloud Functions】Pythonでサーバレスサービスに入門してみる【FaaS】

プログラムを外部に公開する時、必ず必要なものって何でしょうか? そう、実行環境、つまりはサーバーです! しかし、サーバを用意しなくてもプログラムを実行する環境を、GCPやAWSなどのパブリッククラウドサービスは提供してくれます。それがサーバレスサ…

【Python入門】コメントとdocstring

本日はPython入門記事です。 本日のテーマはこちら! Pythonのコメントとdocstringを理解する Pythonのコメントの書き方 ダブルクォーテーション3つはコメント? docstringとは docstringの書き方 docstringをVSCodeで書くなら拡張機能「Python Docstring Ge…

【Python入門】Windows10+pyenv+venvで最強のPython開発環境を構築する【2021年版】

こんにちは、とりゅふです。今回はPythonの開発環境構築についてまとめました。 本日のテーマはこちら! 1つの端末で複数のプロジェクトを独立した開発環境で開発できるようにする 面倒な環境構築を手順化し、チームメンバーに共有できるようになる Pythonの…

Airflow Breezeを使い、Windows10上でAirflowを動かす

Apache Airflow、Pythonで定義できるワークフローエンジン、使ってますか? 私はGoogle Cloud PlatformのCloud Composerを利用しているのですが、 毎回GCS上にアップロードして確認するのがなかなか手間で……ローカルでの動作確認環境もちゃんと構築したいと…

【Python入門】if __name__ == '__main__'ってなに?

こんにちは。今回はPythonの言語仕様的なお話です。 JavaやPHPに詳しいけど、Pythonはそこまで詳しくはないってエンジニアが、Pythonを書き始めるのって、そこまで苦ではないんですよね。かくゆう私も、最初はJavaやC#を学んで、この業界に入りました。 で、…

【Python入門】with構文を使いこなそう

こんにちは、とりゅふです。みなさん、Pythonでファイルを読み込みする時って普段どのように書きますか?私ならこんな感じで書きます。 with open('text.csv') as f: text = f.read() print(text) withを使ってファイルを開き、中のテキストを取り出し、prin…

【Python入門】例外の発生方法と、独自例外クラス

今回はPythonにおける例外の発生方法と、例外クラスについてまとめました。 以下の記事の続きになります。例外処理がそもそもわからないという方はまずはこちらをどうぞ。 www.true-fly.com 本記事のコードはすべて、Python 3.7.6で実行しています。 例外の…

【Python入門】エラー・例外と例外処理のキホンを学ぶ

プログラム書いている人で、必ずといっても過言ではないくらい躓きがちなものが、エラー、例外処理だと思います。 今回はPythonにおける例外処理の基礎についてまとめました。 本記事のコードはすべて、Python 3.7.6で実行しています。 エラー、例外 SyntaxE…