Python

AWS

AWS CDKでphase単位でスタックを構築する方法

AWS CDKを使ってAWSのリソース構築などを行っている際に、1つのCDKコードでPhaseに応じて複数のスタックを作成したい場合があります。 CloudFormationではParamet...
AWS

AWS CDKでLambdaLayerもまとめてアップロードする

以前にLambda上でSeleniumとheadless-chromiumを動作させる方法について紹介いたしました。 AWS Lambda PythonでSeleniumとheadless-c...
AWS

PythonのBoto3を使ってS3の署名付き(期限付き)URLを発行する

PythonのS3へローカルのファイルをアップロードする方法についてのメモとなります。 boto3は便利ですね。 1. 署名付きURLとは 署名付きURLとは、S3バケットへのアクセス権...
スポンサーラベル
Linux

Pytestのオプションについてのメモ

Pytestを利用する際のオプションに忘れるので自分用のメモです。 1. -v 詳細表示 詳細を表示する 2. --collect-only 実行されるテストの一覧を表示...
AWS

LocalStackをつかってローカルにAWS開発環境を構築してみた

1. LocalStackとは AWSはクラウドサービスなのでもちろんインターネット経緯で利用いたしますが、 今回紹介するLocalStackを使うことでローカルに擬似的なAWS環境を作ってく...
AWS

LocalStackで実行しているLambdaからboto3で別のLambdaを呼び出す方法

LocalStackを使ってローカルPC上に開発環境を構築していたのですが、 1つのLambda関数ないからもう一つ別のLambda関数をboto3経緯でInvokeしたかったのですがうまく行かずに...
Python

SeleniumでSelectボックスの値を指定する方法

SeleniumでSelectボックスの値を指定する方法についてメモとなります。 通常の要素と異なり、Selectボックスの値はSelectモジュールを利用します。 はじめにSelect...
Python

Pythonで改行より前の文字列だけ抽出する

Pythonで改行(\n)が含まれていた場合に、\nより前の文字列だけを抽出したい場合の対応方法についてメモします。 reで正規表現を使って抽出 import re sample_...
AWS

AWS Lambda PythonでSeleniumとheadless-chromiumを使ってスクレイピングする方法

Seleniumを使ってスクレイピングをするスクリプトをAWS lambda上で動作させる際にハマったのでメモします。 ちなみにLambdaのPythonバージョンが3.9だと以下の方法を実施...
Python

BeautifulSoupでよく使うスクレイピングのやり方

「BeautifulSoup」とは、Pythonでスクレイピングするのに便利なライブラリです。 「BeautifulSoup」を使うことで簡単にWEBサイト内のデータ解析を行う事ができます。 ...
Python

seleniumでmouseoverする方法

seleniumでスクレイピングをしている際に、マウスオーバーを使う必要があったのでメモです。 動的に画像を切り替えしているサイトなどではマウスオーバーを行ってから解析処理する必要があります。...
Python

webdriver-mangerでSeleniumのChromeDriverを自動更新する

現在Seleniumを利用してツールを作っていたのですが、Chromeのバージョンが上がったタイミングで使っていたChromeDriverも更新する必要があります。 少し面倒だと思っていたとこ...
AWS

PyCharmにCloudFormation構文チェックのためcfn-lintプラグインを導入(Windows)

cfn-lintを使うことでCloudFormationのテンプレートの構文チェックを行う事ができます。 これまでプロジェクトには基本的にCIの中で自動実行していました。 ただ、それだと...
IaC

AnsibleでOpenVPNのインストールをコード化する

以前に紹介した以下の記事で、AWS上のAmazonLinux2にOpenVPNサーバを構築しました。 AWS上のEC2でOpenVPNサーバを構築する ただし、OpenVPNサーバを構築...
IaC

EC2インスタンスとして構築したAmazonLinux2へAnsibleをインストール(virtualenv)

前回、EC2インスタンスとして構築したAmazonLinux2へのAnsibleのインストール方法についてメモしました。 EC2インスタンスとして構築したAmazonLinux2へAnsibl...
スポンサーラベル
タイトルとURLをコピーしました