AWSLacalStackでLambda Layerを使うにはPro版以上が必要だった・・・
LcalStackが便利なのですが、LocalStackでLambdaLayerをアップしようとしたらなぜか関数に紐づかないから調べたらショック、ということでメモです。 まぁ世の中そういうもん...
Code
AWS
AWSLocalStackをつかってローカルにAWS開発環境を構築してみた
1. LocalStackとは AWSはクラウドサービスなのでもちろんインターネット経緯で利用いたしますが、 今回紹介するLocalStackを使うことでローカルに擬似的なAWS環境を作ってく...
AWSLocalStackで実行しているLambdaからboto3で別のLambdaを呼び出す方法
LocalStackを使ってローカルPC上に開発環境を構築していたのですが、 1つのLambda関数ないからもう一つ別のLambda関数をboto3経緯でInvokeしたかったのですがうまく行かずに...
AWS長いコマンドを複数行に分割して実行する方法(Windows)
コマンドが長くなる場合に、コマンドを複数行に分けて見やすくしたいことがあるかと思います。 私の場合にはAWS CLIなどを使う際にかなり長くなるので分割したいことがよくあります。 以前はMac...
PythonSeleniumでSelectボックスの値を指定する方法
SeleniumでSelectボックスの値を指定する方法についてメモとなります。 通常の要素と異なり、Selectボックスの値はSelectモジュールを利用します。 はじめにSelect...
PythonPythonで改行より前の文字列だけ抽出する
Pythonで改行(\n)が含まれていた場合に、\nより前の文字列だけを抽出したい場合の対応方法についてメモします。 reで正規表現を使って抽出 import re sample_...
AWSAWS Lambda PythonでSeleniumとheadless-chromiumを使ってスクレイピングする方法
Seleniumを使ってスクレイピングをするスクリプトをAWS lambda上で動作させる際にハマったのでメモします。 ちなみにLambdaのPythonバージョンが3.9だと以下の方法を実施...
PythonBeautifulSoupでよく使うスクレイピングのやり方
「BeautifulSoup」とは、Pythonでスクレイピングするのに便利なライブラリです。 「BeautifulSoup」を使うことで簡単にWEBサイト内のデータ解析を行う事ができます。 ...
Pythonseleniumでmouseoverする方法
seleniumでスクレイピングをしている際に、マウスオーバーを使う必要があったのでメモです。 動的に画像を切り替えしているサイトなどではマウスオーバーを行ってから解析処理する必要があります。...
Pythonwebdriver-mangerでSeleniumのChromeDriverを自動更新する
現在Seleniumを利用してツールを作っていたのですが、Chromeのバージョンが上がったタイミングで使っていたChromeDriverも更新する必要があります。 少し面倒だと思っていたとこ...
AWSAWS CDKを使ってEC2の起動と停止を自動化してみた(python)
LambdaとEventBridgeでEC2電源操作(起動と停止)を自動化し、それをAWS CDKでPythonでコード化してみました。 Lambdaで特定のタグを持つ EC2 インスタンスの...
AWSAWS LambdaのDeployをAWS CLI経由で行う方法
AWS CDKでLambda関数をPythonを作成したのですが、CDKではインフラ構成変更は更新されますが、関数自体は更新してくれないようです。。。確かにCDKでは関数の内容までは検知しませんよね...
AWSAWS CDKをバージョンアップしてみる(windows)
aws cdkを利用していて、初回のcdk boorstrapしようとしたら以下のエラーがでてバージョンアップしろと怒られました。なのでバージョンアップしてみます。 ちなみにwindowsにイ...
AWSWindowsのAWS CLIにprofileを追加する
複数リージョンで使いたかったのでprofileを複数持ちたい場合の対応です。メモです。 こちらのAWSに書いてある方法です。 credentialファイル 場所：%USERPROF...
AWSPyCharmにCloudFormation構文チェックのためcfn-lintプラグインを導入(Windows)
cfn-lintを使うことでCloudFormationのテンプレートの構文チェックを行う事ができます。 これまでプロジェクトには基本的にCIの中で自動実行していました。 ただ、それだと...