AWS AWS Lambda PythonでSeleniumとheadless-chromiumを使ってスクレイピングする方法
Seleniumを使ってスクレイピングをするスクリプトをAWS lambda上で動作させる際にハマったのでメモします。ちなみにLambdaのPythonバージョンが3.9だと以下の方法を実施してもSe...
AWS 
AWS AWS CLIでCloudWatch Logsのログをリアルタイムで確認する
AWSでLambdaなどの開発を行っていると、Cloudwatch logsのログを確認したいと思う場合が多々あります。 aws logs tail --follow を使うことでいい感じにリアルタイ...
Python BeautifulSoupでよく使うスクレイピングのやり方
「BeautifulSoup」とは、Pythonでスクレイピングするのに便利なライブラリです。「BeautifulSoup」を使うことで簡単にWEBサイト内のデータ解析を行う事ができます。よく使うスク...
Python seleniumでmouseoverする方法
seleniumでスクレイピングをしている際に、マウスオーバーを使う必要があったのでメモです。動的に画像を切り替えしているサイトなどではマウスオーバーを行ってから解析処理する必要があります。selen...
Python webdriver-mangerでSeleniumのChromeDriverを自動更新する
現在Seleniumを利用してツールを作っていたのですが、Chromeのバージョンが上がったタイミングで使っていたChromeDriverも更新する必要があります。少し面倒だと思っていたところ、「we...
AWS AWS CDKを使ってEC2の起動と停止を自動化してみた(python)
LambdaとEventBridgeでEC2電源操作(起動と停止)を自動化し、それをAWS CDKでPythonでコード化してみました。Lambdaで特定のタグを持つ EC2 インスタンスの自動起動・...
AWS AWS LambdaのDeployをAWS CLI経由で行う方法
AWS CDKでLambda関数をPythonを作成したのですが、CDKではインフラ構成変更は更新されますが、関数自体は更新してくれないようです。。。確かにCDKでは関数の内容までは検知しませんよね。...
AWS AWS CDKをバージョンアップしてみる(windows)
aws cdkを利用していて、初回のcdk boorstrapしようとしたら以下のエラーがでてバージョンアップしろと怒られました。なのでバージョンアップしてみます。ちなみにwindowsにインストール...
AWS WindowsのAWS CLIにprofileを追加する
複数リージョンで使いたかったのでprofileを複数持ちたい場合の対応です。メモです。こちらのAWSに書いてある方法です。credentialファイル場所：%USERPROFILE%\.aws\cre...
AWS PyCharmにCloudFormation構文チェックのためcfn-lintプラグインを導入(Windows)
cfn-lintを使うことでCloudFormationのテンプレートの構文チェックを行う事ができます。これまでプロジェクトには基本的にCIの中で自動実行していました。ただ、それだとPushしないとc...
IaC CodeBuildでcfn-lintを実行するbuildspec.yml
CodeBuildでcfn-lintを実行するbuildspec.ymlについて自分用のメモです。cfn-lintで失敗しても無視してクリアしてほしいのですがうまくできなったので、とりあえずecho ...
AWS CloudFormationとAnsibleでEC2インスタンス構築時にOpenVPN構築してみた
以前に紹介した以下の記事で、AWS上のAmazonLinux2にOpenVPNサーバを構築しました。AWS上のEC2でOpenVPNサーバを構築するさらに以下の記事ではAnsibleを使ってコードによ...
IaC AnsibleでOpenVPNのインストールをコード化する
以前に紹介した以下の記事で、AWS上のAmazonLinux2にOpenVPNサーバを構築しました。AWS上のEC2でOpenVPNサーバを構築するただし、OpenVPNサーバを構築するには証明局や証...
Linux grepコマンドで#や；、空行を取り除く方法
grepコマンドで「#」や「；」で始まる行と、空行を取り除く方法についての自分用のメモです。# cat <ファイル> | grep -ve '^#' -ve '^\s*$' -ve '^;'今回は以上...
AWS openvpn構築の際のエラーログ対応
以前にOpenVPNサーバをAWSのEC2上に構築したのですが、その際に少しはまったエラーについて自分用のメモです。AWS上のEC2でOpenVPNサーバを構築する 1. WARNING: Bad e...