AWS

AWS Lambda PythonでSeleniumとheadless-chromiumを使ってスクレイピングする方法

Seleniumを使ってスクレイピングをするスクリプトをAWS lambda上で動作させる際にハマったのでメモします。 ちなみにLambdaのPythonバージョンが3.9だと以下の方法を実施...
AWS

AWS CLIでCloudWatch Logsのログをリアルタイムで確認する

AWSでLambdaなどの開発を行っていると、Cloudwatch logsのログを確認したいと思う場合が多々あります。 aws logs tail --follow を使うことでいい感じ...
Python

BeautifulSoupでよく使うスクレイピングのやり方

「BeautifulSoup」とは、Pythonでスクレイピングするのに便利なライブラリです。 「BeautifulSoup」を使うことで簡単にWEBサイト内のデータ解析を行う事ができます。 ...
スポンサーラベル
Python

seleniumでmouseoverする方法

seleniumでスクレイピングをしている際に、マウスオーバーを使う必要があったのでメモです。 動的に画像を切り替えしているサイトなどではマウスオーバーを行ってから解析処理する必要があります。...
Python

webdriver-mangerでSeleniumのChromeDriverを自動更新する

現在Seleniumを利用してツールを作っていたのですが、Chromeのバージョンが上がったタイミングで使っていたChromeDriverも更新する必要があります。 少し面倒だと思っていたとこ...
AWS

AWS CDKを使ってEC2の起動と停止を自動化してみた(python)

LambdaとEventBridgeでEC2電源操作(起動と停止)を自動化し、それをAWS CDKでPythonでコード化してみました。 Lambdaで特定のタグを持つ EC2 インスタンスの...
AWS

AWS LambdaのDeployをAWS CLI経由で行う方法

AWS CDKでLambda関数をPythonを作成したのですが、CDKではインフラ構成変更は更新されますが、関数自体は更新してくれないようです。。。確かにCDKでは関数の内容までは検知しませんよね...
AWS

AWS CDKをバージョンアップしてみる(windows)

aws cdkを利用していて、初回のcdk boorstrapしようとしたら以下のエラーがでてバージョンアップしろと怒られました。なのでバージョンアップしてみます。 ちなみにwindowsにイ...
AWS

WindowsのAWS CLIにprofileを追加する

複数リージョンで使いたかったのでprofileを複数持ちたい場合の対応です。メモです。 こちらのAWSに書いてある方法です。 credentialファイル 場所:%USERPROF...
AWS

PyCharmにCloudFormation構文チェックのためcfn-lintプラグインを導入(Windows)

cfn-lintを使うことでCloudFormationのテンプレートの構文チェックを行う事ができます。 これまでプロジェクトには基本的にCIの中で自動実行していました。 ただ、それだと...
IaC

CodeBuildでcfn-lintを実行するbuildspec.yml

CodeBuildでcfn-lintを実行するbuildspec.ymlについて自分用のメモです。 cfn-lintで失敗しても無視してクリアしてほしいのですがうまくできなったので、とりあえず...
AWS

CloudFormationとAnsibleでEC2インスタンス構築時にOpenVPN構築してみた

以前に紹介した以下の記事で、AWS上のAmazonLinux2にOpenVPNサーバを構築しました。 AWS上のEC2でOpenVPNサーバを構築する さらに以下の記事ではAnsible...
IaC

AnsibleでOpenVPNのインストールをコード化する

以前に紹介した以下の記事で、AWS上のAmazonLinux2にOpenVPNサーバを構築しました。 AWS上のEC2でOpenVPNサーバを構築する ただし、OpenVPNサーバを構築...
Linux

grepコマンドで#や;、空行を取り除く方法

grepコマンドで「#」や「;」で始まる行と、空行を取り除く方法についての自分用のメモです。 # cat <ファイル> | grep -ve '^#' -ve '^\s*$' -ve '...
AWS

openvpn構築の際のエラーログ対応

以前にOpenVPNサーバをAWSのEC2上に構築したのですが、その際に少しはまったエラーについて自分用のメモです。 AWS上のEC2でOpenVPNサーバを構築する  1. WARNI...
スポンサーラベル
タイトルとURLをコピーしました