Linux Pytestのオプションについてのメモ
Pytestを利用する際のオプションに忘れるので自分用のメモです。1. -v 詳細表示詳細を表示する2. --collect-only実行されるテストの一覧を表示する>pytest --collect...
Python
Linux 
AWS LocalStackをつかってローカルにAWS開発環境を構築してみた
1. LocalStackとはAWSはクラウドサービスなのでもちろんインターネット経緯で利用いたしますが、 今回紹介するLocalStackを使うことでローカルに擬似的なAWS環境を作ってくれて、AW...
AWS LocalStackで実行しているLambdaからboto3で別のLambdaを呼び出す方法
LocalStackを使ってローカルPC上に開発環境を構築していたのですが、 1つのLambda関数ないからもう一つ別のLambda関数をboto3経緯でInvokeしたかったのですがうまく行かずにハ...
Python SeleniumでSelectボックスの値を指定する方法
SeleniumでSelectボックスの値を指定する方法についてメモとなります。通常の要素と異なり、Selectボックスの値はSelectモジュールを利用します。はじめにSelectモジュールでセレク...
Python Pythonで改行より前の文字列だけ抽出する
Pythonで改行(\n)が含まれていた場合に、\nより前の文字列だけを抽出したい場合の対応方法についてメモします。reで正規表現を使って抽出import resample_text = "あああ\n...
AWS AWS Lambda PythonでSeleniumとheadless-chromiumを使ってスクレイピングする方法
Seleniumを使ってスクレイピングをするスクリプトをAWS lambda上で動作させる際にハマったのでメモします。ちなみにLambdaのPythonバージョンが3.9だと以下の方法を実施してもSe...
Python BeautifulSoupでよく使うスクレイピングのやり方
「BeautifulSoup」とは、Pythonでスクレイピングするのに便利なライブラリです。「BeautifulSoup」を使うことで簡単にWEBサイト内のデータ解析を行う事ができます。よく使うスク...
Python seleniumでmouseoverする方法
seleniumでスクレイピングをしている際に、マウスオーバーを使う必要があったのでメモです。動的に画像を切り替えしているサイトなどではマウスオーバーを行ってから解析処理する必要があります。selen...
Python webdriver-mangerでSeleniumのChromeDriverを自動更新する
現在Seleniumを利用してツールを作っていたのですが、Chromeのバージョンが上がったタイミングで使っていたChromeDriverも更新する必要があります。少し面倒だと思っていたところ、「we...
AWS PyCharmにCloudFormation構文チェックのためcfn-lintプラグインを導入(Windows)
cfn-lintを使うことでCloudFormationのテンプレートの構文チェックを行う事ができます。これまでプロジェクトには基本的にCIの中で自動実行していました。ただ、それだとPushしないとc...
IaC AnsibleでOpenVPNのインストールをコード化する
以前に紹介した以下の記事で、AWS上のAmazonLinux2にOpenVPNサーバを構築しました。AWS上のEC2でOpenVPNサーバを構築するただし、OpenVPNサーバを構築するには証明局や証...
IaC EC2インスタンスとして構築したAmazonLinux2へAnsibleをインストール(virtualenv)
前回、EC2インスタンスとして構築したAmazonLinux2へのAnsibleのインストール方法についてメモしました。EC2インスタンスとして構築したAmazonLinux2へAnsibleをインス...
Python Pythonでファイルをzip化する方法
Pythonでファイルをzip化する方法はいくつかありますが、一番簡単なのは「 shutil 」モジュールの make_archiveメソッドを使う方法です。 tmp/test ディレクトリ内のファ...
Python curlでログオンフォーム認証をしてページへアクセス(csrfにも対策)
以前の記事でcurlの使い方について書きましたが、今回はcurlを実践的に使っていきます。curlでページアクセスしたい場合、単純なアクセスだけであれば以下のようにするだけで簡単にアクセスできます。c...
Program学習 PycharmのMarkdown設定で拡張(PlantUML/Mermaid)が表示されない
表題の通りです。私の開発環境は3環境くらいあって、すべてPycharmを利用しているのですが、その中の1台のPycharmのMarkdown設定にある「拡張(PlantUML/Mermaid)」が表示...