Python Selenium+Python Urllibで画像取得時にエラー(403)への対応
私はSeleniumを使って、とあるフリマサイトの自動操作ツールを作成しています。ツールでは商品画像のURLを取得して、ローカルPC側にダウンロードしている部分があるのですが、最近、画像が取得できなく...
Python
Python 
Code Reactでaxios経由でAWS API Gatewayからデータ取得しようとする時にCORSでエラーになる(POSTの場合)
以前に「Reactでaxios経由でAWS API Gatewayからデータ取得しようとする時にCORSでエラーになる」という記事を書きました。最終的にGETではうまくいっていたのですが、AWS AP...
Code React+TypeScriptでaxiosでパラメータをGETとPOSTで渡す/取得する方法
以前に「React+TypeScriptでaxiosでAPIからデータを取得する」という記事を作成しました。この記事ではGETでAPI経由でjsonデータを取得して表示する、という内容となっていました...
Python Python Seleniumでフォームのテキストボックスclearができない時の対応
私の作成していたSeleniumでのプログラムでフォームのテキストボックスの値をリセット(clear)してから入力するようにしていたのですが、サイト側の構成がかわったようでclearが効かなくなってし...
AWS よく使うAWS CLIのコマンドまとめ
AWSのリソースで開発をしている際によく使うAWS CLIコマンドについて自分用のメモとして残しておきます。※随時更新予定です。基本的にAWS CLIでしか確認できないLocalStackで使う事が多...
AWS AWS Lambdaでpytestする際のメモ(fixture/mock)
AWS Lambda(+API Gateway)を利用したアプリケーションを作成する際に、よく使うPytestのFixtureやモックの使い方を自分向けにメモしておきます。Pytestの書き方はいつも...
AWS AWS CDKでphase単位でスタックを構築する方法
AWS CDKを使ってAWSのリソース構築などを行っている際に、1つのCDKコードでPhaseに応じて複数のスタックを作成したい場合があります。CloudFormationではParameterなどを...
AWS AWS CDKでLambdaLayerもまとめてアップロードする
以前にLambda上でSeleniumとheadless-chromiumを動作させる方法について紹介いたしました。AWS Lambda PythonでSeleniumとheadless-chromi...
AWS PythonのBoto3を使ってS3の署名付き(期限付き)URLを発行する
PythonのS3へローカルのファイルをアップロードする方法についてのメモとなります。 boto3は便利ですね。1. 署名付きURLとは署名付きURLとは、S3バケットへのアクセス権限を持たないユーザ...
Linux Pytestのオプションについてのメモ
Pytestを利用する際のオプションに忘れるので自分用のメモです。1. -v 詳細表示詳細を表示する2. --collect-only実行されるテストの一覧を表示する>pytest --collect...
AWS LocalStackをつかってローカルにAWS開発環境を構築してみた
1. LocalStackとはAWSはクラウドサービスなのでもちろんインターネット経緯で利用いたしますが、 今回紹介するLocalStackを使うことでローカルに擬似的なAWS環境を作ってくれて、AW...
AWS LocalStackで実行しているLambdaからboto3で別のLambdaを呼び出す方法
LocalStackを使ってローカルPC上に開発環境を構築していたのですが、 1つのLambda関数ないからもう一つ別のLambda関数をboto3経緯でInvokeしたかったのですがうまく行かずにハ...
Python SeleniumでSelectボックスの値を指定する方法
SeleniumでSelectボックスの値を指定する方法についてメモとなります。通常の要素と異なり、Selectボックスの値はSelectモジュールを利用します。はじめにSelectモジュールでセレク...
Python Pythonで改行より前の文字列だけ抽出する
Pythonで改行(\n)が含まれていた場合に、\nより前の文字列だけを抽出したい場合の対応方法についてメモします。reで正規表現を使って抽出import resample_text = "あああ\n...
AWS AWS Lambda PythonでSeleniumとheadless-chromiumを使ってスクレイピングする方法
Seleniumを使ってスクレイピングをするスクリプトをAWS lambda上で動作させる際にハマったのでメモします。ちなみにLambdaのPythonバージョンが3.9だと以下の方法を実施してもSe...