AWS AWSの利用額を毎朝メールで受け取る【CloudFormationで組む】
検証環境の消し忘れに気づくため、前日までのAWS利用額を毎朝メールで送る仕組みをCloudFormationで組みました。標準のレポート機能はAPIから作れないこと、Cost Explorerがus-east-1にしか無いこと、SNSのメール購読でつまずいた点をまとめます。
Python
AWS 
AWS Difyのナレッジでブログ記事341本をRAG化する【画面に出るモデルが呼べない罠】
Difyのナレッジ機能で自分のブログ記事341本を取り込み、引用付きで回答するチャットボットを作った記録です。既定の埋め込みモデルがBedrockで呼べず全件エラー、LLMも無言で失敗と、画面に出るモデルと実際に呼べるモデルの食い違いに二度はまりました。切り分け方と回避策をまとめます。
AWS EC2の自動起動・停止をLambda無しで組む【EventBridge Scheduler】
検証用のEC2を土日の日中だけ動かすスケジュールを、EventBridge SchedulerでLambda無しに組んだ記録です。EC2 APIを直接呼べるので関数を書かずに済み、タイムゾーンも指定できるためUTC換算が要りません。停止前に確認すべき課金の落とし穴もまとめます。
Python Python Seleniumでフォームのテキストボックスclearができない時の対応
私の作成していたSeleniumでのプログラムでフォームのテキストボックスの値をリセット(clear)してから入力するようにしていたのですが、サイト側の構成がかわったようでclearが効かなくなってし...
AWS AWS Lambdaでpytestする際のメモ(fixture/mock)
AWS Lambda(+API Gateway)を利用したアプリケーションを作成する際に、よく使うPytestのFixtureやモックの使い方を自分向けにメモしておきます。Pytestの書き方はいつも...
AWS AWS CDKでphase単位でスタックを構築する方法
AWS CDKを使ってAWSのリソース構築などを行っている際に、1つのCDKコードでPhaseに応じて複数のスタックを作成したい場合があります。CloudFormationではParameterなどを...
Python Pythonで改行より前の文字列だけ抽出する
Pythonで改行(\n)が含まれていた場合に、\nより前の文字列だけを抽出したい場合の対応方法についてメモします。reで正規表現を使って抽出import resample_text = "あああ\n...
AWS AWS Lambda PythonでSeleniumとheadless-chromiumを使ってスクレイピングする方法
Seleniumを使ってスクレイピングをするスクリプトをAWS lambda上で動作させる際にハマったのでメモします。ちなみにLambdaのPythonバージョンが3.9だと以下の方法を実施してもSe...
Python BeautifulSoupでよく使うスクレイピングのやり方
「BeautifulSoup」とは、Pythonでスクレイピングするのに便利なライブラリです。「BeautifulSoup」を使うことで簡単にWEBサイト内のデータ解析を行う事ができます。よく使うスク...
Python seleniumでmouseoverする方法
seleniumでスクレイピングをしている際に、マウスオーバーを使う必要があったのでメモです。動的に画像を切り替えしているサイトなどではマウスオーバーを行ってから解析処理する必要があります。selen...
Python Pythonでファイルをzip化する方法
Pythonでファイルをzip化する方法はいくつかありますが、一番簡単なのは「 shutil 」モジュールの make_archiveメソッドを使う方法です。 tmp/test ディレクトリ内のファ...
Python Pythonのosモジュールで実行しているOSの判別をする
Lamdaの関数用のPythonプログラムをWindowsの開発PCで作っている際に、OSの判別がしたくなります。LambdaはAmazonLunuxコンテナで実行されるのでパスなどが異なるのでOSを...
Python Pythonで日付操作（対象月の初日と最終日の取得など）
Pythonで時刻の取得や加算や比較を行う方法について以前にメモしました。今回はさらにもう少し具体的に、月の初日や最終日の取得などの方法についてもメモです。月の初日の取得# 月の初日を返す(1日)de...
Program学習 PythonでTkinerを使ってTimerを作ってみる【その５】
第1回： 第2回： 第3回：第4回： 第5回： <-今回 前回(第4回)の続きになります。最後の「推定終了時刻」を表示する処理を追加します。5-1. 推定の終了時刻を計算するまず「推定」といっているこ...
Python PythonでTkinerを使ってTimerを作ってみる【その４】
第1回： 第2回： 第3回：第4回： <-今回 第5回： 前回(第3回)の続きになります。今回はタイマー0秒になって終了した際の動きを実装します。4-1. タイマー終了時のアクションを設定するタイマー...