AWS RDSのディスク残り容量をCloudWatchで監視し、しきい値を超えたSNSでアラームを飛ばす仕組みをCloudFormationで作成してみました。 前提 RDSインスタンスは作成済み (本記事はPostgreSQLで試しました) アラーム通知先となるSNS Topicは作成済み CloudFor…

AtCoderの5回目の参加となった2020/10/10 HHKB2020の記録です。 3完でした。 4問目(D)は解法はわかったものの、コードを書ききれずにあきらめてしまいました。 5問目(E)は後日解説を見ずに解けました。競技中Dを飛ばして先にEをやっていればよかったです。 …

Parquetファイルを生成するサンプルJavaコードを書きました。 以下の記事を参考にしました。 How To Generate Parquet Files in Java - The Tech Check ソースファイル Main.java pom.xml 実行 Parquetファイルの中身を確認 ソースファイル Javaのソース1つ…

以前、AWS RDS PostgreSQLのクエリログをawscliで取得するワンライナーという記事で、RDSのインスタンスにあるログファイルを一括で取得する方法を書きました。しかしこのワンライナーでは、1MBを超えるログですと先頭の1MBしか取得できず、途切れてしまいま…

以前の記事(PostgreSQLの各テーブルのレコード数とデータ容量の概数を調べるには)でテーブルごとのサイズを調べる方法を書きましたが、PostgreSQLのデータベースごとのサイズを調べる方法も併せて書いておきます。 データベースのサイズ SELECT pg_database_…

Parquet Toolsを使おうとするたびにコンパイルエラーに悩んでいる気がします。 現時点(2020/10/25)でコンパイル成功したパターンを書いておきます。 前提 ダウンロードとビルド 使ってみる catコマンド headコマンド schemaコマンド metaコマンド dumpコマン…

AtCoderの4回目の参加となった2020/10/03 ARC104の記録です。 2完でした。 2問目のACまでに20分も消費してしまいました。 その後約40分をCに時間かけ、コードを書きましたが、最後まで書ききれずに、提出することなくあきらめてDに移りました。 Dでも残り時…

curlコマンドまたはwgetコマンドを使い、HTTP(S) POSTメソッドのリクエスト本体でバイナリを送る方法です。 httpbin curlコマンド wgetコマンド httpbin HTTP(S)の通信をテストするには httpbin というサイトが便利です。 httpbin.org 以下のようにhttpbinに…

API Gateway + Lambdaの同じ構成をSAMとCloudFormationの2通りで作成しました。 SAMのほうが簡単に作成できるのですが、細かい設定が中途半端に隠蔽されている感じが好きではないです。 CloudFormationのほうがテンプレートが長いのですが、細かい設定ができ…

JavaScriptのAWS SDKを使って、S3にある画像ファイルをブラウザから直接取得して表示してみました。 前提 S3バケットのCORS設定 ソースコード index.html lib.js 実行 前提 S3バケットに画像ファイルが保存されています。 S3バケットはパブリックアクセスを…

AtCoderの3回目の参加となった2020/09/19のABC179の記録です。 1回目参加の記事 (3完: Scala, Scala, Java) 2回目参加の記事 (5完: Python, Scala, Scala, C++, Scala) 3完でした。4問目と5問目は、どちらもコードを書きましたが、時間内に正答に至りません…

前回の記事に続いて、今回は隠れ層のニューロンの数と精度の関係を見てみました。 size hidden_size process_time train_loss train_accuracy test_loss test_accuracy 60000 [8] 29.06 0.2370 0.9328 0.2473 0.9296 60000 [64] 44.79 0.0208 0.9942 0.0928 …

AtCoderの2回目の参加となった2020/09/13のABC178の記録です。約1ヶ月前のことです。 初参加の記事 5問目まで解法を偶然すぐに思いつくことができましたので、奇跡的に成績がよかった回となりました。 正答を出せた5問で使った言語はPython、Scala、Scala、C…

単一ファイルを置換する場合 バックアップを残したい場合 ディレクトリ内の全ファイルを置換したい場合 findコマンドとxargsコマンドを併用 grepコマンドも併用 全置換が怖いからバックアップを残したい sedのバックアップオプション ディレクトリごとバック…

前回のGoogle Cloud DataflowをJavaで動かしてみるに続き、次はPythonで試しました。 前提 チュートリアルに従ってGCPプロジェクトでAPI有効化されていること GCPの中のCompute Engineのインスタンスで作業 Pythonインストール済み (3.8.1で作業しました) Py…

C#をほとんど触ったことがないので、手元のUbuntu 20.04に入れてHelloWorldを書きました。そしてC#のAWS SDKをインストールしてAWSのAPIにアクセスしてみました。 環境はUbuntu 20.04です。 C#のインストール C#のHelloWorld C# AWS SDKのインストール C#か…

Google Cloud Dataflowを試してみるべく、GCP公式サイトにあるチュートリアルをやりました。 Java と Apache Maven を使用したクイックスタート | Cloud Dataflow | Google Cloud このチュートリアルでダウンロードできるJavaのソースコードはファイル数が多…

fluentdでS3に出力させるにはS3のキーがユニークになるようにする必要がある。ランダム値を使い、重複時はリトライをさせればユニークになるだろうと思ったが、hex_randomはリトライをしても値が変わらないので、ダメだった、という話。 time_sliceの時間内…

8月終わりごろからAtCoderに参加しています。参加の記録を残しておこうと思い、この記事は初参加となった2020/08/29のABC177の記録です。 参加当日は、ペナルティのルールをよくわかっていなくて、C問題で適当に提出しすぎて、大量のペナルティで損をしまし…