C#をほとんど触ったことがないので、手元のUbuntu 20.04に入れてHelloWorldを書きました。そしてC#のAWS SDKをインストールしてAWSのAPIにアクセスしてみました。 環境はUbuntu 20.04です。 C#のインストール C#のHelloWorld C# AWS SDKのインストール C#か…

fluentdでS3に出力させるにはS3のキーがユニークになるようにする必要がある。ランダム値を使い、重複時はリトライをさせればユニークになるだろうと思ったが、hex_randomはリトライをしても値が変わらないので、ダメだった、という話。 time_sliceの時間内…

fluentdでログをS3にJSONL(JSON Lines)でアップロードするところまでを試しました。 前提 fluentdはインストール済み credentialsファイルなどでfluentd動作環境からS3アクセスする権限がある プラグインインストール fluentdのS3プラグインを別途インストー…

AWS CloudWatch Logsでロググループが存在するかどうかで、スクリプトを分岐させたいとする。（ロググループが存在しなければロググループを作成というようなケース） aws logs describe-log-groups コマンドでその名前のロググループを取得して、存在を判定…

PostgreSQLの日時のデータ型 timestamp と timestamp with timezone (timestamptz) をAWS Glue Crawlerでクロールするとデータカタログに登録されるテーブルのデータ型が何になるかを調べました。 PostgreSQLにサンプルテーブル作成 Glue CrawlerからはJDBC…

Amazon DocumentDBのインスタンス、AZ、エンドポイント、クラスタボリュームの関係のメモです。 ※この図は、レプリカを3台用意して2つのAZに配置した例。もちろん3つのAZにレプリカを配置することも可能。 ストレージとコンピューティングが分離している 2種…

Amazon Auroraのインスタンス、AZ、エンドポイント、クラスタボリュームの関係のメモです。 ※この図は、レプリカを3台用意して2つのAZに配置した例。もちろん3つのAZにレプリカを配置することも可能。 ストレージとコンピューティングが分離している 2種類の…

Amazon Elasticsearch ServiceのKibanaにAmazon Cognitoを組み合わせると、KibanaにID/PWでのログイン認証を実装できます。ネットワーク的な制限では足りなくて、ID/PWで制限をかけたい場合には使えそうです。 AWSのマネジメントコンソールでAmazon Elastics…

事前の設定 AWS RDS PostgreSQLでクエリのログをすべてログに残すには、パラメータグループで以下のように設定します。 log_statement=all log_min_duration_statement=0 log_statement=allはすべての種類のクエリログを記録するという指示で、log_min_durat…

AWSのマネジメントコンソールでGlue Jobの実行履歴を見るには、見たいGlue Jobを選択します。選択したJobの実行履歴が画面の下半分に表示されます。cliで確認するには aws glue get-job-runs というコマンドにJobを指定します。 しかしこれでは、Glue Jobが…

Amazon DocumentDBはインターフェースがMongoDBと互換性のあるJSON-likeなデータを保存できるデータベースです。AWS独自の実装で、MongoDBのマネージドサービスではありません。 この記事では、マネジメントコンソールでのDocumentDBのクラスタ構築と、EC2イ…