MNISTには全部で6万個の訓練用データがありますが、単純なニューラルネットワークで学習させたときの訓練用データの数と学習結果の精度の関係を見てみました。 size process_time train_loss train_accuracy test_loss test_accuracy 60000 76.70 0.0051 0.9…

正規分布に従う標本から母集団の分散を最尤推定で計算してみました。最尤推定での計算はTensorFlowで勾配降下法を使いました。 最尤推定で計算した分散は不偏分散ではなく標本の分散と一致することが確認できました。 手順 正規分布に従う乱数を100個作成 そ…

fluentdでログをS3にJSONL(JSON Lines)でアップロードするところまでを試しました。 前提 fluentdはインストール済み credentialsファイルなどでfluentd動作環境からS3アクセスする権限がある プラグインインストール fluentdのS3プラグインを別途インストー…

TensorFlowのディープラーニングの練習として、手書き数字(MNIST)をTensorFlowの単純なニューラルネットワークで判別させました。 Google Colaboratoryで実行しました。 TensorFlowのバージョンは2.3.0です。 !pip list | grep tensorflow tensorflow 2.3.0 …

TensorFlowのOptimizerを自分で独自に実装することができるようなので、実装してみたソースコードをメモとして残しておきます。以下の私の記事で使ったアルゴリズムを実装してみました。これで自分のアルゴリズムをTensorFlowで動かせます。 勾配降下法の自…

ちょっとやりたいことを思いついてRaspberry Piをセットアップしました。Raspberry Piを触るのは、たぶんですが2016年2月ごろ以来です。 キーボード・マウス・外部モニタのないRaspberry PiにOSをインストールしてSSH接続できるまでを設定します。 OSイメー…

PostgreSQLのレコード数を見るには SELECT COUNT(*) ... すればわかりますが、大きいテーブルですと時間がかかります。またディスク上のデータサイズはこれではわかりません。概数でいいので、レコード数とデータサイズを見るにはどうしたらよいか？ システ…

この記事は、数ヶ月前にニューラルネットワークをScalaでゼロから書いてたときに勾配降下法の応用としてやっていた内容です。 金星・水星の光度変化を数式で表現し、その最大値のタイミングを調べました。最大値は勾配降下法を使わなくても解けそうですが、…