未分類 AWS CLIでAWSリソース一覧取得（PowerShell）
意味が無いとみんな分かっているけれどインフラの納品物としてパラメータシートの提出が求められます。管理コンソールからコピペでやってもいいんですが、EXCELでの整形が面倒になってきたのでAWS CLIで一括取得する方法になります。jqを使って...
未分類 未分類 VSCodでgithubを使う
githubを使い始めたのですが、仕様が変わっていたりエラーメッセージが表示されたりしたので誰でも使えるように情報を残しておきます。普通にやってたら以下のようなメッセージが表示されpushやpullができない状態となりました。remote:...
未分類 tensorflowでDecision Forest（意思決定フォレスト）を使ってみる
何となくイメージがついてきたのでチュートリアルをやってみます。TensorFlow意思決定フォレストを使用してモデルを構築、トレーニング、評価しますデータ読み込みサンプルではpandas使ってますが、私としてはそういう部分はpandasでは...
未分類 Decision Forest モデル
tensorflowでのDecision ForestDecision Forestと言えばLightGBMとかが有名というかスタンダードになっているように思いますがTensorFlowでもDecision Forestが使用できるようにな...
未分類 データ読み込み（make_csv_dataset）
データ読み込みはnumpyかpandasを使うことが多いと思いますが、配列の次元管理がちょっと面倒になってきたり・・・tensorflowのサイトを見ていたら「make_csv_dataset」という関数を見つけたので使ってみます。適当に使...
未分類 EC2のログをS3に転送する（fluentd）
クラウド環境では可能な限りサーバーにデータを格納しないことが望ましい。簡単に言えば、サーバーは「使い捨て」の前提で構築した方がバックアップやアプリ更新など運用面が楽になります。EC2のログを外部に保存する場合はCloudWatch Logs...
未分類 LightGBMをとりあえず動かしてみる(パラメータ）
参考にしたサイトLightGBMは強力らしいんですが、初心者が触ってみる場合は情報が少なすぎています。Web以外にも書籍で探してみましたがそれでもレベルが高すぎて入門編としては敷居が高すぎるように感じています。今回は以下サイトの内容がとても...
未分類 LightGBMをとりあえず動かしてみる(データ読み込み）
参考にしたサイトLightGBMは強力らしいんですが、初心者が触ってみる場合は情報が少なすぎています。Web以外にも書籍で探してみましたがそれでもレベルが高すぎて入門編としては敷居が高すぎるように感じています。今回は以下サイトの内容がとても...
未分類 Pandasでのデータ操作（最低限）
Tensorflowを使用する場合は学習データをPandasのデータフレームとして渡すことがほとんど（全部？）そのため、Pandasのデータフレーム操作を理解しておかないとデータ用意部分に時間がかかってしまい、機械学習に対してのモチベーショ...
未分類 最低限覚えておくgitコマンド（Ubuntu）
インフラエンジニアでもgitやgithubを使用する場面が多くなってきました。インフラ構築もCloudFormationやTerraformなどコード管理する場合はプログラムと同様に変更管理が重要となってきます。初期設定ubuntuの場合は...