サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
GPT-4o
qiita.com/sugiyama404
はじめに このリポジトリは、S3、API Gateway、Lambda、RDS、IAMを利用したサーバレス構築の概要を説明します。この構築は、Terraformを使用してIaC (Infrastructure as Code) を実現し、静的ウェブサイトのホスティング、APIゲートウェイによるリバースプロキシ、Lambda関数の実行、RDSデータベースの利用を実現します。 以下がレポジトリです。 参考記事 構成 サーバレスアーキテクチャ構成図: Terraform によるインフラストラクチャの構築 Terraform は、インフラストラクチャをコードとして定義および管理するためのオープンソースツールです。Terraform を使用して、S3 バケット、API Gateway、Lambda 関数、RDS インスタンス、IAM ポリシーなどの AWS リソースを宣言的に作成できます。 このアー
はじめに この技術記事では、Terraform、AWS DMS (Database Migration Service)を使用して、データベース移行を安全かつ効率的に実行する方法を説明します。 Terraformを利用したAWS DMSは、安全かつ効率的なデータベース移行を実現し、コードによるバージョン管理と踏み台サーバーによるRDSインスタンスへの安全な接続、DMSレプリケーション機能による高可用性とスケーラビリティにより、時間と労力を大幅に削減します。 この技術記事で解説するコードは、以下の Github リポジトリで公開されています。 また、以下の記事を参考にしました。 使用する AWS サービス DMS (Database Migration Service) EC2 (Elastic Compute Cloud) IAM (Identity and Access Manageme
Next.jsは13系を使っています。 レポジトリーは以下の通りです。 クリーンアーキテクチャー apserver側では、依存関係を一方向にして、変更や置き換えを容易にする設計パターンであるクリーンアーキテクチャーを採用しています。これによりパッケージ等に不具合が生じた場合すぐに取り替え可能です。 そこで、クリーンアーキテクチャーに従いディレクトリを設計しました。 ディレクトリ構成は以下の通りです。 . ├── apserver │ ├── Dockerfile │ ├── app │ │ ├── cmd │ │ │ ├── domain │ │ │ │ ├── form │ │ │ │ ├── model │ │ │ │ ├── pb │ │ │ │ └── proto │ │ │ ├── driver │ │ │ ├── infrastructure │ │ │ │ └── dao │
RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その4、TerraformECS前編RailsDockerTerraformNuxtGitHubActions はじめに RailsとNuxt3でtodoリストの作り方を 初めから丁寧に説明したいと思います。 使用pcはmacを想定しています。 完成した構成図は以下の通りです。 また、githubレポジトリはこちらです。 各シリーズは以下の通りです。 RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その1、Rails基本設定編 RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その2、Rails API編 RailsとNuxt3でtodoリストを作ろう[REST-API/Terr
RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その5、TerraformECS後編RailsDockerTerraformNuxtGitHubActions はじめに RailsとNuxt3でtodoリストの作り方を 初めから丁寧に説明したいと思います。 使用pcはmacを想定しています。 完成した構成図は以下の通りです。 また、githubレポジトリはこちらです。 各シリーズは以下の通りです。 RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その1、Rails基本設定編 RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その2、Rails API編 RailsとNuxt3でtodoリストを作ろう[REST-API/Terr
RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その6、Blue/Greenデプロイ前編RailsDockerTerraformNuxtGitHubActions はじめに RailsとNuxt3でtodoリストの作り方を 初めから丁寧に説明したいと思います。 使用pcはmacを想定しています。 完成した構成図は以下の通りです。 また、githubレポジトリはこちらです。 各シリーズは以下の通りです。 RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その1、Rails基本設定編 RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その2、Rails API編 RailsとNuxt3でtodoリストを作ろう[REST-API/Te
RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その7、Blue/Greenデプロイ後編RailsDockerTerraformNuxtGitHubActions はじめに RailsとNuxt3でtodoリストの作り方を 初めから丁寧に説明したいと思います。 使用pcはmacを想定しています。 完成した構成図は以下の通りです。 また、githubレポジトリはこちらです。 各シリーズは以下の通りです。 RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その1、Rails基本設定編 RailsとNuxt3でtodoリストを作ろう[REST-API/Terraform/Fargate]〜その2、Rails API編 RailsとNuxt3でtodoリストを作ろう[REST-API/Te
はじめに TerraformでIacをしながら、GitHubActionsと連携してブルー/グリーンデプロイを実行したいと思います。 codesourceでecrを監視しない理由は、最初のデブロイでブルー/グリーンデプロイを実行させないためです。 そのため、GitHubActionsでcodecommitにクローンしブルー/グリーンデプロイを実行するように設計しています。 以下が今回の構成図になります。 以下がレポジトリーになります。 ブルー/グリーンデプロイとは ブルーグリーンデプロイメントとは現状の本番環境(ブルー)とは別に新しい本番環境(グリーン)を構築した上で、ロードバランサーの接続先を切り替えるなどして新しい本番環境をリリースする運用方法のこと。 中略 ブルーグリーンデプロイメントの利点の1つは、システムのダウンタイムを短くできる点である。現状の本番環境を停止させて変更して戻す従
はじめに Terraformの学習用健忘録です。 ディレクトリはこちらになります。 terrformの構成 ファイル構成 . ├── Dockerfile ├── nginx │ └── index.html └── terraform ├── main.tf ├── modules │ ├── bash │ │ └── null_resource.tf │ ├── ecr │ │ └── ecr.tf │ ├── ecs │ │ ├── ecs.tf │ │ ├── ecs_service.tf │ │ └── ecs_task_definition.tf │ ├── iam │ │ ├── aws_iam_policy.tf │ │ ├── aws_iam_policy_attachment.tf │ │ ├── aws_iam_role.tf │ │ └── outputs.tf │
はじめに VirtualBox7.0において、最近のmacOSバージョンを実行しているVirtualBoxでは、host-only adapterをサポートしていません。 その代用として、host-only networkを使うことになります。 以下が公式ドキュメントです。 当環境は以下の通りです。 大きな仕様の変更点は以下の通りです。 ゲストOSにアクセスするためにポートフォワードをするポートを指定する必要がある。 host only network構築手順 toolsからnetworkを選択 toolsからnetworkを選択します。 host-only networkからネットワークを作成 host only networkからcreateを選択しネットワークを作成します。 propetiesとNAT Networkを選択 propatiesとNAT Networkを選択、Port
はじめに インフラはDockerとDocker Composeです。 バックエンドはactix-web(Rustのフレームワーク) フロントエンドはReact(TypeScriptのフレームワーク) データベースはMySqlです。 リマインダー(todoリスト)を目標に開発を行います。 レポジトリーはこちらです。 RustはCargo.tomlに記述してパッケージをダウンロードする方式です。 パッケージの最新バージョンは以下で確認すると良いです。 また、Rustはtargetレポジトリーが非常に重いので、gitignoreに入れておくといいです。 バックエンド側 バックエンド側を実装します。 環境構築
はじめに Grapheneのチュートリアルを参考にしています。 GraphQLとは、以下のようなものです。 GraphQLはAPIのクエリ言語であり、データに対して定義したタイプシステムを使用してクエリを実行するためのサーバー側のランタイムです。GraphQLは特定のデータベースやストレージエンジンに縛られておらず、代わりに既存のコードとデータによってバックアップされています。 ptyhonでGraphQLを実装するには、Grapheneというツールが必要です。 Grapheneは、PythonでGraphQL APIを実装するためのツールを提供するライブラリです。 実装 今回の実装はdockerを使いました。 githubのレポジトリーです。 ファイル構成 . ├── docker-compose.yml └── opt ├── Dockerfile ├── main.py └── re
はじめに dataclassの知見が溜まったので、書きたいと思います。 dataclassとは 通常の場合 class DataClass: def __init__(self, name, num): self.name = name self.num = num dc = DataClass('tom',3) print(f'私の名前は{dc.name}、IDは{dc.num}です。')
はじめに dockerを使ったgrpcをまとめたいと思います。 内容は、クイックスタートに準拠しています。 レポジトリーを作りました。 gRPCとは gRPCとは、http2とバイナリを使用した高速通信可能なgoogleが開発したPRCフレームワークです。 プロトコルバッファとは 構造化データ定義し、シリアライズするためのオープンソースメカニズムです。 protocコマンドを打つことで、goファイルを自動生成します。 コーディング Dockerをbuild . ├── client │ ├── Dockerfile │ └── go_grpc │ └── bin │ └── go_starter ├── docker-compose.yml └── server ├── Dockerfile └── go_grpc └── bin └── go_starter FROM golang:1.
posted articles:Python:58%機械学習:20%Terraform:20%システムトレード:20%Docker:18%
はじめに このアルゴリズムの最大の強みは、ローソクチャートを観測する予測と指値注文板を観測する執行戦略を分離し、強化学習によって執行戦略を強化させたところです。これは、売買決定から注文メッセージの送信、注文決定の動きに開きがあるからです。 論文の本文は以下のリンクから読めます。 データセットは一般公開されているFI-2010データセットを使用します。また、予想モデルは以下を使用します。 実装を行なった全編は以下より見ることができます。 ※環境の構築等自信がないので、修正点など是非ご指摘頂ければ幸いです。 強化学習アルゴリズム Ape-Xアルゴリズム Ape-Xは、代表的なoff-poicyであり、以下のモデルを加味したモデルです。 Double Q-learning(Double DQN) 優先度付き経験再生(Priority Experience Reply DQN) Dueling N
はじめに 本記事は、「DeepLOB: Deep Convolutional Neural Networks for Limit Order Books」の紹介です。原論文に加筆、編集を行なっています。 論文で紹介しているgithubです。コードは、zcakhaa/DeepLOB-Deep-Convolutional-Neural-Networks-for-Limit-Order-Books/run_train_tensorflow-version2.ipynbからの引用です。 要約 私たちは、現金株式の指値注文帳(LOB)データからの価格変動を予測するための大規模なディープラーニングモデルを開発しています。このアーキテクチャは、畳み込みフィルタを使用して、リミットオーダーブックとLSTMモジュールの空間構造をキャプチャして、より長い時間の依存関係をキャプチャします。提案されたネットワーク
はじめに1 本記事は高校数学を基礎として強化学習を行う上でつまづきやすいところを選出しています。本記事に掲載されていない部分で引っかかる場合は、高校数学を復習して見ると、答えが見つかるかもしれません。 環境は、colabとTensorFlow2.x系を使用しています。 名称 意味
[論文解説] Stochastic MuZero: PLANNING IN STOCHASTIC ENVIRONMENTS WITH A LEARNED MODELPython機械学習強化学習論文読みMuzero はじめに Stochastic MuZeroは、非決定的環境で有効な、確率的なMuZeroです。 モデルベース強化学習(世界系)で代表されるモデルとして、MuZeroが挙げられます。囲碁やチェス、atariなどでは、大きな成果を出しています。しかし、大規模で複雑な環境では、MuZeroの性能には限界があります。 そこで、Stochastic MuZeroが提案されました。 以下、論文のリンクです。 Afterstates Afterstatesは、アクションが適用された後、環境が真の状態に移行する前の環境の仮説状態です。 Afterstatesを使用することで、環境にアクションを
はじめに 深層強化学習モデルMuZeroを開発する前段階として、ResNetモデルの実装を行なった。 ソースコードはこちら 関連 使用データについて トレンド傾向の掴みやすさから、yahoo financeからGSPCの日足を使用した。 訓練データの期間:2015/1/1 - 2017/6/30 テストデータの期間:2017/7/1 - 2021/1/1 以下ソースコード 時系列におけるCNN 一般的なCNN CNN(Convolutional Neural Networks)は、畳み込み層を含んだニューラルネットワークで、画像データから意味のあるデータを抽出し、画像認識などを行えるようにする。 畳み込み層・・・入力データから特徴量を抽出する層 プーリング層・・・入力データを圧縮する層 全結合層・・・全てのニューロンが繋がった層 時系列におけるCNN CNNは、時系列データに置いて、1次元
はじめに TensorFlowのModelClassの知見が溜まってきたので、まとめたいと思います。 以下のサイトを引用しています。 import class Linear(keras.layers.Layer): def __init__(self, units=32, input_dim=32): super(Linear, self).__init__() w_init = tf.random_normal_initializer() self.w = tf.Variable( initial_value=w_init(shape=(input_dim, units), dtype="float32"), trainable=True, ) b_init = tf.zeros_initializer() self.b = tf.Variable( initial_value=b_in
本記事で紹介する内容は、教育目的または脆弱性について仕組みを理解し周知、啓発を行うためだけに作成しております。 記載されているコードを実行した場合の損害は一切責任を負いません。 また、ハッキング行為をいかなる稼働環境・サービスに対しても行わないでください。成功しなくても試みること自体が違法行為にあたる場合があります。 上記の内容を十分理解された方のみ本記事をお読みください。 また、本記事の記載内容で、法的または倫理的に問題があると思われる箇所、その他お気づきの点などがございましたら、お手数ですがコメント欄までお知らせください。 SHURIKEN: NODEについて 難易度:易/中 前回の侵入事件後、Shuriken Companyはインフラを移転し再構築することを決定した。今回は異なる技術を使用し、安全性を確保することを保証している。果たしてそうだろうか?そうでないことを証明するのは、あな
はじめに 物体検出の最新モデルであるDETRとGANを用いた超解像化のESRGANの二つを組み合わせて、物体検出を行います。 以下、オリジナルの動画です。 レポジトリはこちらです。 動画について youtube8mの動画を再編集して使用しています。 引用している動画 動画のライセンス 以下のライセンスに従っています。 物体検出(DETR)1 DETR(End-to-End Object Detection with Transformers)は、Transformerを使った初めての物体検出です。 以下の図のように、transformerを使わなかった場合は、複雑な機能付けを必要としていましたが、transformerを使ったことで極めてシンプルかつ、「End-to-End」構造を持ち、DETRに画像を入力だけで、物体検出が行えます。 引用: End-to-end object detec
はじめに R2D2やGoliraなどの並列分散系強化学習で学習を行いたい時に、環境もそれらに対応をしてほしいです。 しかし、OpenAiのCar Racing環境では、並列化を行うことができません。 そこで、今回は、並列化に対応した「Multi-Car Racing」の使い方について、説明します。 実行環境は、google colab proを使っています。 また、以下のチュートリアルを参考にしました。 自身のgithubは以下の通りです。 感謝 下記コメント欄にあるように、山田@ymd_h 様に助けていただき、コードを大幅に変更いたしました。 import !apt update && apt install xvfb !git clone https://github.com/igilitschenski/multi_car_racing.git !pip install ./mult
はじめに 近年、人工知能ブームにより、人工知能を使ったトレーディング手法が盛んである。そこで、今回は深層強化学習を用いたシステムトレーディングを実施した。 まず、基本的な深層強化学習を用いたトレーディングモデルである。agentの行動として、 BUY、HOLD、SELLの三つの内一つを選択する。環境の戻り値として、状態(今現在保有しているポジションの価格、市場価格、手持ちのキャッシュ)、報酬(手持ちのキャッシュの変化値(含む益も含む))、終了(取引の終了か否か)、情報(ターミナルにディスプレイする情報)を返す。 使用データについて トレンド傾向の掴みやすさから、yahoo financeからGSPCの日足を使用した。 訓練データの期間:2015/1/1 - 2017/6/30 テストデータの期間:2017/7/1 - 2021/1/1 以下ソースコード R2D21 R2D2はApe-X2の
はじめに 近年、人工知能ブームにより、人工知能を使ったトレーディング手法が盛んである。そこで、今回は深層強化学習を用いたシステムトレーディングを実施した。 まず、基本的な深層強化学習を用いたトレーディングモデルである。agentの行動として、 BUY、HOLD、SELLの三つの内一つを選択する。環境の戻り値として、状態(今現在保有しているポジションの価格、市場価格、手持ちのキャッシュ)、報酬(手持ちのキャッシュの変化値(含む益も含む))、終了(取引の終了か否か)、情報(ターミナルにディスプレイする情報)を返す。 使用データについて トレンド傾向の掴みやすさから、yahoo financeからGSPCの日足を使用した。 訓練データの期間:2015/1/1 - 2017/6/30 テストデータの期間:2017/7/1 - 2021/1/1 以下ソースコード Ape-X1 Ape-Xは、代表的な
はじめに 「強化学習と自然言語処理を用いたチャットボット」を作る前工程として、「自然言語処理(BERT)を用いたチャットボット」を作ります。 レポジトリはこちらです。 BERTとは1 BERTは、google検索やDeeplなどで使われています。とても、高精度で使用しやすいです。 BERTの学習では、事前学習とファインチューニングの二つに分かれます。事前学習で言語の基礎を学習し、ファインチューニングで、個別のタスクに合うように調整します。 事前学習 事前学習は、その言語がどうゆう構造なのか、単語の意味はどういう意味なのかなど言語の基礎を理解させます。具体的には、TransformerがMask Language ModelとNext Sentence Predictionで文章から、文脈を双方向に学習します。 Mask Language Model 文章から、特定の単語を15%ランダムに選
はじめに 自動微分と勾配テープでつまずいているので、調査しまとめることにしました。 主に以下のサイトを参考にしました。 公式より、「自動微分と勾配テープ」とは TensorFlow には、自動微分、すなわち、入力変数に対する計算結果の勾配を計算するためのtf.GradientTape API があります。TensorFlow は、tf.GradientTape のコンテキスト内で行われる演算すべてを「テープ」に「記録」します。その後 TensorFlow は、そのテープと、そこに記録された演算ひとつひとつに関連する勾配を使い、トップダウン型自動微分(リバースモード)を使用して、「記録」された計算の勾配を計算します。 レポジトリはこちらです。 import
はじめに 最近、clojureと言う言語を聞いたので、その環境構築を行いました。 clojureはLISPをJVM仮装マシン上で動けるようにしたものです。 レポジトリはこちら dockerのビルド ディレクトリ構成 初回インストールを行うために以下の構成にしてあります。 後で、変更します。
次のページ
このページを最初にブックマークしてみませんか?
『@sugiyama404のマイページ - Qiita』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く