Astrategyを支える技術: gRPC, Elasticsearch, Cloud TPU, Fargate... SaaS型AIサービスの内側の世界
ストックマークでは、法人ユーザー向けの「Astrategy」というウェブサービスを開発、提供しています。 本エントリでは、Astrategyで使われている技術やシステム構成をご紹介したいと思います。 AstrategyとはAstrategyとは、AIがウェブニュースを解析してあらゆる市場の動向やトレンド、有力企業の経済活動を可視化し、ユーザーが市場調査や市場分析レポート作成を行うことができるウェブサービスです。 国内外約3万メディアから配信された約5000万件のビジネスニュースから、企業情報、言及されているニューストピック、業界や地域属性を抽出して分析に利用します。 抽出には汎用言語モデルBERTを用いており、その処理はCloud TPU上で動く重たい処理であるため、事前に全てのニュースデータに対して抽出処理をかけた状態で検索サーバーに登録しています。 ユーザーがAstrategyにアクセ
firelensを使用した、ログ分割と監視処理 - Qiita
■１〜３回の内容を再設計した記事を書きました。 FireLens/fluentbit構成の見直しと改修 はじめに ここ最近、FireLensの機能選定を行っており fluentbitのカスタムイメージを作成し、FireLensに接続するまでの機能調査を行いました。 １回目の記事です。 ２回目 ローカルで、datadog/S3へデータを転送できるdockerイメージを作成する ３回目 Firelensで、datadog/S3へデータを転送できるdockerイメージを作成する FireLens実装サンプル 概要 VPC内で稼働しているwebアプリケーションのEC2インスタンスを、fargate化したいという話がありました。 改修に伴い、fargateコンテナをステートレスにする為、ログの管理方法が話題に上がりました。 また、監視業務を内製化したいという要望もあった為、ログの検知システムも検討し
AWS FargateでAutoScaleを試してみる - Qiita
AWS Fargateでより強力になったAuto Scaleingを実施してみます。 AWS公式のブログを参考に設定を実施しました。 TerraformでECS環境の構築【オートスケール編】を参考にTerraformでも設定します。 旧ECSのAutoScale コンテナインスタンス(EC2)縛りがありコレジャナイ感があります。 以下2つのAuto Scale設定が必要です。 コンテナインスタンスのAuto Scale ECS ServiceのAuto Scale FargateのAutoScale コンテナインスタンス(EC2)から解放され、ECS Cluster内でtaskを自在に配置できます。 コンテナインスタンスのAuto Scale が不要になりました。 Terraformで設定 以下で一気に作成します。 https://github.com/Thirosue/terraform
爆速でFargateをスケールさせる「aws-fargate-fast-autoscaler」を試してみた | DevelopersIO
CloudWatchだけでは実現できない超高速なFargateのスケール処理をCDKをつかったStep Functionsで実装しているリポジトリです。是非参考にしてみてください。 「Fargateをいかに早くスケールさせるか、そこに命をかけた男がいた…」 先日参加したセミナー（コンテナ好き4名がコンテナの魅力を喋り倒すJAWS-UGコンテナ支部に行ってきた）にそんな男がいたわけですが、その仕組を改めて動かす機会があったので、紹介します。 CloudWatchを利用しないStep Functionsを利用した爆速スケールの仕組み CDKによる環境一式のデプロイ という両面で非常に参考になるリポジトリです。そのあたり興味があるかたは是非一度この記事を読んでいただきながら皆さんの環境でためしていただきつつ、今後のStep Functionsの使い方やCDKのサンプルとして活用いただければと思い
FargateでFireLensログドライバを使い自前で用意したfluentdを動かす - Qiita
背景 FargateのログドライバはCloudWatch Logs,Splunkしか使用できず、その他のログ基盤に連携を行いたい場合はCloudWatch Logsから転送するか(CloudWatch Logsの料金がかかる)、ログドライバを使用せず共有ボリュームにログファイルを出力してサイドカーのFluentdで収集する(ボリュームは8GBまで)といろいろと制約があり、なかなかFargateに移行ができないでいました。 この度、FireLensがGAになり、自前のFluentdに転送できるとのことだったので試してみたところ、色々と詰まりましたのでメモとして残します。 開発 0. FireLensについて クラスメソッド様の記事がとてもわかり易いと思います。 1. 概要 作成、使用した環境はGitHubにあります。 構成としてはFargateでnginxのログをFirelens(fluen
[アップデート] ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました | DevelopersIO
ECS/Fargateタスクのログ出力先をカスタマイズ (ルーティング) できる「FireLens」機能が正式リリースされましたので、試してみました。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 ECS/Fargateタスクのログ出力先をカスタマイズ(ルーティング)できる「FireLens」機能が AWS Containers Roadmap の リポジトリ でプレビューされていましたが、先日、正式リリースされました。 まだドキュメントが日本語化されていませんが、英語版ドキュメントの内容に沿って試してみました。 Custom Log Routing - Amazon ECS 従来の「CloudWatch Logs」へのログ出力 まず、従来の「CloudWatch Logs」へのログ出力を行ってみます。 全体の構成は下図のようになります。 ECSクラスターやALBの設定
![[アップデート] ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f10e4b6d55aa4fe987e9584f7b2febd50e43f158/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-elastic-container-service.png)
Fargate タスクストレージ - Amazon Elastic Container Service
AWS Fargate でホストされている各 Amazon ECS タスクは、プロビジョニングされる際に、バインドマウントのために次のエフェメラルストレージを受け取ります。これらをマウントし、タスク定義内で volumes、mountPoints および volumesFrom パラメータを使用しているコンテナ間で共有することが可能です。 Windows プラットフォームバージョン 1.0.0 以降を使用した Fargate タスク プラットフォームバージョン 1.0.0 以降を使用している Fargate でホストされている Amazon ECS タスクは、デフォルトで、最低 20 GiB のエフェメラルストレージを受け取ります。エフェメラルストレージの総量は、最大 200 GiB まで増やすことができます。これを行うには、タスク定義内で ephemeralStorage パラメータを設
docker-composeで開発環境構築、一部コンテナをECS Fargate起動タイプで定期実行するまで - Qiita
docker-composeで開発環境構築、一部コンテナをECS Fargate起動タイプで定期実行するまでAWSDockerECSdocker-composeECR 最近社内向けwebアプリの開発にdocker-composeを使ったんですが、一部のコンテナだけをAWS ECSにデプロイするような構成にしたので、その辺をざっくりメモしておきます。 今回、抽象化したsampleアプリを作成してgithubにあげておきました。 ※sampleなので中身はスタブ sampleアプリ sampleアプリの構成 VueとGoを使ったWebアプリ。WebのUIにて登録されたデータをバッチで処理していく感じのアプリ。 - frontend: Vue.js - backend: Go - batch: Go OSX 10.11.6 Docker Toolbox aws cli docker-compos
Fargateで起動するコンテナのログをFluentd経由でS3に保存してみた | DevelopersIO
現状、Fargate上のコンテナが利用できるログドライバーはawslogsのみです。つまり、アプリケーションログ（標準出力）の集約先としてはCloudWatch Logsしかありません。 「それはわかっている。でもどうしてもFluentd経由で外部にログを送信したいんだ。。」 そんなことがありました。ということで今回はFargate上で起動するコンテナのログをFluentd経由で外部に送信する方法を紹介したいと思います。 ログ転送イメージ アプリケーションコンテナおよびFluentdコンテナで共有ボリュームをマウントします。アプリケーションコンテナはそのボリューム上にログを出力し、Fluentdコンテナはそのログ参照します。 ECSの言葉でいうと、1つのTaskにアプリケーションコンテナ、Fluentdコンテナ、およびVolumesを定義し、両コンテナのMountPointsで同一のVol
ECSでCodeDeployを使用したBlue/Green Deploymentがサポートされたので早速試してみた ｜ DevelopersIO
こんにちは、かたいなかです。 先日のre:InventにてECSに対してCodeDeployを使用してBlue/Green Deploymentを行う機能が発表されました。 AWS CodeDeploy/AWS CodePipelineでAWS Fargate/Amazon ECSのCI/CDがサポートされました！ #reinvent 個人的にワクワクが止まらくなってしまい、ラスベガスに行ってもないのに早速試してみましたので、内容を紹介します。 今回の記事では、デプロイ後に本番トラフィックを向ける前に本番環境内で動作を確認し、動作確認後リリースを行う、という流れを実装していきます。 Blue/Green Deploymentとは Blue/Green Deploymentはデプロイの一つのパターンです。 本番環境内に2つの環境を用意し、トラフィックを片方だけに向けておきます。新しいバージョ
Fargateをecs-cliで運用する環境を構築する - Qiita
はじめに AWS Fargateの東京リュージョンが始まったため、既存システムのEC2をホストとしたECSからFargateへ移行したので、AWS Fargateで環境を作るための手順を書きます。 手順 VPC、サブネットなどのネットワーク周りの作成 ecs-cliの初期設定 ECSクラスターの作成 CloudFormation によるALBの作成 ecs-cli によるサービスのデプロイ ネットワーク周りの作成 VPCの作成 まずはecs-cliで作成できないVPCやセキュリティグループの作成をします。 詳しい説明は省きますが、AWS CloudFormation VPC テンプレートを参考にほぼそのままの内容となっています。 AWSTemplateFormatVersion: '2010-09-09' Description: Fargate sample vpc # https://
ALB & ECS:FARGATE でAPI作る件 - Qiita
モチベーション Fargate簡単だよ系の記事は見かけるが、実際にやるといくつかパニクりポイントがあります。 公式ドキュメントは逆引き系なので使い易いんですが、単語が多い為か最初は難解、 ここでは備忘録として残します。 Fargateとは Dockerです。 こんな感じの構成になってます クラスタ/サービス/タスク/コンテナ 起動タイプがEC2の場合はクラスタの部分がEC2インスタンスのクラスタとなり自分で管理する必要あり。 Fargateの場合、裏側で勝手に管理してくれるのでスケールアウトがメタクソ楽になります。 その代わりお値段が約2割増です。 パニクりポイント 初めての人がALBを使ってAPIをデプロイしようとするとパニクりポイントに出会えます。 その１. TARGET GROUPについて ターゲットグループを真っ先に作りましょう。 なぜかって？ ECSのデプロイはターゲットグループ
Step Functions を使ったアクティビティステートマシンの作成 - AWS Step Functions
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Step Functions を使ったアクティビティステートマシンの作成 このチュートリアルでは、Java と AWS Step Functions を使用してアクティビティベースのステートマシンを作成する方法について説明します。アクティビティにより、ステートマシンの別の場所で実行されるワーカーコードを制御できます。アクティビティ の概要については、Step Functions 仕組み を参照してください。 このチュートリアルを完了するには、以下が必要です。 SDK for Java。このチュートリアルのサンプルアクティビティは、AWS SDK for Java を使用して AWS と通信する Java アプリケーションです。 環境または標準 AWS 設定ファイルの
AWS FargateとTerraformで最強＆簡単なインフラ環境を目指す
はじめに AWSでDocker環境を構築するとき、今までまず選択肢としてあったのがAWS Elastic BeanstalkやAmazon ECSでした。 ですが皆様ご存知の通り、2018年の7月にAWS Fargateが東京リージョンで利用できるようになりました！ Docker環境の選択肢が増え嬉しい限りです。 ということで、少々出遅れてしまいましたがAWS Fargate + Terraform構成を本格的に業務で使ってみることにしました。 ※ ちなみに、AWS Fargateは独立したサービスではなくAmazon ECSの中に組み込まれており、launch typeで「Fargate」を指定することにより利用できるサービスとなります。 よくネット上で「AWS FargateとAmazon ECSの違い」みたいな記事を目にしていたので別サービスだと勘違いしてました… 1. 最強のTer
AWS Fargateを本番運用した所感 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、Fargateを本番投入し1ヶ月強が過ぎたので、運用する中で気付いた点について書こうと思います。 以前書いた、Fargateに関する調査のまとめ記事はこちら。 tech.connehito.com 内容はざっくり下記3項目です。 いきなりFargateはハードルが高め 良かった点 コンテナのリソースキャパシティを簡単に変更出来る オートスケーリングもシンプルに組める 安定運用 つらい点 タスクの起動速度がEC2バックエンドと比べるとやはり遅い 料金面 いきなりFargateはハードルが高め Fargate導入を通して一番感じたのは、新規にコンテナ化するアプリケーションをECSで動かす場合、EC2バックエンドで試験をパス出来る状態まで持っていった後に、最後にFargateで動かすパターンがよさそうということです。 今回のF
AmazonECS / Fargate 本番運用のための構築とデプロイ方法まとめ
Amazon ECS（以下ECS）とFargateを用いて、今までEC2で運用されていたサービスをコンテナ化してECS上で稼働させるプロジェクトをしました。 特に、Fargateは2018年7月3日にTokyoリージョンで使えるようになったばかりなので、情報がまだまだ少なく手探りの状況でした。 Posted On: Jul 3, 2018 AWS Fargate is now available in Asia Pacific (Tokyo) region. https://aws.amazon.com/about-aws/whats-new/2018/07/aws-fargate-now-available-in-tokyo-region/ ECS/Fargateで実現したアーキテクチャ・デプロイ方法の全容とその実装方法を記していきます。以下のスライドにもまとめているのでぜひご覧ください
Fargateがタスクスケジュールをサポートしたの嬉しい - hatappi.blog
最近はプライベートでFargateを使う機会が増えてきて常駐させるサービスから一定間隔(例えば毎週金曜日の9:30)でのバッチとして使っている 今回は一定間隔でのバッチの実行用途で使うFargateの話 ネタ元は8月末にリリースされたこの機能！！！！ AWS Fargate が時間とイベントベースのタスクスケジューリングをサポート 今まではFargateのタスクをバッチ用途として定期的に動かそうと思うとECS RunTask APIをうまいこと実行させる必要があった 僕は以前↓の記事で書いたようにLambda FunctionでCloudWatch Eventをトリガーにして実行していた blog.hatappi.me それが8月末からは必要なくなった!! タスクのスケジューリングは今回はGUIで設定しました 任意のクラスターの詳細からタスクのスケジューリングを選択することで作成することが
Fargateがタスクスケジュールをサポートし定期実行処理の幅が超広がりました！ | DevelopersIO
「せっかく、EC2インスタンスを気にしなくてよいFargateなんだから、もっとバッチ処理で気軽に使いたいよね」 そんなハマコーの一日千秋の想いが届いたのか突如として、Fargateにごついアップデートが舞い降りました。 AWS Fargate Now Supports Time and Event-Based Task Scheduling 今まで、「AWS Lambdaでは、ライブラリや実行時間に制限があって使いにくい」けど「AWS Batch使うには荷が重い」的なユースケースにバッチリハマる機能だと思うので、全国のコンテナファンは今すぐ使ってみると良いと思います。 Fargateきたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / タスクのスケジュール機能とは ECSクラスター内に存在するタスクを、スケジュールに則り実行する機能です。 構造的に、EC
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Portal | ShastaBeam
Amazon Elastic Container Service