こんにちは。レシピ事業部の新井（@SpicyCoffee）です。 クックパッドではこれまで、レシピを投稿してから検索結果に反映されるまで最長で 24 時間程度の時間がかかっていました。今回、この時間を 5 分程度、最長でも 10 分程度に短縮することに成功しました。本記事では、プロジェクトオーナーの立場で関わった私が代表してその開発について紹介します。 プロジェクトの目的と数値目標 本プロジェクトでは上記の「レシピを投稿してから検索結果に反映されるまでの時間短縮」が目的とされました。しかし、時間短縮といっても現状 24 時間であるものを "1 時間" にするのか、"1 分" にするのか、"1 秒" にするのかでは話が全然違います。この数値目標は設計を始めとした後の意思決定に大きく影響を与えるため、しっかりとした意図を持った状態で明確に定めておく必要がありました。 そこで、私とプロダクトオー
技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol
「AWSの公式情報ってめっちゃあるやん。これ、どこから検索すりゃいいの？」 2006年にサービスを開始したAWS。その公式情報は膨大かつイベントも数限りなく開催されてきました。 最近のイベントはYoutubeなどにも公開されており、公式情報だけにしぼってそれらを一括で検索するのは、各サイトのRSSフィードを一括購読とかしないかぎり困難でした。 そんな悩みを一発でふっとばすのが、この AWS Stashというサイト。 re:Inventのセッション動画だけではなく、公式ブログやスライド、QuickstartやホワイトペーパーやGitHubまで横断的に爆速で検索可能な素晴らしく便利なサイトなので、まだ未体験の方は是非一度試してみてください。 何でも検索できちゃうの…!? ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / 「AWS Stash」とは？ AWS Stash
こんにちは。 はてなインターン2019 システム基盤開発コースでやったことをお話していきます。 今年のシステム基盤開発コースでは、コードネームphoenixと題して、「毎日生まれ変わるセキュアな踏み台サーバ」の作成に取り組みました。 なぜつくったのか 踏み台サーバ なぜ毎日生まれ変わるのか なぜコンテナを使ったのか 踏み台サーバを更新する仕組み SSMセッションを用いたログイン CloudFormationによる自動デプロイ（未完） Terraformによる自動デプロイ 感想など なぜつくったのか まずはじめに、なぜこのような踏み台サーバの構築を行うことになったのかについて説明します。 多くの現場でもそうであると想像されるように、現状のはてなでは様々な社内サービスや、稼働中のサーバー・データベースにアクセスするために踏み台サーバを経由する必要があります。はてなには種々のサービスが存在してい
2021年サーバーサイドのエンジニアが使ってよかったもの10選 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2021 7日目を担当する荒賀(@ken39arg) です。 カヤックのエンジニアブログには2008年にPHPを使ったガラケー関連の記事を書いたのが最初になります。 それから10年以上たち、ガラケーも弊社でのPHPのプロジェクトもほぼなくなり、メンバーもかなり入れ替わり、私自身も20代だったのがついに40歳になりました。そんな私にとってこのアドベントカレンダーは私は今でもここにいるよというPingのような役割になっているため、年に一度若者に混じってアドベントカレンダーに参加しております。 例年ですと、趣味のマラソンなどに関する実績も書いているのですが、昨年同様、今年も続くコロナ禍により多くの大会が中止となったためこちらに関しては特に特記すべき実績はありません。ただ2020年に走るはずだった東京マラソンは権利は移行を続けてお
ECSを触っていて今まで難しいと思ったことを雑にまとめておく。 ECSを仕事で運用するときに必要な知識が多すぎる。こんなの社内に1人AWSマスターいないと無理だ...— 神速 (@sinsoku_listy) 2021年8月10日 タスクロールとタスク実行ロールの違い ECSを長く触っているのに、いつも混乱する。 タスクロール コンテナ内の権限 S3やSESなどの権限をつける タスク実行ロール コンテナ外の権限 ECRやParameter Storeの権限をつける ECSのデプロイ時に静的ファイルが404になる ECSを触った初期に遭遇した。 詳細は以下のQiitaの記事が分かりやすい。 参照: ECSのデプロイ時に一定確率で静的ファイルが404になる問題を回避する 回避する方法はいくつかある。 静的ファイルをS3に置く CodeDeployの OneAtATime を使う CodeDep
2016/06/03 AWS Summit Developers Conference DevCon-Use Case Track
こんにちは。 @amsy810 です。 下記のブログが出てから『Kubernetes は運用しきれない』と耳にすることが多くなってきたので、雰囲気で曲解されて Kubernetes is difficult とならないよう、マネージドでシンプルに使うだけなら難しくないよと伝えるために書きました。 Kubernetes がいいよと伝えるためではありません。 yakst.com TL;DR 上記のブログについては概ね同意見です。 辛いのは自前で Kubernetes クラスタの管理自体を行う場合です。 GKE などのマネージド Kubernetes サービスを利用するケースでは、Kubernetes の管理は殆ど必要がなくなります。 例えば GKE の場合には、自動クラスタアップグレード・自動クラスタスケーリングなどが用意されています。他にも自動ノードプロビジョニング機能（CPU・メモリ・GP
コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ
はじめに SREチームの @minamijoyo です。 先日 CrowdWorks (crowdworks.jp) の本番環境のRailsアプリケーションを Docker (AWS ECS: Elastic Container Service) に移行しました。 CrowdWorksは2012年にサービスを開始し、2019年10月現在、ユーザ数は300万人、月間で数億円規模のお仕事がやりとりされる、国内最大級のクラウドソーシングプラットフォームにまで成長しました。 サービスの規模拡大に合わせて、ソースコードも数十万行規模に成長し、 決して小さくはない規模のRailsアプリケーションに成長しました。 CrowdWorksの開発環境にDockerが導入されたのはもうかれこれ3年半前の2016年の4月頃、2017年1月頃にはCrowdWorks本体から切り出された一部の機能で本番環境に投入され
自分がニッチだと思っているテーマについて発表する「Qiita Engineer Festa 2023〜私しか得しないニッチな技術でLT〜」。ここで株式会社SonicGardenの遠藤氏が登壇。LambdaとFargateを組み合わせた実行環境について話します。 遠藤氏の自己紹介 遠藤大介氏：今日は「AWSのLambdaとPlanetScaleを組み合わせると、超絶スケールするWebアプリを作れちゃうぜ」という話をしていこうと思っています。 最初に自己紹介です。遠藤と申します。SonicGardenという会社で、プログラマーと執行役員をやっています。インフラと機械学習などが好きで、趣味もプログラムで仕事もプログラムな感じの人間なんですが、最近は機械学習周りが盛り上がっているので、そっちもいろいろやっています。 あと、ロードバイクに趣味で乗っているのですが、最近ちょっと乗れていません。それから
Whether you're looking for compute power, database storage, content delivery, or other functionality, AWS has the services to help you build sophisticated applications with increased flexibility, scalability and reliability
dockerの公式のGet Startedのドキュメントが今のコンテナ技術の概念をいろいろ学べてお得 - $shibayu36->blog;
https://docs.docker.com/get-started/をやってみたのだけど、今のコンテナ技術の概念をいろいろ学べてお得だった。 Orientation and setup | Docker Documentation で、コンテナとVMの違いって何？というのが分かる Redirecting…でpythonのwebアプリを動かしながら、Dockerfileやコンテナやイメージの概念を学べる Redirecting…で、docker-compose.ymlとdocker swarmを用いて、コンテナをデプロイするのをやる これでコンテナをスケールさせてデプロイするイメージが分かる Redirecting…で、複数のノードに分散してコンテナをデプロイするのをやる これでコンテナとクラスタ管理のイメージが分かる k8sとかECSとかがやっていることが分かるイメージ Redirec
はじめに 現在お手伝いしているアカウンティング・サース・ジャパンにて、ECSを使ったDockerの本番運用を始めたので、その一連の流れについてまとめました。 税理士向け会計システムを扱うアカウンティング・サース・ジャパンでは最近Scalaでの新規プロジェクトが立ち上がってきており、既存のプロジェクトはJavaであったり、Erlangであったりと様々な言語が用いられていますが、インフラ人員が少ないということもあり、なるべくシンプルなインフラ構成を実現する必要がありました。 そういった中、各アプリケーションをDocker化することでインフラとしては共通基盤としてのDockerクラスタのみの管理になり、運用コストが下がるのではないかという仮説からDocker化を進めることになりました。クラスタを実現するに辺りKubenatesなどの選択肢もありましたが、今回はECSを選択し、下記のようにAWSの
AWS上のコンテナはネットワークをどう利用するのか？ ポート番号の扱いとDNSの仕組みを中心に｜ハイクラス転職・求人情報サイト AMBI（アンビ）
AWS上のコンテナはネットワークをどう利用するのか？ ポート番号の扱いとDNSの仕組みを中心に AWS、そしてネットワークの基礎知識は、なんらかのサービスを開発する際に不可欠なものです。本稿では、コンテナを利用してWebアプリケーションを開発するとき、Webアクセスはどのような技術を用いて成り立っており、どういったことに注意する必要があるのか、といった入門的情報をAWSに務める菊池之裕さんに説明してもらいました。 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン株式会社でシニアソリューションアーキテクト ネットワークスペシャリストを務めております、菊池之裕と申します。私は普段、ネットワークに関連したお客さまの技術的な導入支援や課題解決などの業務に従事しています。 読者のみなさんは、ネットワークについての基礎知識をどれくらい持っていらっしゃるでしょうか？ 普段、主にWebアプリケー
エンジニアの@macs_6です。 このブログでは社内のAWS EC2上で運用しているアプリケーション群をECS移行したプロジェクトについて紹介します。 ローカルの開発環境をDockerした話は以前の記事(複数の rails プロジェクトが共存する開発環境を Docker 化した話を晒してみる)で西辻が紹介しているので、そちらを参照して下さい。 概要 プロジェクトを始める前に感じていた課題 目指す状態 ECSを選択する理由 設計 移行のために必要な作業 Digdagによるスケジューリングについて ECSを使って見て気づいたこと 今後やりたいこと プロジェクトを始める前に感じていた課題 ローカル・本番で再現性のある環境を簡単に作れるようにしたい 簡単にスケールできるようにしたい コストを抑えたい ECS移行プロジェクトを始める前にはこれらの3つの事に課題感を持っていました。 1.ローカル・本番
ITmedia エンタープライズ：特集：前編 WebサービスをAmazonで知る――ECS 4.0でアフィリエイト (1/5)
最近はBlogなどでAmazonアソシエイト・プログラムを利用する人が多いだろう。しかし、Webサービスとして提供されているこのサービスは、比較的容易なプログラミングで可能性が広がることを知っているだろうか。 世界で最も利用されているWebサービス 「世界最大級のオンラインショッピングサイトといえるAmazonの販売商品情報データベースに直接アクセスができる」。いまだかつてない規模でのXML Webサービス導入は、Amazon.comの創立7周年を記念した2002年、まずは米国Amazon.comから導入されました。 2003年7月には、Amazon Web Service 3.0（AWS 3.0）として日本にも上陸。Blogやアフィリエイトのブームと相まって、AWS 3.0を利用した数多くのアプリケーションが開発されることとなりました。 そして、いまや世界中でいちばん利用されているWeb
メルカリのコンテナアーキテクチャを公開！ 利便性の高いアプリを実現する AWS 活用法 | Amazon Web Services
AWS Startup ブログ メルカリのコンテナアーキテクチャを公開！ 利便性の高いアプリを実現する AWS 活用法 2019年8月30日。AWS Loft Tokyo にて、AWS におけるコンテナサービスの解説とともに、株式会社メルカリにおける AWS Fargate、Amazon EKS の活用についてお話しいただくイベント AWS Containers talk with Mercari が開催されました。 このレポートでは、前半パートで株式会社メルカリの中河 宏文 氏による「メルカリ写真検索における Amazon EKS の活用事例とプロダクトにおける Edge AI Technology の展望」の模様を、後半パートで株式会社メルカリ 高橋 三徳 氏とアマゾン ウェブ サービス ジャパン株式会社のソリューションアーキテクト 塚田 朗弘、原 康紘による「Fireside Cha
2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「Amazon ECS の安定運用のために」に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用 鈴木康平氏：「Amazon ECSの安定運用」というタイトルで発表したいと思います。今回のアウトラインとしては、「ECSをどう使うか」みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。 内容としては、
Windows7環境なのにdocker入れて開発することになった話【②システム構成編】 - Qiita
はじめに 1章では、環境構築をしてきました。しかし、どのようなアプリケーションを作るか、何も考えていませんでした。基盤は整ったものの、何を作るか決めないことにはシステムは開発できません（当たり前）。そこで、本章は以下の順序で記述していきたいと思います。 要件の検討 システム構成の検討 不足していたライブラリ・ソフトウェアの導入 動作確認 まだまだタイトルのdockerに触れるには時間がかかりそうで、タイトル詐欺もいいところですが、是非一読ください。1章同様、指摘・要望お待ちしております。 辞書整理 本文章（第2章）を読む上で頭に入れておいたほうが良い文言をピックアップ。文中分からない文言が出たら見返してください。（不足あれば、コメントいただけたら追記していきます） スクレイピング WebページからHTMLデータを収集・抽出し、整形・加工すること。 似たワードにクローリングがあるが、クローリ
おはようございます。一番よく使うemojiは 👀 (:eyes:) のうなすけです。 さて弊社では、最近社内Railsアプリをひとつ構築しました。それをECSで運用することにしたので、そこに至るまでの経緯、つまづき、これからの課題などなどを記事にしていこうと思います。上の図は現時点での簡単なAWS上での構成図です。 以下、見出しは時系列順でやったことを記録していきます。 社内Railsアプリ、一体どんなもの？ ここで新規に構築することになった社内Railsアプリですが、特に凝ったことはしていない単純なRailsアプリです。初めからECSで運用することにしていたので、開発環境も全てDockerで構築しています。Railsのバージョンは5.1.0、Docker imageのFROMにはruby:2.4.1-silmを採用しています。 Docker imageのtagについて developm
「コンテナ・サーバレスがもたらす世界と開発者がAWS上で取り組むべきこと」というタイトルで登壇しました - How elegant the tech world is...!
はじめに お久しぶりです。2021年末以来の投稿になります。 先日、とある金融情報サービス系の会社に所属する知り合いの方から、「AWS × アプリケーション開発者 × コンテナ に関連したトピックで社内向け勉強会にて講演してくれないか？」とご相談をいただき、「コンテナ・サーバレスがもたらす世界と開発者がAWS上で取り組むべきこと」というタイトルでお話させていただきました。 その会社様は、これからまさにシステムをAWS上のコンテナ技術で刷新していく取り組みを推進されており、アプリケーション開発者に刺激を与えたり知見を獲得する上でも、ぜひお願いしたいとのことで、僭越ながらお話させていただきました。 ただ、今回の登壇内容は、勉強会の参加者のみならずその他の幅広いエンジニアの方々にも役立つのかな、との想いもありました。 そこで、先方に許可をいただき、多少デフォルメして資料を公開することにしました。
Docker on AWS: AWSのコンテナ関連サービスの選定例の紹介 | Amazon Web Services
Amazon Web Services ブログ Docker on AWS: AWSのコンテナ関連サービスの選定例の紹介 本記事ではこれからAWS上でDockerコンテナを活用される方向けに、AWSのコンテナ関連サービスのどれを選択すると良いかの一例を紹介します。前提としては、example.com社の技術者Aさんが、自社のWebサービスをAWS上で構築するにあたって構成を決めるために、AWSのソリューションアーキテクト(SA)に相談するという流れの記事になります。AWSのどのサービスを使うかのご参考に是非ご覧ください。※こちらの選定はあくまで一例です。要件によっては選択すべきAWSのサービスが異なる点、予めご了承ください。 Dockerコンテナの基礎については以下をご覧ください。 https://aws.amazon.com/jp/docker/ AWS Black Belt Onlin
カミナシでの技術的負債返済プロジェクトとその決断 / Beyond tech debts at Kaminashi
Talked at 「スタートアップと技術的負債」 #SELECKLIVE https://yumemi.connpass.com/event/255925/
SmartNewsのサーバーサイドのすべて 大規模サービスを支えるアーキテクチャと技術スタック サーバサイドの技術スタック・アーキテクチャ総ざらい 2019年5月28日、「SmartNews Tech Night in Fukuoka Vol.1」が開催されました。日米4,000万ダウンロード (※1)を超えるニュースアプリ「SmartNews」の今と、技術にまつわる裏側について包み隠さず語る本イベント。プレゼンテーション「サーバーサイドの技術スタック・アーキテクチャ総ざらい」に登壇したのは、SREチームのEngineering Managerを務めるNobutoshi Ogata氏。SREチームの立ち上げを行い、EMとして活躍する同氏が、SmartNewsに用いられるサーバーサイドの技術について明かします。※1:日米Google Play、App Storeのダウンロード数を合算した数値
技術部開発基盤グループの鈴木 (id:eagletmt) です。 クックパッドではほとんどの Web アプリケーションが Amazon ECS 上で動く状態となり、またマイクロサービス化や新規サービスのリリースにより Web アプリケーションの数も増えていきました。 個々のアプリケーションでは Docker イメージを Jenkins でビルドして Amazon ECR にプッシュし、Rundeck から hako を用いて ECS にデプロイし、またその Web アプリケーションからは Amazon RDS、Amazon ElastiCache 等のマネージドサービスを活用しています。 このように多くの Web アプリケーションが存在し、また各アプリが別のアプリや AWS の様々なマネージドサービスを利用している状況では、どのアプリが何を使っているのかを把握することが困難になっていきます
こんにちは、開発基盤の Taiki です。今回は、マイクロサービスで必須のコンポーネントとなりつつあるサービスメッシュについて、クックパッドで構築・運用して得られた知見についてご紹介できればと思います。 サービスメッシュそのものについては以下の記事や発表、チュートリアルで全体感をつかめると思います: https://speakerdeck.com/taiki45/observability-service-mesh-and-microservices https://buoyant.io/2017/04/25/whats-a-service-mesh-and-why-do-i-need-one/ https://blog.envoyproxy.io/service-mesh-data-plane-vs-control-plane-2774e720f7fc https://istio.io/
基礎から応用までじっくり学ぶECS Fargateを利用したコンテナ環境構築 #Fargate | DevelopersIO
こんにちはコカコーラ大好き、カジです。 7/3に行われたDevelopers.IO 2020 Connect で、「基礎から応用までじっくり学ぶECS Fargateを利用したコンテナ環境構築」というタイトルで、お話しさせていただきました。 ライブに来ていただいたみなさま、ありがとうございました！ お客様や自社の開発部門から、急に「次のシステムはコンテナ使いたい」と言われ、コンテナ実行環境を構築しなければならない状況に直面し、慣れない部分が多いと思います。 AWSにはコンテナ向けのサービスは複数あり、少人数でも運用しやすいのがECS Fargateです。そんなECS Fargateを中心に、実用的なコンテナ実行環境をどのように構築すれば良いのかについて解説しました。 目次 なぜコンテナ? なぜECS Fargate? AWSコンテナ関連サービス コントロールプレーンのざっくり比較 データプ
【レポート】ロマサガRSの大規模トラフィックを捌くAmazon ECS & Docker 運用の知見 #AWSSummit | DevelopersIO
こんにちは。サービスグループの武田です。 プレイしてますか？ロマサガRS。私はやってます。総戦闘力はもうすぐ95万くらいです。メインスタ半にSSスタイル2倍キャンペーンなど、ハーフアニバーサリーのイベントで毎日忙しいですよね。AWS Summitに参加している場合じゃないですよ！いや参加している場合ですけども。 2019年6月12日（水）から14日（金）の3日間、千葉県幕張メッセにてAWS Summit Tokyo 2019が開催されています。こちらで講演されたセッション「I3-04 ロマサガRSの大規模トラフィックを捌くAmazon ECS & Docker 運用の知見」を聴講しましたのでレポートします。 AWS Summitでは全セッションで撮影が基本NGということですので、文字だけでお届けします。 概要 ロマンシング サガ リ・ユニバースではローンチ直後、想定の数倍以上のトラフィック
JAWS DAYS 2018
今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここでSr. Product Developer Advocate, Elastic Containersの原氏が登壇。まずは、コンテナワークロード超入門として、コンテナのデプロイ時とクラッシュ時に起こることを紹介します。全3回。 自己紹介 原トリ氏：オーナーシップの塊、トリです。本日はタイトルにあるとおり、アプリケーション開発者はAmazon ECSあるいはKubernetesといったコンテナオーケストレータのことを、どこまで知るべきかについて話します。もともと「どこまで知ればいいのか」というタイトルでしたが、思いが強すぎて「知るべきか」に変わりました。 あらためて
AWS でバッチ処理・定期実行する4つの方法
4つのバッチ処理・定期実行方式の詳細情報それぞれのバッチ処理・定期実行方式について詳細を見ていきます。 EC2について使用するAWSサービスEC2 処理概要Linux系OSで用いられる定時実行機能であるcronのコマンドを使用する メリット昔からよく使われているcronの知識が使える デメリットEC2インスタンスを起動しておく必要があり、使っていない時間もコストがかかる 障害に弱い。EC2サーバに障害があると終わる サーバが複数になると管理が大変 SQS×ECS使用するAWSサービスEventBridge SQS ECS 処理概要EventBridgeでキューを生成。ECSコンテナでキューを取得して実行する メリットECSを起動しておくため、コンテナの起動時間を要さない。 デメリットEventBridgeでキューを生成するが、EventBridgeはまれに1 つのイベントに対して複数回トリ
みなさん，Docker使ってますか？ 開発環境に導入する話はよく聞きますが，本番Dockerで運用してますか？ 本番をDockerにする上で障壁になりそうなホットデプロイ． 普段，コンテナではなくインスタンス上で直接サービスを動かしている限り，そこまで苦労はしていないんじゃないだろうか． たとえば，Railsであればunicornなどは，graceful restartに対応している． そのため，デプロイの際にサービスを止めずにデプロイすることができるのは，当たり前のことに思える． しかし，Dockerとなると，ポートという障壁が出てきて，一筋縄ではいかない． ECSのような楽な解決方法がある一方で，Docker swarmを使うようなシーンでは，やはり一筋縄ではいかないのではないだろうか． お題 本番にDockerを導入するにあたり，以下のような環境を前提として試していた． 中に入れるの
Bridge Word
This shop will be powered by Are you the store owner? Log in here
Cloud Native Days Tokyo 2022 Session: https://event.cloudnativedays.jp/cndt2022/talks/1518
大江戸Ruby会議06 トーク資料
speakerdeck.com 去年の10月にAWS DevDayに招待いただいて話した資料を今更公開します。 現状のシステムを説明するとともに、僕が入社後取り組んだ細かい取り組みについての内容になっています。現状の規模の雰囲気を掴んでもらうために最初の方は製品や会社説明っぽくなっていますがご容赦ください。 Nature Remoは所謂IoTサービスで、システムの裏側が気になる人も多いんじゃないかと思いますが、実は結構オーソドックスなWebシステムで動いています。メインは、Amazon ECS上で動くGoのWebシステムで、IoTデバイスであるNature Remoの通信もWeb Socketが用いられています。 IoTの世界ではありますが、実は普通のWeb技術が使われているのが面白いポイントです。 エンジニア積極採用中です! Natureではこのシステムをより良くしてくれる「普通の」We
IFTTTやZapierのようなワークフロー自動化OSSのn8nをECS on Fargate上に建ててみた | DevelopersIO
こんにちは、臼田です。 みなさん、業務の自動化してますか？(挨拶 今回は少し前に話題になったワークフロー自動化OSSのn8nを触ってみたいと思います。 n8n IFTTTやZapierのようなサービスを自前で構築して使用できるオープンソースn8n このツールはnpmでインストールして使うことが出来ますが、dockerイメージも用意されていたのでECS on Fargateでやってみたいなーと思ったのでやってみます。ちなみに私はECS初心者です。なのでついでにECSやFargateを初めて触る人でも最低限同じように環境構築できるように意識してまとめてみます。 n8nとは n8nについてもう少し説明します。 先述しましたがn8nはオープンソースのワークフロー自動化ツールです。何かの動作をトリガーにアクションが始まり、条件分岐などをしながら次のアクションを実行できます。下記のイメージ図がわかりや
以下、ざっくり説明していきたいと思います。 > Web Server/Workerの移行Web Server/Workerの移行 従来はHeroku(US region)にサーバがあったため、日本からのアクセスの場合チューニングをどう頑張っても数百msの遅延がありました。これをAWS(Tokyo region)に移行することで、ページを表示するのに要する時間が1/2 ~ 1/3まで改善されました。 > DockerDocker 移行開始直後は自分が不慣れなこともあり、このタイミングでDockerを採用する気はありませんでした。しかし、実際にECS上でのデプロイを検証したり、Dockerについて学習するうちに移行のイメージが掴めてきたのでDockerを採用することにしました。 もともとHerokuで動いていて The Twelve-Factor App にほぼ沿っていたので、やってみるとDo
【資料公開】AWS Summit Tokyo 2017にてDMMのAWS移行について紹介してきました - DMM.comラボエンジニアブログ
2017 - 06 - 02 【資料公開】AWS Summit Tokyo 2017にてDMMのAWS移行について紹介してきました Tweet Share on Tumblr 本日AWSSummitにて岩崎、飯田、西村の3名が登壇して来ました！ 『DMMにおける会員基盤プラットフォームへのAWS導入から活用事例の紹介』 と言うタイトルでお話をさせていただきました。 導入時期が特段早かったという訳ではないですが、 開始してからはかなりのスピード感で移行を行うことが出来たと考えております。 内製DMM API GatewayのAWS移行で特にお伝えしたいポイントは４点 ・オンプレミスのミドルウェア⇒AWSのマネージドサービスの置換 ・EC2パラメータストアによるシークレット値管理 ・ElastiCache Redis Clusterの選定理由 ・Multi-AZ構成環境下のシステム統
AWS Application Load Balancer + Amazon ECS でDockerのホットデプロイ環境を構築した - Glide Note
TL;DR AWS Application Load Balancer(以下ALB) + Amazon ECS でDockerのホットデプロイ環境を構築した ALBのTarget GroupとECSのServiceを紐付けることで、ALB配下のコンテナの入れ替えが自動で行われるようになる ALBは先日リリースされたばかりで、私もまだ色々と検証している段階なので、内容や認識等に誤りがあるかもしれないのでご容赦下さい。(詳しい人教えてください!!) その他弊社の前提情報 GitHub + CircleCIが連携済み Docker RepoにはAmazon EC2 Container Registry(以下ECR)を利用 DeployはGitHubのデプロイブランチへのマージを契機にCircleCI経由で、Docker Pushとecs-deployでDockerデプロイを実施 準備 ALBとE
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドの検索反映時間を 1/288 にしたシステム改修 - クックパッド開発者ブログ
人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
AWSの膨大な公式情報を一括して爆速検索可能なサイト「AWS Stash」 | DevelopersIO
毎日生まれ変わるセキュアな踏み台サーバ - Hatena Developer Blog
ECSを運用で使っていて難しいと思った点 - アジャイルSEの憂鬱
Docker だらけの FRESH な動画配信プラットフォーム
Kubernetes は辛いのか？ - @amsy810's Blog
AWS Lambda×Fargate×PlanetScaleを組み合わせれば、超絶スケールするWebアプリを作れる 約2ドルから作れる“ニッチで俺得な”環境の布教
Cloud Computing Services - Amazon Web Services (AWS)
Amazon ECSを用いたDocker本番運用の実現 - Qiita
会社の本番環境をDocker(ECS)に置き換えるために準備したこと気づいたこと
Amazon ECSを安定運用するためにやっていること コンテナインスタンス、ログ、モニタリングにおける工夫
RailsアプリをECSで運用するまでにやったこと、これからしていくこと - スパイスな人生
SmartNewsのサーバーサイドのすべて 大規模サービスを支えるアーキテクチャと技術スタック
Web アプリケーションを把握するためのコンソール - クックパッド開発者ブログ
Service Mesh and Cookpad - クックパッド開発者ブログ
コンテナを守る技術2018/container-security-20180310
アプリケーション開発者はどこまで知っているべきなのか？ 前提知識整理のための、コンテナワークロード超入門
Dockerに載せたサービスをホットデプロイする - PartyIX
バッチシステムをクラウドネイティブにするために考えたこと
Docker時代の分散RSpec環境の作り方 // Speaker Deck
Nature Remoのシステムの裏側についての資料を公開します - An Epicurean
diary/2016/03/30/インフラの引っ越しを行いました