7年続いたサービスをEC2構成からECS構成へ乗り換えた話 - KAYAC engineers' blog
この記事は Tech KAYAC Advent Calendar 2021 の20日目の記事です。 こんにちは、バックエンドエンジニアの @commojun です。今年のTech KAYAC Advent Calendarは3度めの参戦です！よろしくお願いいたします！ 本日の記事は、昨年の記事の続きで、Amazon EC2のプロダクトをAmazon ECS構成へと乗り換えた話になります！ techblog.kayac.com 目次 目次 背景 Amazon Linuxのサポート終了 ついでにPerlのバージョンもあげた 苦労したポイント 1，デプロイ方法がめっちゃ変わる デプロイのために都度コンテナイメージを焼く 2階建て作戦 2，batchサーバどうするの問題 sqsjfr + SQS + sqsjkr 作戦 3，泥臭い戦い ecspressoの存在 非エンジニアにもわかってもらおう 「
ecspresso と lambroll で tfstate からの値参照に対応した - 酒日記 はてな支店
Amazon ECS デプロイツール ecspresso と AWS Lambad デプロイツール Lambroll で、設定ファイル中に tfstate (Terraform state file)の値を検索して使えるようにしました。 これまで面倒だったところ ecspresso ではサービスとタスク定義、lambroll では関数定義を JSON で用意します。 その JSON の中では {{ env "FOO" }} のような記法で環境変数を展開してから読み込む機能があります。 デプロイや環境ごとに可変になる部分を、デプロイ時に環境変数によって外から与えることで定義ファイルをいちいち更新しなくていいという作りになっています。 しかし、たとえば ecspresso のサービス定義には以下のように、subnet, security group, LB target group などの I
runc脆弱性に対応するためにうっかりECSからFargateにしました - KAYAC engineers' blog
こんにちは、ソーシャルゲーム事業部ゲーム技研チームの谷脇です。今日は一石n鳥の話、もしくは桶屋が儲かる話をします。 この記事はTech KAYAC Advent Calendar 2019 Migration Trackの2日目の記事です。1日目はMongoDBであるメリットが無くなってしまったのでMySQLに移行したはなしでした。 TL;DR カヤック社内で内製の開発版スマホアプリを配るための配信プラットフォーム「alphawing」を開発・運用してます alphawingはEC2上で動くAmazon ECS(以下ECS)で動いていました コンテナランタイムruncでの脆弱性 CVE-2019-5736 がでてきたのでどうしようどうしようとなりました そのあと様々な検討があり、えいやっとAWS Fargate(以下Fargate)に持っていきました 背景 ゲーム技研チームではソーシャルゲ
月間1600万PVを誇るECサイトの裏側を聞く！クラシコム×カヤック合同勉強会 - KAYAC engineers' blog
こんにちわ、こんばんわ、おはようございます、谷脇です。 今回は、北欧、暮らしの道具店を運営している株式会社クラシコムさんとカヤックで、合同勉強会を行いました。この記事では、その模様をお伝えします。 クラシコムさんの社内勉強会「ヒュッゲ」 クラシコムさんのオフィスにカヤックのメンバーがお邪魔して、勉強会を行いました。勉強会をした部屋はこのような感じです。 クラシコムさんでは月1回程度、「ヒュッゲ」と呼ばれる勉強会を開催しているそうです。「ヒュッゲ」はデンマーク語で「居心地の良さ」という意味です。名前の通り、会場は居心地よく、温かい雰囲気の中で勉強会は行われました。 クラシコムさんのレポートは 月間1600万PVのECサイトの裏側！カヤック×クラシコム合同勉強会しました になります。 それでは、各発表を簡単に振り返っていきます。 まずは自己紹介 まず、クラシコムさんの技術スタックや社員のみなさ
Terraform どこで実行していますか？ – mixi developers – Medium
ミクシィでの仕事も気づいたら8年目を迎えていました。キャンプとクラフトビールが大好きです。普段はSREをやっている清水と申します。本記事は、ミクシィグループ Advent Calendar 2018 23日目の記事です。 私は、2018年2月から「家族アルバム みてね」というサービスでSREを担当しています。それまでは、約3年ほど「モンスターストライク」のSREを担当していましたが、みてねのSREに変わったことで本当に大きな変化がありました。SREというロール自体は変わりませんが、サービスの性質、規模、組織、インフラ、アーキテクチャ、トラフィックのパターンなどにおいて大きな違いがありました。それぞれの特性を理解、把握し、日々多くの課題解決に取り組んでいます。 9月のMeetupでは「みてねSREチームの取り組み」と、約半年間みてねのSREとしてやってきたことを発表しました。また、10月のA
[発表]Amazon API GatewayでWebsocketが利用可能 | Amazon Web Services
Amazon Web Services ブログ [発表]Amazon API GatewayでWebsocketが利用可能 本日より、任意のサーバーをプロビジョニングして管理することなく、Amazon API GatewayでWebSocket APIを使用して双方向通信アプリケーションを構築できます。 HTTPベースのAPIは、リクエスト/レスポンスモデルを使用して、クライアントがサービスにリクエストを送信し、サービスがクライアントに同期して応答します。 WebSocketベースのAPIは本質的に双方向です。 これは、クライアントがメッセージをサービスに送信し、サービスが独立してメッセージをクライアントに送信できることを意味します。 この双方向の振る舞いにより、クライアント/サーバーとのやりとりがより豊富になります。これは、明示的なリクエストをする必要のないクライアントにデータをプッシュ
![[発表]Amazon API GatewayでWebsocketが利用可能 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/0fc257e8ac5c0a4234f0ec8727a86934bb55480e/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2F827bfc458708f0b442009c9c9836f7e4b65557fb%2F2020%2F06%2F03%2FBlog-Post_thumbnail.png)
ぼくポケ公式サイトをAWS Lambda@Edgeを使って移行してみました - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2017の1日目の記事です。 昨日に引き続きハイサイ〜！ ソーシャルゲーム事業部 で ぼくらの甲子園！ポケット のサーバサイドの担当をしております 谷脇 です。インターネットではマコピーだとか、 mackee だとか @mackee_w だとかで呼ばれています。会社もインターネットなので同様です。 去年のAdvent Calendarでは以下のような記事を書いております。 techblog.kayac.com というわけで、 ぼくらの甲子園！ポケットの公式サイト を AWS Lambda@Edge を使って移行した話をします。 TL;DR ほぼ静的なコンテンツをホスティングするのにEC2を使うのは管理コストが高くなる 過去には動的な機能があったが、機能を削るにつれて見合わなくなり管理コストが高くなっていった 動的サイト時代の名
DynamoDB + Lambda + SSM でテストサーバーをポコポコつくる仕組み - KAYAC engineers' blog
はじめまして。カヤック技術部の杉山です。 主にクライアントワークでサービスを開発しています。 今回は、クライアントワークで運用している、テストサイトの仕組みに関して書きます。 「テストサイト」の概要 クライアントワークでは、日々たくさんの案件を開発しています。 それぞれの案件では、多くの場合、Webサイトもしくは、WebAPIを公開するためのサーバーが必要になります。 実際の公開時には、案件ごとに専用のクラウドコンピューティングサービスを契約し、セットアップすることになりますが、 利用して良いサービスの確認が必要であったり、サービスの契約まで時間がかかったりするため、すぐには決まらない場合があります。そのため、開発時や検証時には、カヤック側でテストサイトを用意し、確認やプレビューを行っています。 さらに以下のような要望にも対応する必要があります。 出来るだけ時間をかけず開発環境を用意したい
Lobiで画像のWebp変換による通信量削減と調査のためにAWS Athenaを利用した話 - KAYAC engineers' blog
Lobiチームの吉村(moulin)です。 今回は、Lobiのチャットの投稿画像やユーザアイコンなどの画像ファイルをwebp形式で配信して通信量を削減した話について紹介します。 TL;DR 画像配信について 画像変換サーバのwebp変換対応 AWS Athenaを使ったCloudFrontのログの集計 画像配信について Lobiの画像配信ではAWS CloudFrontを利用しています。ユーザーから画像のリクエストがあった場合、CloudFrontにキャッシュが存在すればキャッシュを返します。無い場合は画像変換サーバにリクエストを渡して、画像を生成してもらいます。画像変換サーバが生成した画像をCloudFrontが受け取り、画像をユーザに配信します。一度ユーザに配信がされるとCloudFrontはその画像をキャシュするため、次からは同じ画像のリクエストが来た場合は画像変換サーバーにリクエス
AWS LambdaでS3に配置されたファイルをgzipする - Qiita
大量のファイルをgzipしたものをS3に配置したいニーズがあって、非力な手元のマシンで一旦gzipしてから転送するよりはLambdaにやらせたらいいのではないか？ということでやってみました。 以下のようなLambda functionを設置 大きなファイル(数十MB以上)を扱う場合はtimeoutをデフォルトの3秒から伸ばす。メモリも128MBでは足りないことがあるので512MBなど S3の読み書き権限があるIAM Roleを設定 S3のイベント通知でLambda functionをkick aws s3 sync で大量のファイルを同期してもアップロードが終わったファイルから順番に処理が走るので、同期が終わった数秒後にはgzipされたファイルが生成されている状態になります。 var aws = require('aws-sdk'); var zlib = require('zlib');
AWSのインスタンス高過ぎワロタ。探せば安くて美味いところはあります。 - Qiita
Micro ($14.40/mo) Name / UNIX Bench / I/O / Bandwidth Small ($46.80/mo) Name / UNIX Bench / I/O / Bandwidth DigitalOcean 512MB ($5.00/mo) Name / UNIX Bench / I/O / Bandwidth VULTR 768MB ($5.00/mo) Name / UNIX Bench / I/O / Bandwidth 結論 micro, smallが現役ではないとはいえ（一年以上前のbenchだし）、x10のオーダで値段が違いますね。 microはユーザを馬鹿にしているかのような性能ですね。 しかも、AWSはアホみたいに転送料が高いですが、DigitalOcean、VULTRともに1TB以上の転送料が無料で付属しています。（AWSでは$100-2
AWSにおける静的コンテンツ配信パターンカタログ（アンチパターン含む） | DevelopersIO
独自ドメインSSLだとCloudFront使えないから横綱無理だよねー、という話がありました。うん、確かにそうでした、執筆時点では…！ 本日2013/06/12、CloudFrontの独自ドメインSSL対応が発表（英語・日本語）されましたので、みなさん揃って横綱になればいいと思います。 よく訓練されたアップル信者、都元です。AWSを利用して構築した環境から、クライアント（モバイルやブラウザ等）に対してHTTPを使って静的なコンテンツを配信したいケースって、多いですよね。多いというか、むしろどんなシステムにも多かれ少なかれ、静的なコンテンツ配信があると思います。 スケーラビリティ・柔軟性・可用性・パフォーマンス・コスト 静的なコンテンツというのは、コンテンツをリクエストに応じて生成したりせず、完成品としてのファイルが手元にある状態です。例えば、多くのWebシステムにおいて、ほとんどの画像やJ
RDSの負荷状況を知りたかったのでCludWatchのAPIを叩くために書いた簡単なRubyスクリプト · さよならインターネット
February 25, 2013 CloudWatchのAPI、プログラミング初心者にとって鬼門っぽい。 {% gist 5024321 get_cloudwatch_rds.rb %} こんな感じで適当に叩いたら良い感じに取ってきてくれます。 デフォルトの*metirc_name*パターンはコメントアウトに書いてます。 start_timeとかperiodいじると返ってくるデータパターンが変わってくるので 色々遊んでみてください。 ついでにEC2のデータもとってくれるようなの書いてみたんですが デフォルトで手に入るメトリクス少ないので CloudWatchでデータ取るなら自分でメトリクスつくらないとダメですね。 {% gist 5024321 get_cloudwatch_ec2.rb %} Enjoy CloudWatch API!
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
