歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－ - NRIネットコムBlog
本記事はNRIネットコム Advent Calendar 2021 1日目の記事です。 🎄 0日目 ▶▶ 本記事 ▶▶ 2日目 🎅 小西秀和です。 現在、AWSでは年に一回のAWS re:Inventというイベントの真っ最中で多数の新サービスの発表やセッションがおこなわれています。 そんな状況ですが、今回は当ブログ初のアドベント企画ということで、最新情報とは真逆のアプローチで記事を書いてみました。 最新情報を追うことに疲れた方はこちらの記事で、自分の歴史と照らし合わせながらチルアウトしてみてはいかがでしょうか。 さて、今回のテーマはAmazon S3の年表を作って歴史やアップデートを振り返ろうというものです。このテーマにしたきっかけは2つあります。 まず、1つ目は2006年3月14日にサービス開始したAmazon S3が今年、2021年3月14日に15周年を迎えたことです。 そして2つ
こんやっぴー👾 カバー株式会社 技術開発本部のSです。カバー株式会社では組織横断的にSRE(Site Reliability Engineering)やサーバーサイドのエンジニアをしています。 2023年5月に入社し3ヶ月ほどホロプラスのパフォーマンスチューニングや開発環境の整備をしてきましたので、今回はそちらについてご説明します。 ホロプラスとは？ホロプラスは「推しをもっと好きになる！」がコンセプトの、ホロライブプロダクション公式アプリです。先日8月29日に正式リリースされました。主に、以下の二つの体験を提供します。 ホロライブプロダクションの最新情報が公式アプリならではの機能で手軽に逃さずチェックできる 共感でつながるファンコミュニティで投稿やいいねを通じたコミュニケーションが楽しめる ※画面は開発中のイメージですホロプラスのシステム構成ホロプラスは図のようなシンプルな構成でGo言語
AWS Black Belt Online Seminar 一覧リストを作成しました (2024.3.8現在) | DevelopersIO
AWS Black Belt Online Seminar の全リストを一つページにまとめてみました。 AWSの学習に活用してください。 AWS認定トレーニング講師の平野@おんせん県おおいたです。 AWSの学習に最もオススメのコンテンツがAWS Black Belt Online Seminar（以下、Black Belt と略します）です。10年以上前から AWS Japan のみなさんより提供されてきて、AWSを学ぶエンジニアにとってバイブルのような存在です。私を含め、クラスメソッドの多くのエンジニアも、Black Belt にお世話になってきました。 以前は Black Belt のコンテンツ数もそこまで多くなく、1つのページに全リストが表示できていました。しかし、現在は複数ページで絞り込みながら目的のコンテンツを探すスタイルに変更されています。 目的を持って探す場合は便利なのですが
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><div id=\"kiji_bottom-banner\">\n<p style=\"padding:10px;\"><a href=\"https://www.asahi.com/senkyo/shuinsen/2021/?iref=kiji_bottom_banner\" style=\"display:block;\"><img src=\"https://www.asahicom.jp/senkyo/shuinsen/2021/images/shuinsen2021_660x100.jpg\" alt=\"2021衆院選\" style=\"width:100%;height:auto;\"/><
先日朝日新聞社によって長文要約APIがリリースされました。要約をAPIで取得できるという点が面白いと感じたので、このブログ（blog.3qe.us）の記事を閲覧したときに自動的に要約を見られるような仕組みを作ってみようと思い、1週間ちょっとかかってしまいましたが動くものができたので紹介します。 www.itmedia.co.jp 記事冒頭に要約コーナーを出現させる この仕組みによって、記事の冒頭に要約コーナーが勝手に出現して要約を表示します。 こんな感じで要約が表示されます いくつかの記事では既に生成ができていますが、API自体は1日に20回までの制限があるので、全ての記事にはまだ行き渡っていません。 まだ要約が生成されていない記事にはpreparing abstractという文言が表示されます。 キューに入った状態 句読点の問題かちょっと要約が怪しいところもありますが、おおむね正しい要約
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
N予備校のバックエンドは、2016年のリリース当初からマイクロサービスアーキテクチャを採用しています。 この記事では、N予備校のマイクロサービスアーキテクチャについて、主にアプリケーション側の観点からご紹介していきます！ 目次 目次 N予備校の全体構成 なぜマイクロサービスにしたか？ 採用しているマイクロサービスのデザインパターン Decomposition/サービスの分割 Data management/データ管理 External API/外部API, Orchestration/オーケストレーション Communication/コミュニケーション Deployment/デプロイ, Service discovery/サービスディスカバリ 利用しているフレームワーク/サービス マイクロサービスの運用の難しさと今後の展望 課題: 責務の分割へのハードル 今後の改善方針 We are hi
2020年4月20日18:58頃に発生したSQS/Lambda/CloudWatchの障害への対応 20時12分に対応を開始。それからリリース、動作確認が取れたのが21時25分でした。 オミカレでもAWSのSQS/Lambda/CloudWatchを利用している。主にメールやPush通知を送信しており、これが止まれば 会員登録・予約 などの様々なユーザー体験が損なわれる。 なので対応を議論していたところ 天才的ひらめきですぐに移すことに取り掛かった。 結果から行くとSQSとLambdaのリージョンを移行するという手で解決できた。 移行先は近場、白羽の矢は香港か、シンガポールでした 距離で行くと香港だというはなしでしたが、香港に行くとリージョンの有効化から始めないといけないしなにかのwarningが出ているのでシンガポールにすることにした。 SQSの障害だけ察知していたのでSQSのリージョン
こちらはエムスリー Advent Calendar 2023の22日目の記事です。 こんにちは、エムスリーエンジニアリンググループ、デジスマ診療チームの山本 (id:shunyy) です。 医療機関向けSaaSであるデジスマ診療は、開発開始からちょうど3年が経ち、現在では予約・問診等、多様な機能を提供していますがリリース当初は決済機能のみを提供していました。そんなデジスマのコア機能である決済機能はStripe Connectを利用しており、今回は3年間運用した学びを共有したいと思います。 デジスマ診療のプロダクトの内容は以下のスライドを御覧ください。 speakerdeck.com そもそもStripe Connectとは何なのか Stripe Connectのアカウントタイプ・支払いタイプについて デジスマ診療の全体構成 追加開発事例 Amazon AppFlowを利用したBigQuer
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
【AWS】AWS認定『ソリューションアーキテクト- アソシエイト』(SAA)に未経験から合格した話：ふりかえり - Rのつく財団入り口
AWS認定の代表的な入門位置に属する資格『ソリューションアーキテクト- アソシエイト』(以下SAA)に実務未経験から一発合格できまして、多くの方にお祝いをいただきました。ありがとうございます。 いかに突破してきたかを試験後に振り返ってみるエントリです。まずは直接の学習に関わらない全体の振り返りから。 挑戦への経緯 きっかけ 書いている人のスキルセット(笑) AWSの実務経験とよく使うサービス やったこと 気持ちを切り替える 資格に挑戦することを宣言し、気持ちを高めていく イベントに行ってみる 学習記録をつけてみる ネット上の合格エントリを参考にする 最大の難関：学習時間の確保に立ち向かう 得られたことをアウトプットしてみる 理解が進んでいることを自分でも実感する 資格対策を苦行にしない 技術の変遷を楽しみながら学ぶ 挑戦への経緯 きっかけ 僕のところもグループ全体としてはAWSパートナーの
TerraformではなくCDKを使っている話 | MoT Lab (GO Inc. Engineering Blog)
(これはMoT Advent Calender 2022の24日目です) データエンジニアの渡部徹太郎です。私の担当しているプロジェクトでは、Infra as CodeにTerraformではなくCDKというツールを使っているので、その話をします。 CDKの概要 CDKとはAWS専用のInfra as Codeツールです。正式名称AWS クラウド開発キット (AWS Cloud Development Kit）です。 CDKの特徴プログラミング言語でAWSのリソースを記述プログラミング言語はTypeScriptがメインだが、他にもJavaScript,Python,Java,C#でも記述できるAWSのリソースを表すクラスをNewすると、AWSのリソースができるイメージ実態はCloudFormationを吐き出してデプロイするツール。デプロイするとAWSのCloudFormationのSta
はじめに 必要に応じて検証環境の追加・削除などの管理をするのが面倒くさいので、PR作成時に検証環境を構築、PRマージ・クローズ時に検証環境を削除ができないか考えてみました。 今回の作成したGitHub Actions ワークフロー、Terraformなどはこちらのリポジトリにあります。 概要図 どのように実現したか 実現あたり、コンテナイメージのプッシュ、ECS サービスのデプロイはGitHub Actions、Terraformの実行はAWS CodeBuildで行うことにしました。 なぜTerraformの実行はCodeBuildを利用するようにしたかというと、CodeBuildはVPC内のリソース（今回の場合はAurora Serverless）にアクセスできるからです。 これによってアプリケーション、DBマイグレーション時に使用するMySQL ユーザーをTerraformで作成する
世界最大級の「完全栄養食サブスク」は、たった1人のバックエンドエンジニアが支えている！その極意を、BASE FOODの中の人に聞いてみた
テックカンパニーをテックカンパニーたらしめているものはなにか？技術か、人か、それともチームなのか。 連載「Technology Company Internals」では、テックカンパニーの内側で働くエンジニアに、技術に精通したエキスパートが対面で話を聞き、テックカンパニーとは何か？を探るだけでなく、テックカンパニーを目指す企業の指針となることを目指します。 今回は、ベースフード株式会社さんに、世界最大級の「完全栄養食（*）のサブスク」を支えるシステム開発の裏話を詳しく伺ってきました！ （*）1食で、栄養素等表示基準値に基づき、他の食事で過剰摂取が懸念される、脂質・飽和脂肪酸・炭水化物・ナトリウムを除いて、すべての栄養素で1日分の基準値の1/3以上を含む。 世界最大級の「完全栄養食サブスク」とは ―では、まず自己紹介をお願いします。 煙草森：はい、煙草森(たばこもり)直也と申します。新卒でD
Docker をフル活用して金融業界のシビアなパフォーマンス、セキュリティ要件に対応している株式会社Finatext石橋さんに、難しいポイントやアーキテクチャ上の工夫を伺いました – 後編 | Amazon Web Services
AWS Startup ブログ Docker をフル活用して金融業界のシビアなパフォーマンス、セキュリティ要件に対応している株式会社Finatext石橋さんに、難しいポイントやアーキテクチャ上の工夫を伺いました – 後編 みなさんこんにちは、スタートアップソリューションアーキテクトの塚田（Twitter: @akitsukada）です。前編に続き、株式会社Finatext の石橋さんにお話を伺っていきます！ 後編では、アーキテクチャや技術の選定をどのように考えてきたか、FinTech スタートアップとして不可避であるセキュリティ・コンプライアンスの高い要求をいかに合理的に対応してきたかなどをより深くお伺いします。 目次 前編 Finatext、スマートプラスと石橋さんについて 会社とチームが大きくなるにつれて生じた、創業期からの変化 FinTech、証券業界特有の技術要件とは？市場に合わせ
こんにちは。 メディアサービス開発部バックエンド開発グループのフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では株式会社一迅社さまの公式漫画連載サイトであり、ブックウォーカーが開発保守運用を担当している一迅プラスのサービスインフラの概要についてご紹介したいと思います。 もしよければ、前記事のニコニコ漫画のインフラ構成についてならびに読書メーターのインフラ構成についてもご覧ください。 一迅プラスについて 一迅プラスは株式会社一迅社さまが運営する公式漫画連載サービスです。 冒頭試し読みから連載まで、2022/06/10現在で150を超える作品が掲載されています。 一迅プラスのトップページ この一迅プラスにおいてブックウォーカーは開発保守運用を担当し
マイクロサービスの課題を解決する手段の一つとしてサービスメッシュが注目を集めている。だが、注目を集め過ぎるあまり、サービスメッシュを唯一の選択肢と考えてしまうきらいもある。そうした傾向に対し、「サービスメッシュが本当に必要なのかどうかについて、一度原点に立ち返って考えることが重要です」と説くのは、アマゾンウェブサービスジャパン シニアコンテナスペシャリスト ソリューションアーキテクト Hara Tori氏だ。 「Developers Summit 2020」に「サービスメッシュは本当に必要なのか、何を解決するのか」と題して登壇したHara Tori氏は、講演の中で「サービスメッシュはなぜ必要なのか」「何を解決してくれるのか」について、1つのサービスが成長していく姿になぞらえながら解説していった。 そもそも「モノリス」って何だ？ まず、何かのプロダクトやサービスを開発する場合、基本となるのは
2019年3月6日、Serverless Community(JP)が主催するイベント「Serverless Meetup Tokyo #11」が開催されました。世界各地で運営されているServerless Architectureやその周辺技術について情報を共有する本コミュニティ。今回は、株式会社Speeeのオフィスにて、6人のエンジニアがLTを行いました。プレゼンテーション「入門 Knative 〜KubernetesとServerless〜」に登壇したのは、 株式会社メルペイの杉田寿憲氏。講演資料はこちら。 入門 Knative ～KubernetesとServerlessとの出会い～ 杉田寿憲氏（以下、杉田）：『入門 Knative ～KubernetesとServerlessとの出会い～』というタイトルでお話しさせていただきます。この資料は#serverlesstokyoのハッシ
Kubernetes上でサーバレス環境を実現する「KEDA」がCNCFのプロジェクトに採用。サーバレスの標準化は進むか
Kubernetes上でサーバレス環境を実現する「KEDA」がCNCFのプロジェクトに採用。サーバレスの標準化は進むか マイクロソフトとRed Hatが中心となって開発してきた「KEDA」（Kubernetes Event-driven Autoscaling）が、Cloud Native Computing Foundation（CNCF）のプロジェクトに採用されたことが発表されました。 CNCFはKubernetesをはじめとするクラウドネイティブのためのオープンソースソフトウェア開発をホストする団体です。 KEDAは、Kubernetesのうえでイベントドリブンなオートスケールを実現することで、コンテナを用いたサーバレスコンピューティングの仕組みを提供するソフトウェア。 Kubernetesにも、オートスケール機能がありますが、これはCPUやメモリの負荷に反応してコンテナのスケールア
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
Amazon ECS と AWS Lambda で汎用 self-hosted runner を提供する基盤 - クックパッド開発者ブログ
技術部 SRE グループの @s4ichi です。ここ最近は本業に加えて Overwatch2 のヒーローとして戦いに明け暮れています。救わなければならないレートがある。 GitHub flow に従った開発では GitHub Actions が非常に便利です。特に最近では CI 用途だけでなく、ソフトウェアのデリバリーなども Actions で完結させる事例も見かけます。しかしながら、クックパッド社内では GitHub Enterprise Server を使っているため、GtiHub Actions の利用には self-hosted runnner の利用が不可欠になっています。 そこで、社内では Amazon ECS 上に ephemeral で汎用的な self-hosted runner を提供しています。実行する job の数に応じた autoscaling を備え、runn
2019年7月24日、ヤフー株式会社が主催するサーバーサイドエンジニア向けの勉強会「Bonfire Backend #3」が開催されました。第3回となる今回のテーマは「モバイル決済の裏側」。急速に成長するモバイル決済分野でサービスを展開する企業が一堂に会し、自社サービスの仕組みや技術スタックなど、知られざる裏側を語ります。プレゼンテーション「Kyashの今とこれから 〜Walletの学びとDirectの挑戦〜 」に登壇したのは、株式会社Kyashの松田優貴氏。toCのWalletサービス「Kyash」の仕組みと、新たに発表されたtoBの決済プラットフォーム事業「Kyash Direct」における挑戦について語ります。 Kyashの今とこれから 松田優貴氏（以下、松田）：こんばんは。Kyashの松田です。「Kyashの今とこれから 〜Walletの学びとDirectへの挑戦〜」ということで発
AWS Step Functions と Serverless Framework の使いどころ - Techtouch Developers Blog
こんにちは、フロントエンドエンジニアの尾崎です。 6月のボーナスでロボット掃除機（Xiaomi）とコードレス掃除機（makita）を購入し、在宅勤務がますます快適になってきました。 さて、今回の記事では、テックタッチで AWS Step Functions をどのように活用しているかをお伝えしていきます。 記事の前半では、Step Functions の概要を説明しながらテックタッチでの利用方法について、 記事の後半では、Serverless Framework との組み合わせ方や本番運用してみてわかった Tips など、より実践的な内容に触れていきます。 AWS Step Functionsとは何か 処理順序の管理 AWSサービスとの連携 ワークフロー、ステップについて ユースケースの例 テックタッチでの利用方法 技術的なチャレンジ これまでの課題 Step Functionsを使う S
【レポート】サービスメッシュは本当に必要なのか、何を解決するのか #AWSSummit | DevelopersIO
こんにちわ、札幌のヨシエです。 AWS Summit Tokyo 2019 3日目のA3-03で行われたセッションのレポートを書きましたのでご査収頂ければと思います。 登壇者 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 原 康紘 AWS 上でのマネージド・サービスメッシュを実現する AWS App Mesh や、Kubernetes ワークロードとの親和性が高い Istio など、サービスメッシュの世界には数々のプロダクトやソリューション、アイデアが生まれつつあります。本セッションでは、マイクロサービスにおけるベストプラクティスの集大成とも言えるサービスメッシュについて、その解決すべき課題と人々が熱狂する理由、サービスメッシュそのものの必要性について掘り下げます。同時に、サービスメッシュを実現する上で最も重要なコンポーネントの一つとも言える En
EC2のcronバッチを「EventBridgeをトリガーにStep Functionsを起動」に置き換えると、エラーハンドリングが快適になる
AWSのEC2で定期的なタスクを自動化するために、cronを使用しているケースも多いと思います。 しかし、Amazon Linux 2023ではcronがデフォルトで無効になっています。これはcron以外に、cronのようなバッチ実行・定期実行する仕組みがあるということなのかと思い、cronを使わずにE2上でバッチ実行・定期実行する仕組みを考えてみました。 そして、Amazon EventBridge、AWS Step Functions、およびAWS Systems Manager startAutomationExecutionを組み合わせて、EC2インスタンス上でバッチ・定期実行を試してみましたので、紹介します。 特に、Step Functionsを使用することで、エラーハンドリングや通知が容易になり、安全にバッチ実行できるようになります。 エラーハンドリングは以下の状態を把握したい
Pythonクローリング&スクレイピングの増補改訂版が出版されます - orangain flavor
Pythonクローリング&スクレイピングはおかげさまでご好評いただき、この度、増補改訂版を出版する運びとなりました。紙版は本日8/10発売で、電子書籍版は既に発売中です。 Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る クローリングやスクレイピングを扱う書籍は、対象として利用しているWebサイトの変化によって、サンプルコードが動かなくなってしまう宿命があります。初版を執筆した際は、なるべく考え方を伝えるようにすることで、たとえサンプルが動かなくなったとしても役立つ内容にすることを心がけました。 ですが、書いてあるコードがそのまま動くに越したことはありません。今回改訂の機会をいただいたことで、読者の皆様に学
はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの和田（@wadason）です。普段は「ファッションコーディネートアプリ WEAR」のSREとしてクラウドの運用やリプレイスをおこなっています。 WEARはサービス開始から10年が経ち、クラウドやオンプレミスを含む大小様々なシステムが稼働しています。アプリケーションを動かすための基盤にはAmazon ECSのようなコンテナを前提としたものから、オンプレミスのAPIやBatchを動かすIISまで幅広く扱っています。そうした中で、約1年前にSREチームが結成され、技術負債の脱却やクラウドを中心としたインフラの運用を行なってきました。当初取り組んでいた大規模なリプレイス案件も落ち着き、チームメンバーが増えてきたので、現在では分散した技術スタックをKubernetesへ統一するリプレイスプロジェクトを開始しています。 本記事で
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><div id=\"kiji_bottom-banner\">\n<p style=\"padding:10px;\"><a href=\"https://www.asahi.com/senkyo/shuinsen/2021/?iref=kiji_bottom_banner\" style=\"display:block;\"><img src=\"https://www.asahicom.jp/senkyo/shuinsen/2021/images/shuinsen2021_660x100.jpg\" alt=\"2021衆院選\" style=\"width:100%;height:auto;\"/><
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
【コードでインフラ定義】CDKという異次元体験をさくっとやるのに便利なAWS公式Workshopの紹介 | DevelopersIO
CDKを最初に試して見るには非常に便利なCDK Workshopの紹介です。ぜひこれでCDKの奥深い新鮮な世界に入門いただければ。 「俺もそろそろ乗らなくては、この、ビッグウェーブに！！」 皆さん、CDK触っていますか？DevelopersIOにも、CDK ｜ 特集カテゴリー で、既に20以上のブログがあがっていたり、その人気はうなぎのぼりです。 CDKとは一口で言えば「コードでインフラを定義する」ものです。「いやぁ、これ楽。素晴らしい」という声を同僚からよく聞くので、自分も早速試してみようとしたところ、CDK Workshopなるものを発見し、手を動かして学ぶには凄くわかりやすく良い教材だったので、その内容を紹介します。 CDK実行するための環境定義 LambdaとAPI Gatewayを利用した簡単なサービスの公開 モジュールの作り方 クラス構造の解説 デバッグ方法 モジュールの利用方
定時バッチをECS scheduled task + ecscheduleでお手軽管理する - BOOK☆WALKER inside
メディアサービス開発部モバイルアプリケーション開発課のtukiyo(id: tukiyo320)です。現在はニコニコ漫画のバックエンド開発を担当しています。 本記事では、Webサービスに付き物の定時バッチについて、ニコニコ漫画では現在どのような方針で管理・実行しているかをご紹介します。 ニコニコ漫画の構成おさらい 以下の記事に詳しいですが、ニコニコ漫画のバックエンドは4系統存在しています。どれも現在はAWS上に乗っており、PHPの現行システム以外はECS(fargate)で管理されています。 現行PHP(独自フレームワーク) 新バックエンド(Ruby on Rails) React向けBFF(Nest.js) 課金サブシステム(Ruby on Rails) developers.bookwalker.jp 本記事で扱うのは、ロジックの書き直しを目的とした新バックエンドが持つバッチとなります
Amazon SQSコンシューマー疎結合への旅 - 出張！ #DevelopersIO IT技術ブログの中の人が語る勉強会 #3
【SAP試験対策】IAMの勉強であやふやな理解だったポイントをしっかり整理する | DevelopersIO
AWS認定のSolution Architect Professional試験用に、AWS IAMに関連したキーポイントを断片的にまとめました。 「SAPの試験問題って、大学センター試験の国語に似てね？」 UdemyにあるAWS認定のSAP模擬試験を4本こなした結果、問題の傾向として気づいたことです。どう考えても絞りきれない選択肢が2つ3つあるんですよね〜。 私は受験教科の中で国語が一番苦手でだったので、塾の先生から「問題文に書いてあることに沿って、合っているものではなく、間違ってないものを選べ」と、しょっちゅう教えられていたことを思い出しました。SAPの試験でも同じように「問題の要件と関係ない用語が含まれている選択肢をまず消去し、選択肢が2つ残ってしまったら、問題文に書いてあることに沿った、間違っていない選択肢を選ぶ」ことが大事だなと感じています。 さて、「間違っていないかどうか」を判断
AWS re:Invent 2021の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は日本時間で表記します。 11/29(月) 今年の開幕は「Amazon IoT RoboRunner」でした。 Midnight Madness (15:30-) Amazon IoT RoboRunner ロボットと作業管理システムを接続し、単一のシステムビューを介した業務作業全体のオーケストレーションが可能 詳細はYouTubeでも公開 https://youtu.be/q8POXvJ4nMI AWS Management Consoleで1つの施設（サイト名と場所など）を作成す
SQS を使った Python の非同期ワーカーは ndkale しかない - kawasin73のブログ
誰一人見捨てない!!! どうも、かわしんです。Celery は見捨てるんです。 この記事は Pythonその2 Advent Calendar 2019 の 15 日目の記事です。 やや強めのタイトルですが、AWS SQS を使った非同期ワーカーでまともな実装は ndkale しかないという内容です。Celery は論外です。 github.com 前半はディスってばっかりなので、ndkale のことだけを知りたい場合は途中の「大本命 ndkale」から読んでください 前提としての欲しい機能 まず、諸々をディスる前に非同期ワーカーとして欲しい機能をあげておきます。 正しく SQS を使って信頼性のあるタスク実行をする 即時再実行をする 複数のキューを使い分ける。また同じタスクでも動的に利用するキューを切り替えたい Dead Letter Queue も使えると嬉しい まず Celery を
GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する - LayerX エンジニアブログ
この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。 こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか？便利ですよね。この記事では、あの便利さをAWSで実現する方法を紹介したいと思います。 GCPのCloud Pub/Sub Push Subscription とは？ GCPにはCloud Pub/Subというメッセージングサービスがあります。Pub/Subモデルを実現するGCPのマネージドサービスです。Cloud Pub/Subには3つのSubscription Typeがあり、その一つがPush Subscriptionです。 cloud.google.com cloud.google.com 引用した
AWSを使用したアプリケーションのローカルテスト
AWSを使用したアプリケーションのテスト方法 AWSを使用しているアプリケーションの開発時に問題となるのは、どのようにテストを実施するかという問題が発生します。 この時の選択肢は次の通りとなります。 単体テスト時にAWSのモックを作成してテストを行う AWS上にテスト用の環境を用意してテスト時に接続してテストを行う LocalStackを使用してローカルにAWSサービスのエミュレーターを動かしてテストする 単体テスト時にAWSのモックを作成してテストを行う 単体テスト時にモックアップする方法はテストに都合のいいデータを返せるため容易にテストが行えます。 モックの作成に手間がかかりますし、思い込みでモックを作成してバグを作成する場合もありますが、Motoなどを用いることでこれらの問題は軽減できるでしょう。 ただし、あくまで単体テストでしか使用できません。例えば複数プロセスを連携するようなテス
こちらはエムスリーAdvent Calendar 2022の24日目の記事です。 こんにちは、デジスマチームの田口(id:ken-tunc)です。 私達のチームではQRコードによる受付や自動後払いなど、新しい診療体験を提供するデジスマ診療というサービスを開発しています。 開発メンバー6人と小規模のチームですが、毎週のように新機能をリリースしています。 また、ユーザー数も非線形的な成長を遂げており、システムのトランザクションは日に日に増加しています。 IR資料「2023年3月期第2四半期決算発表資料」より このようなスピード感のある開発を実現できている要因はいくつかありますが、この記事ではそのうちの1つであろうデジスマチームで採用しているアーキテクチャについてまとめていきます。 デジスマ診療のアーキテクチャ デジスマチーム紹介資料 イベント駆動アーキテクチャの設計で気を付けていること イベン
知らなくても困らないけど、知ると楽しいAWS Lambdaの裏側の世界 #devio2021 | DevelopersIO
CX事業本部の岩田です。 クラスメソッドオンラインイベントのDevelopersIO 2021 Decadeで「知らなくても困らないけど、知ると楽しいAWS Lambdaの裏側の世界」というテーマでお話ししましたので、内容を簡単にご紹介します。 動画 スライド 内容 今回お話した内容は以下の4つのブログの内容をマージして簡略化したものになります。もし詳細な内容に興味があれば以下のブログも読んでみて下さい。 2019年VPC Lambdaが高速に！！ AWS Lambdaの内部構造に迫るセッション 「SRV409 A Serverless Journey: AWS Lambda Under the Hood」 #reinvent Lambdaの内部アーキテクチャ教えます！A serverless journey: AWS Lambda under the hood #SVS405 #rein
サーバーレスにおけるべき等性の実装 (データストア編) ~サーバーレスが気になる開発者に捧ぐ「べき等性」ことはじめ 第 3 回~~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
このシリーズの 第 2 回 では、クライアントからバックエンドのサービスを利用する際に、なんらかの原因でエラーが発生した場合にクライアント側でリトライ処理が実行されると、リクエストが重複して送られる可能性があることを説明しました。クライアントからキューに対してメッセージを送信するようなサーバーレスのシステムにおいては、リトライ処理によって重複したメッセージが送信されてもメッセージの重複を排除する機能を利用することによってべき等性を実現する方法について解説を行いました。実際には同じメッセージが何度も送信されることを防いでいるので、正確にはべき等とは異なりますが、重複したメッセージをただ一度だけ処理する (Exactly Once) ことで、結果としてべき等性を実現するという考え方を具体的な実装方法と共に紹介しました。 第 3 回ではこの考え方を進めて、データストアに対する処理でも同様の機能を
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SREがカバー株式会社に入社して3ヶ月でおこなったこと｜カバー株式会社 公式note
立憲・中村喜四郎氏、茨城7区で敗北するも比例で復活当選：朝日新聞デジタル
朝日新聞社の長文要約生成APIを使ってブログの要約を自動生成する仕組みを構築した - Lambdaカクテル
【2024年】AWS全サービスまとめ | DevelopersIO
N予備校のマイクロサービス - ドワンゴ教育サービス開発者ブログ
オミカレにおけるAWS SQS/Lambda/CloudWatchの障害対応｜uedy
3年間Stripe Connectを運用した経験を共有します - エムスリーテックブログ
岸田氏「使用済み核燃料、再処理すれば期間300年」はミスリード：朝日新聞デジタル
GitHub Actions + AWS CodeBuildでPRごとの検証環境を作ってみた
一迅プラスのインフラ構成について - BOOK☆WALKER inside
そのモノリス、本当にマイクロサービス化が必要？ サービスメッシュも？
Kubernetes・Serverlessとの出会いと、Knative入門
首相の言い間違えをHP掲載 長官「そのままが原則」：朝日新聞デジタル
“Visa決済”ができるウォレットサービス「Kyash」の技術スタックと目指すべき場所
WEARにおけるKubernetes導入と改善の歩み - ZOZO TECH BLOG
細野豪志氏、無党派層の6割からの票を集める 静岡5区の出口調査：朝日新聞デジタル
「美人会長」発言の相馬市長が謝罪 連合会長「現代では許されぬ」：朝日新聞デジタル
組織戦略と GraphQL、Hasura
AWS re:Invent 2021で発表された新サービス/アップデートまとめ - Qiita
イベント駆動アーキテクチャの勘所 - エムスリーテックブログ