Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services
AWS News Blog Introducing Amazon Managed Workflows for Apache Airflow (MWAA) As the volume and complexity of your data processing pipelines increase, you can simplify the overall process by decomposing it into a series of smaller tasks and coordinate the execution of these tasks as part of a workflow. To do so, many developers and data engineers use Apache Airflow, a platform created by the commun
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><div id=\"kiji_bottom-banner\">\n<p style=\"padding:10px;\"><a href=\"https://www.asahi.com/senkyo/shuinsen/2021/?iref=kiji_bottom_banner\" style=\"display:block;\"><img src=\"https://www.asahicom.jp/senkyo/shuinsen/2021/images/shuinsen2021_660x100.jpg\" alt=\"2021衆院選\" style=\"width:100%;height:auto;\"/><
こんにちは、技術部 SRE グループ アルバイトの小川です。この記事では、クックパッドでコンテナログの処理に利用している Fluentd ノードのオートスケール対応について紹介します。 クックパッドでは Amazon ECS を用いてコンテナ化されたアプリケーションをデプロイしています。クックパッドでの ECS の利用については過去の記事をご覧ください。 ECS 上で動くコンテナのログを閲覧するために、標準的には Amazon CloudWatch Logs を利用する方法があります。しかし、クックパッドではログ量やコストの問題で CloudWatch Logs は利用せず、独自のログ配送基盤を構築して運用しています。具体的には、ECS のコンテナインスタンスで実行している Fluentd から複数の Amazon EC2 インスタンスで構成される Fluentd 集約ノードにログを転送し
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
スタートアップのエンジニアの交流や知見の共有を目的とする、AWS Startup Community 主催の技術系オンラインイベント「AWS Startup Tech Meetup Online #5」。ここでユニファ株式会社の赤沼氏が登壇。「午睡チェック」の概要とアーキテクチャについて紹介します。 自己紹介 赤沼寛明氏（以下、赤沼）：よろしくお願いしますみなさまこんばんは。ユニファでCTOをしています、赤沼と言います。 今日はAWS Startup Tech Meetupということで、弊社ではプロダクトをすべてAWS上で構築しているんですが、その中でも「ルクミー午睡チェック」というサービスがありまして。その中でDynamoDBやSQSというのを活用してるところがあるので、主にそのあたりにフォーカスして紹介したいと思っております。 まず簡単に自己紹介します。私は6年前、2015年に1人目の
歴史・年表でみるAWSサービス(Amazon EventBridge編) －機能一覧・概要・アップデートのまとめ・入門、Amazon CloudWatch Eventsとの違い－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まったAWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第5弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53について書きました)。 今回はAWSサービスのイベント検知、条件に応じた他のAWSサービスへのイベント連携、イベントの生成などをするAmazon EventBridge(旧Amazon CloudWatch Events)について歴史年表を作成してみました。 今回もAmazon EventBridgeの誕生から機能追加やアップデートを追いながら主要機能を現在のAmazon EventBridgeの機能一覧と概要としてまとめています。 これらが、各AWSサービス
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
女性声優と自動化 - Qiita
この記事は「Wake Up, Girls! Advent Calendar 2019」18日目の記事です この記事では推しの声優の情報を自動的に収集する仕組みである @yoppinews bot の開発や運用についてご紹介します。 1. はじめに: 趣味を自動化して怠惰なファン活動をしよう 声優のファン活動のなかで、どのような作品やイベントに出演するのかといった情報をおさえておくのは重要でありながら意外にも時間やコストを要します。 チケットの争奪戦が予想される場合、オタクはひっそりと情報を仕入れそっと eplus で抽選に申し込みます。気づけば行きたかったイベントの抽選は終わっているなんてことが初期にはよくありました（遠い目）。 だいたい同じ演者を追っている人間を twitter でフォローしておくと関連する情報が入ってきてベンリですが、声優オタク人生は山あり谷あり他界ありで、「お前が一番
概要 タイトル通りですが、AWSでサーバーレスなメール送信システムを、AWS CDKを使って構築してみました。 サーバーレスなので、スケールする良い感じの構成になります。 荒いところもありますが結構便利なのでよかったらぜひご参考に、またはそのまま使ってくださいという感じで読んでいただけたら光栄です。 Amazon SESを使用してメールを送信していますが、（少し変えれば）SES以外でも送信できるかと思います。 目次 目次 概要 目次 まとめ(AWS Dev Day 2022 Japan) 要件 前提 アーキテクチャ 構成図 使用AWSサービス コード アーキテクチャ解説と補足 AWS CDK aws_lambda_nodejs パラメータ用コンフィグファイル バリデーション Amazon SES SQS 標準キュー 可視性タイムアウト ロングポーリング 部分バッチ応答 S3 DynamoD
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><div id=\"kiji_bottom-banner\">\n<p style=\"padding:10px;\"><a href=\"https://www.asahi.com/senkyo/shuinsen/2021/?iref=kiji_bottom_banner\" style=\"display:block;\"><img src=\"https://www.asahicom.jp/senkyo/shuinsen/2021/images/shuinsen2021_660x100.jpg\" alt=\"2021衆院選\" style=\"width:100%;height:auto;\"/><
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 こんにちは。サービスグループの武田です。開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 こんにちは。サービスグループの武田です。 開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 何度か配信がありますので視聴したい方はスケジュールを確認してみてください。 AWS re:Invent 2020 セッション概要
![[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1fc8bce7c66555564f1e060e786724d616daf7d8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-session-report.jpg)
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
AWS Amplify ConsoleでNext.jsのプロジェクトをデプロイすると Serverless Next.js Component のインテグレーションによってAWS Lambda リソースが最大4つ作成される(ソースコードはエクスポートできる) Default Lambda@Edge for Next CloudFront distribution API Lambda@Edge for Next CloudFront distribution Image Lambda@Edge for Next CloudFront distribution Next.js Regeneration Lambda それぞれのAWS Lambdaが行っていることを読み解くとVercelが自社で構成しているシステムの外観が分かるのではないかと思って眺めてみた (CloudFrontのコンソール
技育祭は「技術者を育てる」ことを目的としたエンジニアを目指す学生のための日本最大のオンラインカンファレンスです。「技育祭2023【春】」に登壇したのは、株式会社CARTA HOLDINGS・CTOの鈴木健太氏。エンジニアが圧倒的に成長するためのコツを話しました。1回目は「好奇心」について。 CARTA HOLDINGS社・CTOの鈴木健太氏 鈴木健太氏：それでは「新卒入者から1500人規模のCTOに、エンジニアが圧倒的に成長する3つのコツ」というテーマで、これからの未来をつくる学生エンジニアのみなさんに向けて、CARTAのCTOの鈴木健太こと、すずけんが話をしようと思っています。よろしくお願いします。 簡単に自己紹介をしていきます。僕は2011年の頃、学生の時にスタートアップのCTOをしていたのですが、2012年にVOYAGE GROUP、今のCARTA HOLDINGSに入社して、それか
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
履歴 期間限定で公開されている前夜祭(Day0)の動画リンクを追加しました AWS上に構築したマイクロサービスに対する効率的な性能・負荷テストの実行方法 のスライドを追加しました どんな低スペックPCが割り振られても泣かないで！開発環境をCloudへ移行した話 のスライドを追加しました Amazon Neptuneとサーバーレスから始まった高速バス予約システム開発 のスライドを追加しました CloudbaseでのAWS CDKとStepFunctionsを用いたバッチ処理基盤の爆速構築 のスライドを追加しました Day 0 開発者を魅了するオープンソースソフトウェアSupabaseとは Youtube動画リンク [レポート]OSSエンジニアのBetter than Nothingという生き方 〜 全力で5％を目指せ！ #AWSDevDay | DevelopersIO Youtube動画リ
Apache Solr から OpenSearch に載せ替えた話 - 弁護士ドットコム株式会社 Creators’ blog
検索しているユーザー（イメージ） はじめまして。弁護士ドットコム事業本部でエンジニアをしている狩野です。 弁護士ドットコムのサービスにはいくつかの検索機能があります。主に「みんなの法律相談」「弁護士検索」「弁護士ドットコムニュース」などで使われています。 これらは Apache Solr（以下、Solr）という検索システムで動いていました。 これを OpenSearch という別の検索システムに載せ替えました。 経緯 選定 機能 モジュール AWS サービス 実装 リリース さいごに 経緯 弁護士ドットコムのサービスにはいくつかの検索機能があり、そこで Solr を使っていました。 確認できた限りでは 2013 年から 10 年近くの間、使っていたようです。もっと以前から使っていた可能性もあります。 だいぶ昔の話なので Solr が導入された経緯などは不明ですが、当時の判断としては Sol
[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent | DevelopersIO
[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent 「サーバーレスアーキテクチャのフルパワーを解き放つ便利なガイド、欲しくない？」 って言われたらそりゃ欲しいですよね！これはこのセッションの紹介文にあった一節です。この言葉に釣られて参加したセッションのレポートをお届けします。「まだre:Inventの話してるのかよ！」とツッコまれたあなた、おっしゃるとおりです。ですが二ヶ月ほど経った今でも十分有用な情報ばかりなのでぜひご一読いただければと思います。紹介文に偽りはなかったです！ セッションタイトル SVS401-R1 - [REPEAT 1] Optimizing your serverless applications セッション概要 あなたは経験豊富なサーバーレス開
![[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f229d9254bb6a1cbfbc11a651d6a88b228d4b2fe/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F02%2Fopt-eyecatch1.png)
Introduction 最近Rustが各所で盛り上がっています。 Rustは5年連続で最も愛されているプログラミング言語になっている 開発者に人気のプログラミング言語です。 また、LinuxカーネルにRustを採用しようという動きがあったり、 AndroidのOS開発でRustをサポート 、といった具合に、 さまざまなところでRustの話題がでています。 AWS・Google・MicrosoftなどがRust Foundationを立ち上げたことも後押しとなり、 使えるようになりたいなーということで最近私もさわりはじめました。 本記事ではカスタムランタイムをつかってRustでAWS Lambdaを作成し、AWS CDKでデプロイしたり Localstackを使ってローカルでLambdaを実行したりしてみます。 本記事は、ここにあるソースほぼそのまま参考にして作成しました。 実際は(私の環
GitHub - serverless-nextjs/serverless-next.js: ⚡ Deploy your Next.js apps on AWS Lambda@Edge via Serverless Components
Since we emulate the Next.js routing logic, unfortunately we aren't always at full parity. The following shows all supported features or planned features. If the checkbox is ticked, it means that the feature is supported. Otherwise, it is likely not supported yet or currently in planning or implementation stage. Please refer to an item's description for specific details. Note that some features ma
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 --><!--株価検索 中⑤企画-->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 | Amazon Web Services
Amazon Web Services ブログ 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWS では Amazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。 Amazon ECS はコンテナの運用管理を容易にするマネージドサービスです。他の AWS サービスとの組み合わせにより多様なワークロードをサポートするシステムを素早く構築可能です。一例として、 AWS Secrets Manager を利用した秘匿情報の連携が挙げられます。これにより、IDやパ
2022年4月16日紙版発売 2022年4月13日電子版発売 菊池修治，深澤俊，谷山優依，洲崎義人，伊豫谷優希 著 A5判／288ページ 定価2,420円（本体2,200円＋税10%） ISBN 978-4-297-12751-0 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto この本の概要 最短最速で今必要な知識を身につけるために，「情報のハブ」というコンセプトで書き下ろした新しいAWS入門書です。 「情報が多すぎて何から手を付ければいいかわからない」 「ボリュームのある資料のうち今自分に必要な情報はどれかがわからない」 「そもそもこの資料でよいのか，ほかに読んでおくべき資料があるのかもわからない」 新しい技術を学ぼうとすると，こんなハード
【後編】「やるべきことをちゃんとやる」- Amazon ECS と Spot インスタンスを使いこなす Repro 株式会社 CTO 橋立さん に、開発体制や Repro ならではのシステム要求、AWS の活用方法をお伺いしました | Amazon Web Services
AWS Startup ブログ 【後編】「やるべきことをちゃんとやる」- Amazon ECS と Spot インスタンスを使いこなす Repro 株式会社 CTO 橋立さん に、開発体制や Repro ならではのシステム要求、AWS の活用方法をお伺いしました みなさんこんにちは、Startup Solutions Architect の塚田（@akitsukada）です。 前編に続き、Repro 株式会社の CTO、ジョーカーさんこと橋立友宏さん（@joker1007）にお聞きした話の後編をお届けします。後編では、急激なスパイクアクセスにいかに対応しているか、いかに高速に柔軟なセグメント抽出を可能にしているかなど Repro ならではの技術要件と、Docker コンテナのオーケストレーションや Serverless などの技術に関して橋立さんはどう見ているかなどの技術論、そして今後の展
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 --><!--株価検索 中⑤企画-->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">
[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 先日 (2020/06/10) 開催しました AWS Black Belt Online Seminar「サーバーレス イベント駆動アーキテクチャ」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200610 AWS Black Belt Online Seminar サーバーレスイベント駆動アーキテクチャ AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. オーダーサービスの例をとると、非同期になったことにより在庫が結果としてなかったなどの応答はどうやってクライアントに通知するべきでしょうか？ A. このような場合に備えて補償トランザクション
![[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/42a8e52abaec9c9a8afbb465faacf28c1b13ec5c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F06%2F16%2FThumbnail-1-1119x630.png)
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
Lapper is a wrapper programs for Container running on Lambda. (Beta) - Finatext/lapper AWS Lambdaのエラー通知どうするか問題Finatextでは、サーバレスなタスク実行の基盤として、AWS Lambdaを活用しています。 具体的なユースケースとしては、 CloudWatch EventsのSchedule expressionsをトリガーにした、定時処理SQSやS3のEvent NotificationやCloudWatch Eventsの特定のイベントをトリガーに起動する、非定時処理API Gateway等を介したHTTPSリクエストをトリガーにした、Webサーバとしての処理あたりがあります。 Lambdaを使うことによる恩恵はあらためて言及するまでもないと思いますが、非常に便利に使っています
はじめにNext.js アプリケーションのデプロイ先の候補として Vercel が真っ先に挙げられますが、料金などの色々な都合でほかの場所にホスティングしたいこともあると思います。 SSG (Static Site Generation) で利用する場合は、幅広い選択肢がありますが、SSR (Server Side Rendering) と ISR (Incremental Static Regeneration) を使いたい場合の選択肢は、それほど多くありません。 AWSに SSR可能な Next.js アプリケーションをデプロイするメジャーな２つの方法 AWS Amplify と Serverless Next.js Plugin (Component) を紹介します。 サーバーレスなSSRとISRNext.jsのさまざまなレンダリング形態と特徴については、本記事では深掘りしませんが、
AWS Compute Blog Introducing AWS Lambda Destinations Today we’re announcing AWS Lambda Destinations for asynchronous invocations. This is a feature that provides visibility into Lambda function invocations and routes the execution results to AWS services, simplifying event-driven applications and reducing code complexity. Asynchronous invocations When a function is invoked asynchronously, Lambda s
【レポート】最新アーキテクチャの原則から実現まで！「モダンアプリケーションのためのアーキテクチャデザインパターンと実装」 #AWSSummit | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 今回は「モダンアプリケーションのためのアーキテクチャデザインパターンと実装」のセッションを聞いたのでレポートします。 これからマイクロサービスやサーバーレスなど新しい設計に挑戦する場合や既に取り入れている場合に、アーキテクチャデザインの指標として非常に参考になるセッションだったので是非動画を見てください。 セッションではモダンアプリケーションに対する定義を最初に示したのちに、Beyond the Twelve Factor Appの各要素がそれぞれどのような原則なのかまず抽象的な考えから入り、具体的にAWSサービスを使うならどのように実現できるかという流れで一貫して紹介されていました。 マイクロサービスやサーバーレスなどの設計は抽象例だけだと難しく、具体例だけでは機能にフォーカスしすぎて何が解決したかったのかが不明確になりやすいと感じています。 この
Github + CodeBuild + CodePipelineを利用したFargateのデプロイフローをTerraformで構築する | 株式会社ビヨンド
インフラエンジニアの寺岡です。 今回はFargateに対するアプリケーションのデプロイのお話です。 Code兄弟と言われていたりしますが AWSでは各種サービスに対してデプロイを行う際に便利なサービスがいくつかあります。 今回はその中のCodeBuildとCodePipelineを利用して Fargateに対してデプロイするパイプラインをTerraformで作成したのでコードを共有します。 Terraformのバージョンは「v0.12.24」です。 参考になされる場合はご注意ください。 今回構築したもの 以下の様になっています。 VPCはPublicとDMZとPrivateの3層構造にし PublicサブネットにはALBとNatGatewayを DMZサブネットにFargateのタスクを起動させてALBのターゲットグループに紐づけています。 デプロイのパイプラインの要のCodeBuildと
Amazon Personalizeでリアルタイムに変化をするレコメンドを試してみました！ - BASEプロダクトチームブログ
この記事はBASEアドベントカレンダー2021 17日目の記事です。 はじめに DataStrategyチームの杉です。 ショッピングアプリPay IDではさまざまなショップでの商品購入が可能です。 "探す"タブにはおすすめ機能がついており、利用者にあった商品やショップのレコメンドを行なっています。 おすすめ商品の掲載例 おすすめの商品ではさまざまなアルゴリズムを並行に運用しており、その中のひとつとしてAmazon Personalizeを利用しています。 このアルゴリズムの計算は今まで1日に1回のbatch処理で行なっていました。 しかし、閲覧や購入のログをリアルタイムに利用することでよりマッチしたおすすめ商品を掲載することができるのではという想いでevent trackerを用いたリアルタイムに変化をするレコメンドに挑戦をしました。 この記事では、event trackerをどう実装し
何か Kyashでサーバサイドのエンジニアをしているhirobeです。 業務でサーバサイドのアプリケーションへのfeature flag導入を提案および設計をしました。 どのような設計や実装にするか、なぜそうしたかを整理します。 なお、アプリケーションの特性としては以下を念頭に入れていただければと思います。 新規プロダクトではなく、5年以上動いている既存プロダクトに導入する サーバサイドアプリケーションのみをスコープとする 20~30のマイクロサービスから構成されている マイクロサービス間はREST/gRPC/SQSで通信されている そもそもなぜ導入するのか？ 目的を整理しておきます！ featureブランチからmainブランチにmergeされるまでの期間が長いために、以下のような問題がありました。 複数の機能開発の修正がconflictする可能性があり、またそれに気づくのが遅れる可能性が
こんにちは。BASE BANK株式会社 Dev Division にて、 Software Developer をしている永野（@glassmonekey）です。 弊社ではAWS Lambdaを活用する機会が増えまして、 最近メジャーアップデートのあった「AWS SAM CLI」を使ってリリースフローの改善にチャレンジしてみました。 そこで、samコマンドで作成したサンプルプロジェクトをローカルで実行しデプロイする方法を紹介します。それに加えて、現状BASE BANKチームで行っている代表的な運用設定をご紹介します。 今回記事作成に際して、サンプルプログラムを用意しているのでもしよければ手元でご確認ください。 なお、今回LambdaにはGoを採用しました。検証に使用した環境は以下の通りです。 macOS: 10.15.x (Catalina) SAM CLI: version 1.2.0
TL;DR 要素数が分からず、メモリに乗り切らない可能性がある配列をシリアライズする必要があったので、フォーマットとして CBOR を採用した。 Protocol Buffers1 や Ion, MessagePack, BSON などの主要なバイナリフォーマットで配列を扱う場合、要素数またはバイト長を先頭などに記述する必要があるため、メモリに乗り切らず要素数が簡単には分からない配列を（単純には）シリアライズすることができない CBORは要素数不明の配列を表現する手段がある Java/Kotlinの場合、jackson の jackson-dataformats-binaryを利用してストリームパーサ等を実装することにより、データすべてをメモリに乗せずにシリアライズ・デシリアライズすることができる jackson-dataformats-binary ではシリアライザ等の実装を JSON
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 今回は、これから AWS を使い始める方、なんとなく使っているが利用料金が気になる方向けに記事を書きます。 AWS では何をすると利用料金(課金)が発生するでしょうか？仮想サーバーを使ったときでしょ、この理解は皆さんお持ちだと思います。 しかし、これは半分正解半分不正解です。 「サーバーはシャットダウンしているのに○○ドル請求がきた」という経験を一度はしていると思います。(自分ではなくても上司に言われたなど) 課金の仕組みを理解することが無駄な支払いを抑えるための第一歩だと考えております。 主なAWS 課金要素 以下に主な課金要素を示します。 コンピュート 何らのインスタンスが起動するタイプのサービスインスタンス起動時間により課金 課金要素のなかでもっとも
ハードシングスを引き起こしたHype Driven Development(HDD) | HiCustomer Lab - HiCustomer Developer's Blog
Hype Driven Development(HDD) シード・アーリーステージのスタートアップの開発者のみなさん、こんにちは。突然ですが、ソフトウェア開発していますか？毎日設計しコードを書いていますか？私は毎日しています。毎日ビジネスドメインと向き合っております。今日はそんなみなさんに、弊社のソフトウェア開発の失敗談（ ハードシングスへの突入と脱出 の「根の深い技術的負債」を掘り下げる内容になっています）を共有します。この失敗からなにか参考になるものがあれば幸いです。 実際に起ったこと 2018年初頭にサーバレスとDDDの導入 弊社のHiCustomerサービスのアーキテクチャはサーバーレスとDDDを軸に設計されました。サーバーレス環境としては、AWS APIGateway、AWS Lambda、AWS DynamoDBを使ったAWS推奨の構成を採用しました。DDDはGolangを使用
広告技術部のUT@mocyutoです Gunosyではニュース記事を配信運用するメディア部門とアプリ上などに広告を配信運用する広告部門があります。 （本記事では「メディア」とはグノシーやニュースパスなどのサービスを指し、「広告」はそのメディアに出す広告を指します。） 今回は広告部門が運用している広告システムのスケールの仕組みについて紹介します。 課題 解決策 仕組み スパイクスケーリング スケジュールスケーリング スケールのロジックを記述 まとめ 課題 メディア側のシステムは各サービスごとにチームが分かれており、それぞれ別のシステムで稼働しています。 しかし、広告側のシステムは単一のシステムで動いており、各メディアの広告配信すべてを担っています。 そのため、サービスが増えるごとにトラフィックが増える仕様になっています。 特に速報などのプッシュ通知をメディアが送信すると一気にユーザはアプリを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自民陣営が「比例は国民民主」の公選ハガキ 神奈川5区：朝日新聞デジタル
Fluentd 集約ノードのオートスケール - クックパッド開発者ブログ
松本人志さん訴訟 記事の女性「今まで被害のことを忘れた日はない」：朝日新聞デジタル
1日300万件のレコードを処理するアーキテクチャ構成 保育士さんの負担はDesign for Failureな「午睡チェック」でサポート
ワクチン3回で2回より発症86%減 ファイザー製調査：朝日新聞デジタル
サーバーレスでスケールするメール送信システムをAWS CDKで構築する - 365歩のテック
自民、単独過半数を確保の勢い 立憲は公示前と同程度か 出口調査：朝日新聞デジタル
ジャニー氏性加害、当事者の会が刑事告発の意向 海外での訴訟も検討：朝日新聞デジタル
Serverless Next.js Component のISR実装を読み解く
エンジニアなら気の向くまま「縦へ深化、横へ探索」してみよう 自由に楽しみながらキャリアを作り上げるコツ
「ジュリー氏宅のインターホン押したら…」 BBC記者が語る問題点：朝日新聞デジタル
AWS Dev Day 2022 Japan スライドまとめ - Qiita
RustをつかってAWS Lambdaを実装＆AWS CDKでデプロイする | DevelopersIO
シャトレーゼのチョコ菓子、約4千個の賞味期限を書き換え 自主回収：朝日新聞デジタル
電波障害に注意を、大規模な太陽フレア 30日に影響出る恐れ：朝日新聞デジタル
AWSの知識地図 〜現場必修の基礎から構築・セキュリティまで
「また、みずほか」今年5度目の障害、金融庁にも衝撃：朝日新聞デジタル
中国に禁輸された水産物、学校給食・自衛隊に提供案 「国民運動」で：朝日新聞デジタル
AWS Lambdaの汎用的なエラー通知を実現するLapperというツールをつくりました
Next.js をAWSにデプロイする Amplify vs Serverless - ちょっと株式会社 社員ブログ
Introducing AWS Lambda Destinations | Amazon Web Services
軽量feature flag導入の手引き - Qiita
AWS SAM CLIを使ったLambdaのローカル実行と簡単デプロイ - BASEプロダクトチームブログ
メモリに乗り切らない巨大配列のシリアライズにCBORフォーマットを採用した - Qiita
AWSの課金要素を理解したい EC2を例に調べてみた | DevelopersIO
10倍スパイクの速報時に耐えうるAPIのスケーリングの仕組み - Gunosy Tech Blog