広告技術部のUT@mocyutoです Gunosyではニュース記事を配信運用するメディア部門とアプリ上などに広告を配信運用する広告部門があります。 （本記事では「メディア」とはグノシーやニュースパスなどのサービスを指し、「広告」はそのメディアに出す広告を指します。） 今回は広告部門が運用している広告システムのスケールの仕組みについて紹介します。 課題 解決策 仕組み スパイクスケーリング スケジュールスケーリング スケールのロジックを記述 まとめ 課題 メディア側のシステムは各サービスごとにチームが分かれており、それぞれ別のシステムで稼働しています。 しかし、広告側のシステムは単一のシステムで動いており、各メディアの広告配信すべてを担っています。 そのため、サービスが増えるごとにトラフィックが増える仕様になっています。 特に速報などのプッシュ通知をメディアが送信すると一気にユーザはアプリを
Lambdaテスト領域のアンケート 新井成一氏（以下、新井）：ありがとうございます。ようやく全部消化できました。さっそく本日の第1回目のトピック、テスト領域の話をしたいと思います。 新井：実は投票を用意していて。ちょっとみなさん回答してもらえればと思います。 和田祐介氏（以下、和田）：「ふだんやっているLambdaのテスト領域は」。 新井：上からユニットテスト、モックやSpyを使ったユニットテスト。FakeやLocalStackを使ったものです。あとはインテグレーションテスト。Lambdaの中でもいくつかレイヤーを分けているなら、これを全部とおしたテストをやっているか。インテグレーションテストに「AWS Fake」と書いてありますが、これは実際のAWS環境につなぎに行ったテスト。 LocalStackのDynamoDBではなく、クレデンシャルなどを渡して、開発環境上のDynamoDBでその
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
『家族アルバム みてね』（以下、みてね）では、サービス開始当初よりAWS OpsWorksをオーケストレーションツールとして利用してきました。 しかし、サービスや組織の拡大に伴い、AWS OpsWorksによる運用上の課題が生じてきました。そこで、2018年ごろにAWS OpsWorksからAmazon EKSに移行するという意思決定を行いました。 その後、たくさんの試行錯誤や紆余曲折、回り道を経て、2021年にAmazon EKSへの移行が完了しました。 この記事では、4年近くに渡ったEKS移行の取り組みを時系列を追って紹介していきます。 その過程には、後に取りやめることになった設計や意思決定も多く含まれています。 記事の最後でEKS移行プロジェクトを振り返り、そこから得た学びをまとめます。 図 『家族アルバム みてね』のEKS移行のタイムライン AWS OpsWorksの課題とEKS
この記事は新野淳一氏のブログ「Publickey」に掲載された「ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2021年版」（2021年6月21日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 いくつかのクラウドサービスでは、1年程度の無料トライアルや一定額のクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスが提供されています。 こうした無料枠は試行用の環境や一時的なテスト環境などとして、期間を気にせずサービスを試すうえで非常に有効です。 もちろん、無料提供サービスは提供側の都合によってある日突然終了することもあり得ますが、いまのところ1年前の記事「ずっと無料で使えるクラウドの『Free Tier』主要サービスまとめ。2020年版」で紹介したサービスで
こんにちは、かたいなかです。 最近転職会議のバッチ処理をすべて冪等にし、処理失敗時に気軽に再実行できるようにすることで運用性を向上させました。 今回の記事ではその取り組みを紹介します。 再実行すると重複送信につながるメール送信バッチ もともと、転職会議では一部のバッチ処理を除いてほとんどのバッチ処理が冪等に作られていました。しかし、残りの冪等ではないバッチ処理では、失敗するたびに毎回アドホックな対応をする必要があり運用性に課題を抱えていました 残っていたもので一番大きな問題を抱えていたのがメール送信バッチです。これは、以下の図のようなアーキテクチャで動いており、ワーカーにメールを送信するように指示するメッセージをSQSにキューイングする処理を行うものです。 このメール送信バッチのキューイング処理が途中で失敗した際に、雑に再実行してしまうと同一のユーザに重複してメールが送信されてしまう事にな
こんにちは、岩城です。 PCI DSS 勉強会シリーズです。 先日、社外の方（とある QSA （認定審査機関）の中の方たち）とクローズドな PCI DSS 勉強会が行われました。今回の勉強会の目的は、「PCI DSS の要件1:安全なネットワークの構築と維持」に関連する AWS のネットワークアクセス制御機能を理解することでした。本エントリでは、勉強会で利用した資料とディスカッションの内容を共有したいと思います。 合わせて弊社中山によるネットワークアクセス制御の設定を管理する方法もご確認ください。 【資料公開】PCI DSSのネットワークアクセス制御に関する要件とそのための実装を学ぶ勉強会をやりました（管理編） 目次 資料 勉強会内容 本日のゴール AWS における以下のネットワークアクセス制御機能の理解を目指します。 ネットワークアクセス制御 ルートテーブル セキュリティグループ ネット
LocalStackを用いてローカル開発のシークレット管理をセキュアにする - LayerX エンジニアブログ
この記事は、6月から始まっている #LXベッテク月間 33日目の記事です。 前日の記事はtaikyyさんの「LayerXのQAは顧客に届ける価値を最大化したい」でした。 note.com ちょりす。CTO室およびFintech事業部で色々やってる @ken5scal です。 本日はアプリ開発をローカルで行うためのSecrets管理のTipsを一部、書きたいと思います。 ぱっとアプリを書いて、さくっとコンテナイメージをビルドし、しゅっとAWS上にデリバリしたいことがありませんか？ 当社では、そういった場合にAWS App Runnerを活用することがあります。 PoCなど初期段階のものをインフラレイヤーのことを意識したくないときに重宝しています。 しかし、AWSのロードマップにもある通り、ECSでできるようなVauleサービスであるAWS.Secrets Managerとの連携ができません。
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
【Chaliceに入門してみた】LambdaとAPI Gatewayを手動で構築して消耗していた過去の私へ | DevelopersIO
こんにちは。AWS Loftが大好きな佐伯、改めKyoです。(まさか社内に佐伯さんが3名もいるとは…) AWS Loftでのハンズオンに参加してきたのでレポします。 AWS Amplify & Chalice ハンズオン 〜怠惰なプログラマ向けお手軽アプリ開発手法〜 Chaliceとは？ ChaliceはAWS Lambdaを使ったサーバレスアプリケーションを、Pythonで構築するためのマイクロフレームワークで、以下が可能です。 コマンドラインによるアプリの構築、デプロイおよび管理 API Gatewayをはじめ、S3, SNS, SQSといったAWSサービスとのインテグレーション IAM ポリシーの自動生成 Python Serverless Microframework for AWS ちなみにChaliceとは聖杯のことです。ChaliceはPythonのマイクロウェブフレームワー
This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
3,000枚の工事写真を Excel に！AWS Lambda の非同期実行で作る写真台帳 Excel 出力機能 - ANDPAD Tech Blog
0. はじめに こんにちは、SWE のやなせです。 暑い日が続きますね。この記事を書いている日の最高気温は34℃だそうです。34℃という数字を見てもすっかり慣れてしまった自分に驚きました。 今回は自分が所属する施工案件管理チームで一番ホットな、2023年7月にリリースした「写真台帳 Excel 出力機能」の概要と、その実装時に直面した技術的課題について紹介します。 1. 施工案件管理と写真台帳作成について 私の所属する施工案件管理チームでは、ANDPAD のコア機能である施工案件管理を開発・保守しています。 工事現場では、施工前から完成後まで多くの写真を撮影し、工事が適切に施工されたことを証明するために、その写真を写真台帳で管理・提出する必要があります。 ANDPAD の案件管理機能には「写真台帳出力機能」があり、ANDPAD に保存した写真をもとに、この写真台帳を Web 上で作成・編集
こんにちは！技術部プラットフォームグループのharukin, pochyです。 この記事では、「ISUCON」を模したパフォーマンスチューニング研修を複数社合同で実施した概要と、そのための準備について紹介します。 研修について 目的 今回の研修の目的は次のものとしました。 パフォーマンスチューニングの問題を会社横断でチームを組成し取り組むことで、サーバサイドやインフラのパフォーマンス・チューニングを中心に幅広い知識を総動員して課題解決に望む。 課題解決過程のコミュニケーションを通じて、会社の枠を超えた同期作りを促進する。 概要 今回の研修では、チームごとにパフォーマンスチューニングの課題に挑戦しました。 実際のISUCONのように、各チームにwebサーバーを貸し出す形式です。各チームはそのアプリケーションを時間内にパフォーマンスチューニングし、最適化された度合いによってチームに点数をつけま
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
こんにちは佐々木です。 本日よりNRIネットコムのメンバーによるイベント、「APN AWS Top Engineers/APN Ambassadors Week」を開催します！！！一番手を担当することになったので、昔を振り返りながらAWSについて考えてみます。 最初のAWSはいつだったのか？ 振り返るうえで、まずAWSは始まりはいつだったのかを探ってみましょう。最初のAWSを探ろうとすると、もはや考古学の領域になりそうですが、一般的には2004年のSQSを持って（今の）AWSの始まりとしているようです。この記事を書くにあたって裏を取ろうと思って『最初のAWS』でググると、過去に自分が寄稿した記事が出てきました。本当に、ありがとうございます。 dev.classmethod.jp ただ、AWSの名前で一般的に認知されだしたのは、S3やEC2が登場した2006年です。私がAWSに出会ったのも2
はじめに こんにちは、サーバーサイドエンジニアの@hokitaです。 この記事は Enigmo Advent Calendar 2020 の 16 日目の記事です。 弊社が運営するBUYMAは現状モノレポで管理されており、１０年以上も運営しているサービスなのでソースも肥大化していて、メンテナンスが難しくなってきました。 そこで現在、本体から少しずつマイクロサービスに切り離していこうとしています。 その取組の中で配送処理の一部をマイクロサービス化する作業に携わることができました。今回はBUYMA本体と配送サービスとの通信にイベント駆動アーキテクチャを導入した話をしていきます。 イベント駆動アーキテクチャ マイクロサービスでサービスを切り分ける場合、それぞれ責務が分かれるように分割するかと思います。 しかしサービス間の通信手段によっては各サービスが密になる恐れがあります。 そこでイベント駆動ア
スタディサプリにおけるKarpenterの導入トラブル振り返り - スタディサプリ Product Team Blog
スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s
AWS モダンアプリケーション開発
AWS モダンアプリケーション開発 AWS におけるクラウドネイティブ モダンアプリケーション開発と設計パターン 2019 年 10 月 注意 お客様は、この文書に記載されている情報を独自に評価する責任を負うものとします。 本書は、(a) 情報提供のみを目的としており、(b) AWS の現行製品とプラクティスを 表しますが、予告なしに変更されることがあり、(c) AWS およびその関連会社、サプ ライヤーまたはライセンサーからの契約義務や確約を意味するものではありません。 AWS の製品やサービスは、明示または暗示を問わず、いかなる保証、表明、条件を 伴うことなく「現状のまま」提供されます。お客様に対する AWS の責任は、AWS 契約により規定されます。本書は、AWS とお客様の間で行われるいかなる契約の一部 でもなく、そのような契約の内容を変更するものでもありません。 © 2019 A
AWS上で機械学習を運用しているデベロッパーやデータサイエンティストのためのイベント「ML@Loft」。第11回のテーマは、類似画像/テキスト検索です。ネットショップを作れるサービスBASEには、店舗を横断して類似商品を表示する機能があり、類似商品を検索するためのAPIが使われています。BASE株式会社／Data Strategyチームのエンジニアである氏原淳志氏が、この類似商品APIの仕組みと運用について紹介します。 BASEにおける類似画像検索を利用した関連商品表示の裏側 氏原淳志氏：今日は「『BASE』の類似商品APIの裏側」という内容でお話しします。 まず自己紹介します。私は氏原淳志と言いまして、BASE株式会社でData Strategyチームのエンジニアをやっております。Data Strategyチームというのは、データの分析であったりとか機械学習であったりとかを担当するチーム
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><div id=\"kiji_bottom-banner\">\n<p style=\"padding:10px;\"><a href=\"https://www.asahi.com/senkyo/shuinsen/2021/?iref=kiji_bottom_banner\" style=\"display:block;\"><img src=\"https://www.asahicom.jp/senkyo/shuinsen/2021/images/shuinsen2021_660x100.jpg\" alt=\"2021衆院選\" style=\"width:100%;height:auto;\"/><
AWS環境を可視化できるソリューション【Lucidscale】を使って構成図を自動生成してみた | DevelopersIO
こんにちは。 繁松です。 はじめに AWS,Azure,GCPなどのクラウド環境を可視化できるサービス「Lucidscale」を使ってAWSの構成図を自動生成してみたのでブログにしました。 Lucidscaleを使うことで以下のような構成図を自動で生成することができます。 やってみた アカウント作成 Lucidscaleのアカウントを作成します。 https://lucidscale.com/ja 料金 2週間は無料で利用できます。 無料期間以降も継続利用する場合の料金は以下です。 インディビジュアルプラン（個人利用プラン） 1ユーザー（作成者）：￥269,000/年 チームプラン（チーム利用プラン） 1ユーザー（作成者）；￥269,000/年 1ユーザー（エクスプローラー）：￥54,900/年 https://lucid.app/ja/pricing/lucidscale#/pricin
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 --><!--株価検索 中⑤企画-->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><div id=\"kiji_bottom-banner\">\n<p style=\"padding:10px;\"><a href=\"https://www.asahi.com/senkyo/shuinsen/2021/?iref=kiji_bottom_banner\" style=\"display:block;\"><img src=\"https://www.asahicom.jp/senkyo/shuinsen/2021/images/shuinsen2021_660x100.jpg\" alt=\"2021衆院選\" style=\"width:100%;height:auto;\"/><
Grafana+CloudWatchを使ったAWSマルチアカウントでのプロダクト監視基盤構築のご紹介 - ACES エンジニアブログ
ACESのソフトウェアエンジニアの稲田です。私は普段、弊社で提供しているシステムのアーキテクト設計、MLOpsをメインに担当しております。 今回は、ACES Meetという弊社のAIプロダクトサービスをターゲットに弊社のサービス監視基盤を標準化した話について、事例紹介をしたいと思います。 営業支援AIツール「ACES Meet」 想定する読者 プロダクトサービスの品質可視化の重要性について 弊社が抱えていた課題と背景 技術選定の方針 プロダクト監視基盤設計 目的 要件 監視項目 サービス品質 システム詳細メトリクス アラート通知 システム構成 監視ダッシュボードの仕組み Amazon Managed GrafanaのAWSマルチアカウントのデータソースサポート Amazon Managed GrafanaのX-Rayサポート 監視ダッシュボードのデータソースの拡張性 コスト概算 Cloud
Amazon Web Services ブログ マルチテナントソリューションでAmazon SQSを使う AWS SaaS Factoryチームのシニアパートナーソリューションアーキテクト Raju Patel によって書かれた記事です。 モダンアプリケーションは、サービス統合、バッチ処理、またはワークフローオーケストレーションの一部として、キューイングに依存することがよくあります。キューは、システムの環境に拡張性と耐障害性を追加するうえ重要です。 これは、キューイング戦略をマルチテナントソリューションのワークロードにどのように適用するかを考える必要がある、Software-as-a-Service（SaaS）環境では特に当てはまります。SaaS アプリケーションのキューイングモデルを設計する際には、データの分離、パフォーマンス、および運用を考慮する必要があります。 多くの組織がアマゾンウ
We organized Japanese financial reports to encourage applying NLP techniques to financial analytics. You can download… Part4からずいぶん間が空きましたが、その間にはデータ公開にまつわるもろもろの調整などがあったという。 Airflowを採用しなかった理由最終的にAirflowを採用しなかった理由は2つあります。 運用コスト開発コスト運用コスト Part3でも触れましたが、Airflowのホスティングは結構高くつきます。ホスティングサービスを提供しているのはGCPのCloud ComposerとAstronomerの2つが主です。Astronomerの場合は月額$100まで抑えることが可能ですが、固定で毎月かかるとなるとそこそこの金額です。 スケジューラーは、スケジュー
2023年1月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 1月は49本のピックアップになりました。最近はデフォルトのパラメーターが変わるアップデートがチラホラあって、よりAWS利用者が安全に利用できるようになっている感じがしますね。 ちなみにAWSの最新情報をキャッチアップする
AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） | DevelopersIO
はじめに こむろ@事業開発部です。 今回、5年以上稼働していた SpringBoot アプリケーションを エンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。 私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。 概要 全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し 作業時間は最大 5 時間 転送はもちろん、データの完全一致の保証も含めて 移行対象デー
当エントリは弊社コンサルティング部による『AWS再入門ブログリレー 2019』の12日目のエントリです。 AWS Batchとは何ぞや？からユースケースまでを幅広くさらっていきます。 暑さにも湿気にも弱いので、日本での生活の1/4くらいはパフォーマンスが落ちている気がします。 強く進化したいなと考える今日この頃です。 ▲ 大学生協にあった蒲焼きのタレごはんが恋しいです こんにちは、AWS事業本部のShirotaです。 今日は秘伝のウナギのタレのように読み継ぎたい、AWS再入門ブログを書かせて頂きたいと思います。 当エントリの趣旨 当エントリは弊社コンサルティング部による『 AWS再入門ブログリレー 2019 』の12日目のエントリです。 昨日はしばたによる『 AWS Backup 』でした。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねて
Andreas Andreakis, Ioannis Papapanagiotou OverviewChange-Data-Capture (CDC) allows capturing committed changes from a database in real-time and propagating those changes to downstream consumers [1][2]. CDC is becoming increasingly popular for use cases that require keeping multiple heterogeneous datastores in sync (like MySQL and ElasticSearch) and addresses challenges that exist with traditional
AWS Simple Monthly Calculator がついに勇退するようです！ | DevelopersIO
2020/05/26 時点で、サポート終了日に関して変更がありましたので、更新いたします。 とはいえ 2020/6/30 以降の明確な日程は記載されていないため、引き続き AWS Pricing Calculator への移行を進めることをお薦めします。 園部です。 出オチ・タイトルオチ 失礼します！ AWS Simple Monthly Calculator（SMC） は、AWS をご利用の皆さんであれば、一度は利用または見たことがあるのではないでしょうか？ そんな SMC ですが AWS Pricing Calculator が登場したことで、いつの日か訪れるであろうと思われていた引退の日が、ついにやってくるようです。。今までありがとう！！ 現在 SMC にアクセスする以下のメッセージが表示されます。そのまま利用する場合は 簡易見積もりツールを続行 を選択することで利用可能です。 （2
[レポート]S3、ここまでできる！Amazon S3新規機能紹介 #AWSSummitOnlineKorea #S3 | DevelopersIO
コスト面ではGlacierの方が高いが、検索時間面ではGlacier Deep Archiveよりも速いです。 保存すべきデータ期間が180日以上で、12時間以上の復旧時間RTO(Recovery Time Objective)を許可できれば、Glacier Deep Archiveを使用する方がより安くなります。 S3 Intelligent-Tieringとは? (re:Invent 2018) このストレージクラスは寿命が長く、アクセスパターンがわからなかったり、予測できないデータに理想的で、性能の影響または運用オーバーヘッドなしに最も費用効果的なアクセス階層にデータを自動で移動して費用を最適化するために設計されました。 S3 Intelligent-Tieringの特徴 主にわからなかったり、変化するアクセスの場合使用する。 2つのアクセス階層に保存して作動し、アクセスパターンの変
![[レポート]S3、ここまでできる！Amazon S3新規機能紹介 #AWSSummitOnlineKorea #S3 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9a8bb89acbedf928e329ccafe00d8604fd92168f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2F2020-aws-summit-online-korea-1.png)
NPNS における Erlang/OTP
Erlang & Elixir Fest 2019 で任天堂さんの発表について、懇親会で話せる範囲でお教えていただいたことなどを交えて、Erlang/OTP を利用してパッケージ製品を開発しているプログラマー視点で見ていきます。残念ながら運用については未経験のため、その辺りは触れません。 また自分が XMPP というプロトコルはなんとなく知っているレベルということもあり、XMPP 自体には踏み込みません。 XMPP/ejabberd という選択当たり前ですがプッシュ通知を送るには TCP/IP の接続を維持するという方針になります。その上、将来的には 1 億を目指して行くわけです。 TCP の常時接続が経験ない中で 1 億同時接続を目指す際の技術選定で、自作プロトコルに行かず、 枯れている XMPP という選択をしたのは本当に素晴らしいと思います。 また、そんな中で実績がある ejabbe
2021年12月くらい(その1)のAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 12月はre:Invent 2021が先月から続いていてめちゃくちゃ記事があります。というわけで今年も2回に分割します。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Developer
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
【連載 第1回】freeeカード Unlimited の開発の道のり - freee Developers Hub
金融チームでエンジニアをしているimamuraです。freeeカード Unlimited のβ版の提供が今年（2021年）の秋から開始されます。開発自体は半年以上かかっており、そこでの開発の裏側について連載を行います！ 連載は以下のようになります。 ※ 日程、タイトルは一部変更になる可能性があります 日程 タイトル 執筆者 9/9 freeeカード Unlimited の開発の道のり imamura 9/16 freeeカード Unlimited での非同期通信の設計と実装 imamura 9/23 EMから再度エンジニアに戻り新規プロダクト開発に挑戦して学んだこと tabachain 9/30 freeeカード Unlimitedでのクリーンアーキテクチャ実践 id:lvmingbei 10/7 新卒一年目からの新規プロダクト開発 sekky 10/14 新規プロダクト＆新造チーム＆フル
[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO
関数の内容については、大栗の記事同様に以下のとおり設定しました。 from __future__ import print_function def lambda_handler(event, context): for record in event['Records']: print ("test") payload=record["body"] print(str(payload)) 次にイベントトリガーを設定します。「トリガーを追加」をクリックします。 トリガーに「SQS」を選択し、事前に作成しておいた FIFO キューを指定します。（記憶がうろ覚えですが、以前はここの選択対象に FIFO キューは表示されなかったと思います）。バッチサイズは 5 で検証してみました。 これで FIFO キューをトリガーとした Lambda 関数がセットできました。次にキューにメッセージを投入して、
#yapcjapan YAPC::Kyoto 2023に行ってきた・喋ってきた - その手の平は尻もつかめるさ
yapcjapan.org 2023年3月19日に開催されたYAPC::Kyoto 2023に参加してきました。もう2週間も前の話になるんですね......USに戻ってきてから色々あり、すっかりブログを書くのが遅くなってしまいました。 YAPC::Kyotoの様々な感想については「にゃんこ酒場.fm」で id:papix、id:karupanerura さんら運営の方々と喋ったPodcastが公開されているので是非お聴きくださいませ！ nyanco-sakaba-fm.hatenablog.com 面白かったトーク ジョブキューシステムFireworqのアーキテクチャ設計と運用時のベストプラクティス id:tarao さんの発表。Fireworqが発表されたあたりって、スケーラビリティが高くなおかつ複数の言語から良い感じで使えるジョブキューのプロダクトについて「何使えば良いんだろうねえ」っ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10倍スパイクの速報時に耐えうるAPIのスケーリングの仕組み - Gunosy Tech Blog
AWSは実環境で得られる効果が大きい アンケートから見るLambdaのテスト領域の傾向
アフガン第1副大統領が「暫定大統領」宣言 闘争準備か：朝日新聞デジタル
バイデン政権、支持率最低に アフガン撤退に批判噴出：朝日新聞デジタル
4年間のEKS移行の取り組みを振り返って | gihyo.jp
ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ 2021年版
転職会議から冪等でないバッチ処理を根絶した話 - LIVESENSE ENGINEER BLOG
【資料公開】PCI DSS 勉強会 ネットワークアクセス制御編 | DevelopersIO
AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
Scaling containers on AWS in 2022
（ひと）中村格さん 第２９代警察庁長官に就任した：朝日新聞デジタル
日本CTO協会による合同ISUCON研修の紹介 - Pepabo Tech Portal
資料ミス続発の敦賀原発、審査再開 規制委「これが最後のつもりで」：朝日新聞デジタル
私とAWSの15年 あるいはThe Bezos Mandateの話 - NRIネットコムBlog
Rails + マイクロサービスでイベント駆動アーキテクチャを導入した話 - エニグモ開発者ブログ
BASEアプリにおける類似画像検索の裏側 機械学習における画像とテキストの使い分け
バラマキ合戦の衆院選公約、「特にひどいのは…」 隠れた争点は何か：朝日新聞デジタル
ウェブ面接で「部屋着見せて」 就活セクハラ、対策は：朝日新聞デジタル
選挙期間中、役場前で大臣就任激励会 公費から花束代支出 与那国町：朝日新聞デジタル
マルチテナントソリューションでAmazon SQSを使う | Amazon Web Services
Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part5 (End)
AWS再入門ブログリレー AWS Batch編 | DevelopersIO
DBLog: A Generic Change-Data-Capture Framework
自転車に似た原付きで事故 ウーバー配達員を書類送検：朝日新聞デジタル