こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
SIerの輪廻から解脱するための技術｜はまあ
モチベーション最近「SIer界の輪廻からどうやって解脱したらいいですか？」 という話をちょくちょく耳にすることが増えた。 それに対する"解答"というわけではないのだけど、輪廻からの解脱を目指すにあたり、どんな要素技術を学ぶべきかについてはある程度指針を示せると思ったので今回は、選ぶべき技術と、その理由について解説していきます。 SIer界で輪廻転生を繰り返したい人はジャバ言語のラムダ式を禁止にすべきか議論するほうが大事だと思うので、こんな記事にクソリプする前にさっさと帰って、どうぞ。 TypeScript解脱への第一歩は、なにはともあれTypeScriptだろう。 正直、この言語だけ覚えておけば、FaaS(Lambda, Cloud Functions)も書けるし、ReactによるSPAとか、なんならReact Nativeでアプリも書けるし、モダンな開発環境に必要なスキルセットがすべてま
技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol
インターネットやAIを駆使しながら、領域に捉われずにさらなる挑戦を行うDeNAの取り組みを紹介する「DeNA TechCon 2023」。ここで成田氏が登壇。PocochaのDBをマイグレーションしたことについて話します。 新卒1年目が100億レコード超のDBマイグレーションをした話 成田篤基氏：発表を始めます。みなさんはじめまして。成田と申します。私は2021年にディー・エヌ・エーに新卒で入社して、現在入社から2年が経とうとしています。 私は新卒1年目で、大規模なデータベースマイグレーションを行う貴重な経験ができました。本日はそのマイグレーションプロジェクトについて、体験から得た学びをみなさんにお伝えします。題して「新卒1年目が100億レコード超のDBマイグレーションをした話」です。どうぞよろしくお願いいたします。 目次です。本日はこちらの目次に沿って発表を進めていきます。 まずは私たち
「AWSの公式情報ってめっちゃあるやん。これ、どこから検索すりゃいいの？」 2006年にサービスを開始したAWS。その公式情報は膨大かつイベントも数限りなく開催されてきました。 最近のイベントはYoutubeなどにも公開されており、公式情報だけにしぼってそれらを一括で検索するのは、各サイトのRSSフィードを一括購読とかしないかぎり困難でした。 そんな悩みを一発でふっとばすのが、この AWS Stashというサイト。 re:Inventのセッション動画だけではなく、公式ブログやスライド、QuickstartやホワイトペーパーやGitHubまで横断的に爆速で検索可能な素晴らしく便利なサイトなので、まだ未体験の方は是非一度試してみてください。 何でも検索できちゃうの…!? ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / 「AWS Stash」とは？ AWS Stash
言論の自由を掲げるSNS「Parler」のジョン・マッツェCEOは1月9日（現地時間）、サービスで利用している米Amazon.com傘下のAWSから、サービス提供を10日深夜に打ち切ると通告されたと自身のParley（Parlerへの投稿）で発表した。 ParlerはすべてのサービスをAWS上で運用しているため、サービス再開には1週間かかる可能性があるとしている。 Parlerは2018年立ち上げの、モデレーションをほとんどせず、「言論の自由を尊重する」と謳うSNS。昨年の米大統領選前後から、過激な発言でTwitterなどのアカウントを停止された保守派の人々などが大量に流入している。 米新大統領を承認する6日、連邦議会議事堂に乱入したトランプ氏支持者の多くはこのSNSで連絡を取り合い、「ペンスをまず殺れ」などと投稿していたと報じられた。 米Googleと米Appleは8日、Parlerのモ
AWSマルチアカウントにおけるIAMユーザー設計戦略を考えてみる - How elegant the tech world is...!
はじめに 2020年3月以来の投稿になりますが、「AWS案件に携わる中で、いろいろと貯まった知見を世のエンジニアの皆さんと共有したいな..」という思いに突然駆られ、本稿ではAWSマルチアカウントにおけるIAMユーザ設計の戦略をご紹介します。 ビジネスの要件・制約等により、取り得る設計は様々ですが、一つのベストプラクティス例としてご参考になればと思います。 IAMポリシーに関する基本方針 カスタマー管理ポリシーの利用 AWS利用において、避けては通れないIAM設計。 AWSでは、AWSアカウント（ルートユーザー）の通常利用は推奨しておらず、 AWSアカウント作成後は速やかにIAMユーザーを作成される方も多いのではないでしょうか。 AWS アカウントのルートユーザー 認証情報を使用して AWS にアクセスしないでください。また、認証情報を他のだれにも譲渡しないでください。代わりに、AWS アカ
【10分で確認】AWSでやりがちなセキュリティ脆弱性を生み出すアンチパターン集（随時追加・更新） - Qiita
AWSを使うなら見ておきたいチェック項目20選 AWSを実務で触られている方で「セキュリティ対策はばっちしだ💪」と言い切れる人はどれくらいいるでしょうか。特に創業間もないベンチャー企業や内製化直後のエンジニア組織の場合、サービスローンチや追加機能開発がビジネス上の最優先事項になってしまい、セキュリティ対策などの非機能要件のレビュー、設定などは後回しにされがちです。 そこで今回は、"時間がない人"でも注意したいセキュリティ脆弱性を生みやすい設定や設計の凡ミス集をまとめてみました。また、参考になりそうな記事も併せて紹介しています。 ご注意ください 筆者はAWSリソースに関するセキュリティの専門家ではありません。また本記事では、最低限の内容にとどめているためより詳細な内容は、公式ドキュメントや以下の資料をご覧ください。 1. IAM ポリシーの広すぎる権限 IAMポリシーに適切でない広い範囲の
Amazon SES でメール送信するときのベストプラクティスまとめ(2020年10月) | DevelopersIO
Amazon SES API についての補足の説明です。 From, To, Subject, Body のみ指定すれば、残りはすべて AmazonSES が適切にフォーマットした Eメールメッセージで簡単にメール送信できるのが SendEmail API です。 添付ファイルを使うなど、独自に細かく制御したフォーマットにカスタマイズしてメール送信をしたい場合は SendRawEmail API を利用します。 基本となるテンプレートメールを作成して、テンプレート内の変数に対してパーソナライズされた値に置換した内容で Eメールメッセージを送信できるのが SendTemplatedEmail および SendBulkTemplatedEmail のAPIです。 詳細については、AmazonSESのEメール送信方法 を確認下さい。 SESのSMTPエンドポイントを使ったメール送信例は下記ブログ
ありがたいことに、3年前に#ssmjp 2017/06で話したスライド AWS LambdaとDynamoDBがこんなにツライはずがない #ssmjp をTwitterで紹介して頂いた*1 ようで、当時から大幅に改善しているところを振り返りたいと思います。あと、ついでに最近やっているAzureに関しても少し触れていきます。 サーバーレスアーキテクチャ #とは 当時はこう説明したのですが、今でもそんなに悪くない表現かなと思います。 書籍は現在「Serverlessを支える技術 第3版」まで出ていますので、BOOTHからどうぞ（隙あらばダイマしていく方針）。 サーバーレス三種の神器 今このスライドを作るなら、認証認可の話を入れるかなと思います。システム内のAWS IAMとクライアント側のCognitoどちらも重要です。 ちなみにAzureを含めておさらいすると、こんな感じの対応になります。 勝
社内勉強会スライドの抜粋版です。
2019年のAmazon Prime Day。AWS上の42万6000台相当のサーバや1900個のデータベースインスタンスなどで乗り切る
2019年のAmazon Prime Day。AWS上の42万6000台相当のサーバや1900個のデータベースインスタンスなどで乗り切る Amazonは毎年、プライム会員向けのセールである「Amazon Prime Day」を開催しています。2019年のPrime Dayも、7月15日と16日の2日間行われました。 Amazon Prime Dayは世界各国で同じ日に行われているため、国ごとの時差はあるものの開催期間中はものすごい勢いでプライム会員がAmazonのECサイトにアクセスを繰り返します。Amazon Prime Dayが世界最大級のオンライントランザクションが発生するイベントであることに異論を唱える人はいないでしょう。 そのECサイトの基盤を支えているのがAmazon Web Services（AWS）です。 AWSのチーフエバンジェリストJeff Bar氏は、ブログ「Amaz
緩やかに死んでいくシステム / You won't be in the team forever
Talked at Cloud Native Lounge #2「クラウドネイティブなシステムの継続的改善と企業文化」. https://forkwell.connpass.com/event/215798/
「JAWS-UG東京リブート企画！ランチタイムLT会」での発表資料です https://jawsug.connpass.com/event/289824/
「これじゃ米アマゾン・ウェブ・サービス（AWS）のプレゼン資料そのものだ」。2021年10月、行政向けシステム基盤「ガバメントクラウド」の先行事業の公募で、デジタル庁が求める要件を見たIT（情報技術）企業関係者らは絶句した。350項目ある要件には「独立したリージョンを複数のゾーンで構成」「HTTPのAPIが利用可能」などAWS独特の言い回しが並んでいたからだ。「料金が継続して値下げ傾向」も同社
こんにちは！スタンディングデスクを導入して快適な開発環境と運動不足の両方を解消できるようになったのではと感じている、広告技術部のUT@mocyutoです。 今回は半年ほどEKSを運用して秒間3万リクエストのトラフィックをさばくほどになりました。 秒間3万は広告システムだと割とあるとは思いますが、kubernetesでも運用できているので紹介しようと思います。 対象のEKSで構築したサービスは広告の配信サーバです。 広告配信サーバの要件として、まず50ms以内にレスポンスを返さなければいけません。 構築したk8sのレスポンスタイムの99パーセンタイルは10msほどで返せています。 以下は必要最小限のクラスタの構成図です。 全体像 API 弊社のサーバサイドはほぼGoで作られているので、例に漏れずGoで作られています。 pod構成はAPI、fluentd、envoyの サイドカーパターン です
AWS内の通信がインターネットを経由しない今、VPC Endpointを利用する意味はあるのか？ | フューチャー技術ブログ
はじめにこんにちは。TIG村瀬です。 タイトルの通りですがAWS内の通信においてインターネットを経由しないことが最近になって公式ドキュメントに明記されたことを受け、改めてVPC Endpointの必要性について調べてみました。 Q:2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、またはインスタンスが AWS のサービスのパブリックエンドポイントと通信する場合、トラフィックはインターネットを経由しますか? いいえ。パブリックアドレススペースを使用する場合、AWS でホストされているインスタンスとサービス間のすべての通信は AWS のプライベートネットワークを使用します。 AWS ネットワークから発信され、AWS ネットワーク上の送信先を持つパケットは、AWS 中国リージョンとの間のトラフィックを除いて、AWS グローバルネットワークにとどまります。 https://a
こんにちは。 はてなインターン2019 システム基盤開発コースでやったことをお話していきます。 今年のシステム基盤開発コースでは、コードネームphoenixと題して、「毎日生まれ変わるセキュアな踏み台サーバ」の作成に取り組みました。 なぜつくったのか 踏み台サーバ なぜ毎日生まれ変わるのか なぜコンテナを使ったのか 踏み台サーバを更新する仕組み SSMセッションを用いたログイン CloudFormationによる自動デプロイ（未完） Terraformによる自動デプロイ 感想など なぜつくったのか まずはじめに、なぜこのような踏み台サーバの構築を行うことになったのかについて説明します。 多くの現場でもそうであると想像されるように、現状のはてなでは様々な社内サービスや、稼働中のサーバー・データベースにアクセスするために踏み台サーバを経由する必要があります。はてなには種々のサービスが存在してい
Talked at "AWS Dev Day Online Japan" 2020.
Python コードでアーキテクチャ図を生成できる Diagrams がめっちゃ便利！ - kakakakakku blog
「Diagrams」を使うと Python コードでアーキテクチャ図を生成できる．サポートされているアイコンセットがとても多く AWS や Google Cloud や Microsoft Azure もあれば，Kubernetes やプログラミング言語なども使える．試してみたけどめちゃくちゃ便利！まさに Diagram as Code だ✌️ diagrams.mingrammer.com セットアップ 「Diagrams」は Graphviz に依存しているため，macOS だと pip と brew ですぐにセットアップできる． $ pip install diagrams $ brew install graphviz 試してみた さっそく Examples を参考にアーキテクチャ図を作ってみた！ サンプル : AWS from diagrams import Cluster, D
API gateway + lambda + S3でDDoS攻撃を受けて1日あたりで$3000溶かした話 - Qiita
qiita夏祭りに乗り遅れてしまったので一人後夜祭 ~2019年某日~ パイセン「それじゃあ、ワイ君は明日からフロントのログデータを飛ばすのにAPI gatewayとlambdaでS3に保存するようにしてな。木曜までな。その間に自分はサービンのドメイン取ったりRoute53周りの構築するから」 ワイ「これもcloud formationに書くんです？」 パイセン「serverless frameworkっていう基本的な設定はデフォルトで構築してくれる便利なものがあるんやで。これ使い」 ワイ「めっちゃ素敵やん。わかったやで」 パイセン「週初めのMTGは終わりや飯食いに行こう。上野に新しい醤油ラーメン屋ができたんや」 ワイ「いいですね〜」 パイセン「それじゃ自分は新しいロードバイク持ってきたからワイ君も付いてきてな！」 ワイ「ワイ無手なんやが？え、本気で漕初めやがった！こなくそおおおぉぉぉ！」
セキュリティチェックシートって大変ですよね 「契約締結目前で、今日もらったチェックシートを3日後までに出せば決まりです！」 「これNGだと契約できないんですけどなんとかならないですか？」 「（書いてもらったシートをレビュー中）え！？これOKじゃなくてNGですよ！？」 「書き始めたら8時間以上かかってるんですけどこれ無償対応なんですか・・・？」 っていうことありませんか！？ない！？良かったですね！！（血涙） ということで、結構セキュリティチェックシートで苦労しています。 過去にISMS認証を取得したときには「これでちょっとは楽になるな！よかった！」と思ったもんですが、 大きく楽になった感じはありません。 といっても、セキュリティチェックシートは次々来るので、なんとなく悟りが開けてきました。 ということで、道半ばではありますが、 そもそもセキュリティチェックシートってなんだっけ？ なんで苦労し
2021年サーバーサイドのエンジニアが使ってよかったもの10選 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2021 7日目を担当する荒賀(@ken39arg) です。 カヤックのエンジニアブログには2008年にPHPを使ったガラケー関連の記事を書いたのが最初になります。 それから10年以上たち、ガラケーも弊社でのPHPのプロジェクトもほぼなくなり、メンバーもかなり入れ替わり、私自身も20代だったのがついに40歳になりました。そんな私にとってこのアドベントカレンダーは私は今でもここにいるよというPingのような役割になっているため、年に一度若者に混じってアドベントカレンダーに参加しております。 例年ですと、趣味のマラソンなどに関する実績も書いているのですが、昨年同様、今年も続くコロナ禍により多くの大会が中止となったためこちらに関しては特に特記すべき実績はありません。ただ2020年に走るはずだった東京マラソンは権利は移行を続けてお
みなさん大好き（？）、AWS認定試験のお話です。 参考：AWS 認定 – AWS クラウドコンピューティング認定プログラム | AWS 私は現時点で全ての認定（12個）を持っているのですが、認定の有効期限があるうちに振り返っておきたいと思います。 ※Big Data認定は現在Data Analyticsに名前が変更されています。私は古い形式のBig Dataのみ合格しています。 →2021/3/9にData Analyticsも合格しました！Big Dataの後継になるため、認定の種類としては現在も12種類ですが、バッチ的には13個手にいれることができました。 受験日、スコア 認定 受験日 スコア Solutions Architect - Associate 2017-07-23 78% (*1) Solutions Architect - Professional 2018-11-06
ECSを触っていて今まで難しいと思ったことを雑にまとめておく。 ECSを仕事で運用するときに必要な知識が多すぎる。こんなの社内に1人AWSマスターいないと無理だ...— 神速 (@sinsoku_listy) 2021年8月10日 タスクロールとタスク実行ロールの違い ECSを長く触っているのに、いつも混乱する。 タスクロール コンテナ内の権限 S3やSESなどの権限をつける タスク実行ロール コンテナ外の権限 ECRやParameter Storeの権限をつける ECSのデプロイ時に静的ファイルが404になる ECSを触った初期に遭遇した。 詳細は以下のQiitaの記事が分かりやすい。 参照: ECSのデプロイ時に一定確率で静的ファイルが404になる問題を回避する 回避する方法はいくつかある。 静的ファイルをS3に置く CodeDeployの OneAtATime を使う CodeDep
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
クラウドサービスの世界シェアで、米マイクロソフト（Microsoft）が米アマゾン・ウェブ・サービス（Amazon Web Services）を逆転し首位に立ったことが2019年7月8日までに分かった。英IHSマークイットが調べた2018年の売上高ベースの市場シェアでマイクロソフトが対前年比2.4ポイント増の13.8％と大きく伸びたのに対し、AWSは同1.1ポイント増の13.2％にとどまった。 マイクロソフトは電子メールやオフィスソフトをセット提供するSaaS（ソフトウエア・アズ・ア・サービス）の「Office 365」が好調を維持したほか、IaaS（インフラストラクチャー・アズ・ア・サービス）やPaaS（プラットフォーム・アズ・ア・サービス）の分野でも「Azure」が堅調に顧客を開拓し、総合力でシェアを伸ばした。 AWSはIaaSでのシェアが45％を占め、「IaaSに限れば他社よりシェア
こんにちは、エンジニアのtarr [https://github.com/tarr1124]です。 KARTE Blocksは既存のサイトにタグを一行入れるだけで、そのサイトを簡単に書き換えたり、ABテストなどで最適化したりできます。 これは、サイトを読み込むときにタグによってBlocks内で設定された内容を反映させているのですが、既存のサイトの挙動に手を加えている以上、一定のリスクが存在します
【シリコンバレー=佐藤浩実】米アマゾン・ドット・コムは2日、創業者のジェフ・ベゾス最高経営責任者（CEO）が2021年7～9月期に退任し、クラウド部門を率いるアンディ・ジャシー氏がCEOに昇格すると発表した。ベゾス氏は取締役会長となり、自身で創設した環境基金などにより多くの時間を振り向ける。ベゾス氏はヘッジファンド勤務を経て1994年にアマゾンを創業。以来、四半世紀以上にわたりCEOを務めてき
AWS re:Invent皆勤賞の私がほんとは教えたくないre:Invent完全攻略ガイド2023 - yoshidashingo
吉田真吾（@yoshidashingo）です。 AWS re:Invent 2022への参加おつかれさまでした。わたしは2012年の初回参加から2022年まで、2020年のオンラインのみの開催を除き、合計10回 AWS re:Invent に参加しています。世界でも珍しい皆勤賞です。 そんなわたしが来年に向けてすべての知見をここに置いておきます。みなさんにとってのワンピースです。こまかい説明がないと理解しづらい部分は今後加筆するかもしれないですが、一言一句に意味があるので何度も読み返してひとつも余さずに取り入れてもらうことを強く推奨します。 AWS re:Invent 2023 は 2023/11/27(月)〜12/1(金) に開催されます 2023/7/8(土)追記：昨日からJapanツアーが募集開始されたそうだ、手続き漏れやトラブル少なく企業として参加したい場合には購入をおすすめする。
渡辺名人が購入した130万円のパソコン、クラウドでそれと同じ性能のもの、1時間50円で使えるよとツイートしたらえらくバズった。 上のツイートは、決して渡辺名人の研究を揶揄するものではなく、書き方次第で最低にも最高にも聞こえるという、そういう物事の二面性みたいなのって面白いよねという意味でツイートしたわけである。 しかし「クラウドの料金そんなに安くねーだろ」「それってGPUだけの値段ですよね？」「値段一桁間違えてない？」「クラウド使ったことない奴の妄想乙」みたいなツッコミをたくさん頂戴している。
2021/03/20 (Sat.) JAWS DAYS 2021 トラックB 10:40〜
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター セキュリティグループの耿です。 AWS WAF は簡単に Web アプリに WAF を追加でき、かつ値段も他の WAF 製品より安いため、好きな AWS サービスの一つです。そんな AWS WAF ですがしばらく構築・運用し、これを最初から知っておけば・・・と思ったことがあるので 8つご紹介します。 AWS WAF の基本については分かっている前提で、特に説明はいたしません。また2023年10月現在の最新バージョンである、いわゆる「AWS WAF v2」を対象としています。 その1: AWS マネージドルールのボディサイズ制限が厳しい その2: ファイルアップロードが AWS マネージドルールの XSS に引っかかることがある その3: マネージドルールにはバージョンがある その4: CloudWatch Logs
ZOZO×一休×PayPay AWS Nightは、2020年7月22日に開催されたZOZOテクノロジーズ・一休・PayPayの3社による合同イベントです。各社それぞれAWSの活用事例を紹介します。PayPay株式会社プラットフォームチームの西中氏がPayPayのインフラの概要について話しました（記事内の情報はイベント開催時点のもの）。 日本のNo.1 QRコード決済サービス 西中智樹氏（以下、西中）：「PayPayでのAWS活用事例について」と題して、PayPay Platformチーム・西中が発表いたします。 簡単に自己紹介します。西中智樹と申します。2018年12月よりPayPayで仕事をしていまして、現在、AWSなどのPayPayのインフラを所管するPlatformのチームに所属しています。好きなAWSサービスはEKSです。 本日のセッションのアジェンダになります。この順番でお話を
オペレーション部 江口です。 私の主業務はクラスメソッドメンバーズサービスの品質管理や内部監査なのですが、その活動の一環として企業としての標準のセキュリティチェックシートを作成しました。 このチェックシートがこのたびクラスメソッドの企業サイトで公開されましたのでご報告です。 具体的には「ポリシー」ページに「セキュリティチェックシートの提供」という項目が追加されています。 https://classmethod.jp/policy/ 作成・公開の目的 当社はISO27001/27017、PCI-DSS、Pマーク、SOC2など、様々な認証を取得しセキュリティやサービス品質の向上に努めています。 ですが、お客様によっては認証取得の事実だけでなく、実際にセキュリティ対策としてどのように取り組みを行なっているか、もう少し具体的な情報をご要望いただくことがあります。 そうしたお問い合わせの一助として、
AWS、言語やプロトコルに依存しないインターフェイス定義言語（IDL）「Smithy」をオープンソースで公開
AWS、言語やプロトコルに依存しないインターフェイス定義言語（IDL）「Smithy」をオープンソースで公開 クラウド時代のアプリケーションは、複数のソフトウェアがAPIを通じて連携するアーキテクチャが主流になると考えられています。そのため、さまざまなソフトウェアにおいて正確かつ確実にAPIを実装することの重要性が高まっています。 AWSは、このAPIを定義する言語、およびその定義からAPIを実装するコードを生成するツールからなる「Smithy」ベータ版をオープンソースとして公開しました。 SmithyのWebサイトから、その説明を引用しましょう。 Smithy is a protocol-agnostic interface definition language and set of tools for building clients, servers, and documentat
GitLab.comはどうやって6TBのPostgreSQLを9.6から11にたった2時間で移行したのか? | DevelopersIO
GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ
AWSアクセスキーセキュリティ意識向上委員会って何？ 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 はじめに 弊社オペレーションチームでは、AWS よりお客様アカウントの侵害疑いの連絡を受けた際に、状況確認のため CloudTrail を調査しています。本記事では調査で気づいたことをいくつかお伝えできればと思います。 仮想通貨のマイニングを例とすると、攻撃者は自分たちの IAM ユーザーを作り、とにかく「ハイスペックなインスタンス」をとにかく
またお得なAmazon Monitronスターターキットもご用意されています。 （取り付けキット、5 個のセンサー、ゲートウェイのセット） 運用費用 Amazon Monitronはセンサー1つあたり年間50USDのランニングコストがかかります。 費用例 ■要件 5つのモーターを監視する必要がある。 上記を実現するためにAmazon Monitronスターターキットを購入し、 モーターごとに1つのセンサーを取り付け3年間使用した。 ■試算結果 スターターキット購入費用（715USD）＋ センサー年間利用費用×5（250USD）×3年分 ＝ 1465USD（3年間利用費用） 注意事項 ■ Amazon Monitron 利用可能な地域について 米国、英国、およびEUのみで利用可能です。（2021/04/16時点） ■必要なモバイル端末について Android8.0以降のスマートフォンが必要で
こんにちは。クラメソのスジェです。 ほとんどのサービスにはベストプラクティス（=best practices）というのがあります。 そのサービスを利用する際、このベストプラクティスを守るとより効率的に性能を100%活用することができます。 もちろんterraformにもこのようなベストプラクティスがあります。 今回はこのベストプラクティスについて整理してみました。 参考資料 本記事は下記の資料を参考にして作成しました。 本記事ではほとんどのプロジェクトに活用できる程度の項目を紹介しています。つまり、ベストプラクティスについて軽く説明している感じなので、詳細な内容までは上記の資料をご参照ください。 また、紹介した資料以外にもベストプラクティスを調べてみたら、たくさんの資料がありますので、そちらもあわせて確認することをお勧めします。 読む前に 実際にベストプラクティスをプロジェクトに適用しよう
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
100億レコード超のDBを“障害ゼロ”でマイグレーション 新卒1年目が考えた2つのアプローチと3つの工夫
AWSの膨大な公式情報を一括して爆速検索可能なサイト「AWS Stash」 | DevelopersIO
AWS、トランプ支持者のSNS「Parler」へのサービスを1月10日に停止
AWS LambdaとDynamoDBがこんなにツライ時代ではない - めもおきば
サクッとAWS入門＋モダン開発の基本
AWS認定全冠するまでのおすすめの順番
「結局アマゾンか」 デジタル庁、クラウドで米2社選定 もがくデジタル庁（4） - 日本経済新聞
秒間3万リクエストをkubernetesでさばく - Gunosy Tech Blog
毎日生まれ変わるセキュアな踏み台サーバ - Hatena Developer Blog
フロントエンドエンジニアのためのAWSアーキテクチャ
たくさんセキュリティチェックシートを書いていて悟りが開けそうなので途中経過を書いてみる - Qiita
AWS認定12冠を振り返る - fu3ak1's tech days
ECSを運用で使っていて難しいと思った点 - アジャイルSEの憂鬱
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
AWSが世界のクラウドサービス市場で首位陥落、マイクロソフトが逆転
AWSが落ちてもGCPに逃がすことで落ちないシステムを作る技術
AmazonベゾスCEO退任へ クラウド担うジャシー氏昇格 - 日本経済新聞
クラウド最安のGPUについて | やねうら王 公式サイト
組織におけるAWSのアカウント管理とコスト管理
AWS WAF について最初から知りたかったこと8選 - 電通総研 テックブログ
PayPayがAWSを使い続ける理由 日本No.1のQR決済サービスを支えるインフラ構成
クラスメソッド 標準セキュリティチェックシートを公開しました | DevelopersIO
【実録】攻撃者のお気に入り API 10選 | DevelopersIO
Amazon Monitronがすごいので紹介してみる - Qiita
Terraform ベストプラクティスを整理してみました。 | DevelopersIO