アベイラビリティーゾーンを使用した静的安定性
Amazon で構築するサービスにおいては、非常に高い目標で可用性を達成する必要があります。これはつまり、システムが取る依存関係について、慎重に検討する必要があることを意味します。これらの依存関係が損なわれた場合でも復元力を維持するようにシステムを設計します。この記事では、このレベルの復元力を実現するために静的安定性と呼ばれるパターンを定義します。この概念を、AWS の重要なインフラストラクチャビルディングブロックであるアベイラビリティーゾーンに適用する方法を示します。したがって、すべてのサービスが構築される基盤になります。 静的に安定した設計では、依存関係が損なわれてもシステム全体が動作し続けます。おそらく、システムは、依存関係が提供するはずだった更新された情報（新しいもの、削除されたもの、変更されたものなど）を確認しません。しかし、依存関係が損なわれる前に行われていたすべての処理は、依
Steve Yegge の Google とプラットフォームに関するぶっちゃけ話を訳した（前編）
Google エンジニアの Steve Yegge 氏、Google+ への懸念を漏らす http://japan.internet.com/busnews/20111013/8.html で記事になってたけど、原文とちょっと要旨が変わっちゃってサービスへの警鐘みたいになってしまってたので、全文訳してみた。くそ長い。お暇な方どうぞ。 （2011/10/19 08:14）ありがたい誤訳の指摘をいただいたので3カ所修正。 Stevey の Google プラットフォームぶっちゃけ話 僕は6年半ばかり Amazon にいて、今はそれと同じくらい Google にいる。この二つの会社について強く感じることは（しかもその印象は日々強まるのだけれど）、 Amazon は全てにおいて間違っていて、 Google は全てにおいて正しいということだ。そう、やりすぎな一般化だけど、驚くほど正確だと思う。いやも
世界に通用するICT人材はどうすれば育成できるか、NTT東日本の登氏が提言
NTT東日本のビジネス開発本部特殊局員の登大遊氏は2020年10月13日、「新型コロナウイルス対策『シン・テレワークシステム』おもしろ開発秘話」と題して、オンラインで開催された「日経クロステック EXPO 2020」で講演した。日本のICT人材不足の課題や、「シン・テレワークシステム」の開発の裏側について語った。同システムは登氏が2週間で開発。NTT東日本と情報処理推進機構（IPA）が2020年4月から無償で提供しており、10月14日時点で8万人以上が利用する。 登氏はOSやクラウド、通信、セキュリティーといったICT分野の技術・サービスを生み出せる人材が日本で不足している課題を指摘。米Amazon Web Services（AWS）といったクラウドサービスや米MicrosoftのOS製品群「Microsoft Windows」、米Oracleの「Oracle Database」を「使う」
ユーザー投稿型サイトのSEO対策
Zennという技術情報共有サービスを運営しています。長期的にZennの流入経路の多くは「検索」になると予想しています。むしろ検索流入が多いサービスであるべきだと考えています。 具体的なソースコードや数式が並ぶ文章は、ソーシャルメディアではあまりシェアされません。ある程度抽象的な内容でないと、読者層が狭く、読み手も労力を必要とするからです。 （具体的な話を盛り込みつつ話題を集める文章を書けるスーパーな方もときどきいますが） しかし、いざ仕事で問題に直面したとき、自分を助けてくれるのは、たいてい具体的なコードを含む記事や実際に問題に直面した人によるニッチな体験談です。すぐに誰かに届くものではないけれど、後から同じ道を通った人は助かる… そんな先人の知恵がたくさん集まる場所になったらいいなと考えています。 SEOに関する情報収集源 本題に入る前に、僕が参考にしているSEO対策の情報源を紹介してお
100万行オーバーのモノリシックRailsアプリをマイクロサービス化したクックパッドの手順 - エンジニアHub｜Webエンジニアのキャリアを考える！
100万行オーバーのモノリシックRailsアプリをマイクロサービス化したクックパッドの手順 マイクロサービスの導入事例を、中の人が徹底的に語ります。クックパッドでは、100万行オーバーの超巨大なRuby on Railsアプリのマイクロサービス化に挑みました。アプリをいかに分離し、連携できるようにするか、など、同社が採ったマイクロサービス化の戦略を聞きました。 Ruby on Railsのバージョンアップに1年かかっていた 【マイクロサービス化戦略】まずはコードを減らすことから 【マイクロサービス化戦略】アプリ固有のバッドノウハウを減らす 【マイクロサービス化戦略】まずは分離しやすい部分からお試しで 【マイクロサービス化戦略】データベースが切れていればサービスも切りやすい 【マイクロサービス化戦略】インフラ構成を標準化する 【マイクロサービス化戦略】サービスメッシュを入れて通信の課題をクリ
動画サービスを支える配信基盤のコアテクノロジー
DMM meetup #15 コンテンツ配信を支える技術 https://dmm.connpass.com/event/160047/
マイクロサービスにおけるWeb APIスキーマの管理 ─ GraphQL、gRPC、OpenAPIの特徴と使いどころ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
マイクロサービスにおけるWeb APIスキーマの管理 ─ GraphQL、gRPC、OpenAPIの特徴と使いどころ マイクロサービスにおける通信方式の選択について、おおた（ota42y）さんが、GraphQL・gRPC・OpenAPIといった主なWeb APIスキーマの管理の利点と使い分けを解説します。 近年流行しているマイクロサービスアーキテクチャにおいては、「どういった通信方式を選ぶか」が開発の効率やサービスの信頼性、パフォーマンスを大きく左右します。この記事では、GraphQL・gRPC・OpenAPIそれぞれの利点と適切な使い分けについて解説します。 マイクロサービスにおけるWeb API管理の重要性 Schema First DevelopmentとWeb API 人ではなくプログラムが処理できるよう管理する Web APIのインタフェース定義手法の比較 OpenAPI ─ R
標準技術に携わるメリットや標準化活動のヒント
Yahoo! JAPAN Advent Calendar 2019の4日目の記事です。一覧はこちら（外部リンク） こんにちは、認証技術黒帯 倉林 雅（@kura_lab）です。 みなさんが普段開発しているインターネットサービスには、物理層からアプリケーション層まで各レイヤーでいろいろな標準技術が使われています。 今回は私が携わっているID連携や認証領域の標準技術を例に、標準技術に携わる理由と標準化活動のやり方をお話します。 標準技術と普及・啓発活動について 標準仕様を活用する理由 標準技術と聞くと難しいと思われるかもしれませんが、ID連携や認証領域の技術はアプリケーション層の技術で構成されており、一般的なプログラミング言語で実装できるものが多くあります。OpenID ConnectやOAuth 2.0といった技術もそれにあたります。 Yahoo! JAPAN IDのログインやID連携のシス
Increments(Qiita)の代表を退任します｜やおっち (Coachat🐢)
本日株式会社エイチームより開示がありましたが、今年いっぱい(2019/12/27)をもってIncrementsを退任することとなりました。退任日までは引き続き代表としてIncrementsの経営を行ないますが、その後は他のメンバーに任せて離れることとなります。これまでお世話になったみなさんありがとうございました。 これまでのIncrementsの振り返りなどはまた退任後にまとめようと思いますが、この記事では退任について自分の考えや背景を残しておきます。 退任について退任理由は(株式売却した起業家によくありそうな)環境への不満だったり事業やサービスに飽きたといったことではなく、家族にしっかりと時間を使うためです。 うちには現在子供(幼児)が2人いるのですが、子育てと仕事の両立が難しく妻も自分も精神的に余裕がなくなってしまいました。自分の場合は一時期あまり眠れなかったり精神的に不安定になるとい
マイクロソフト、マイクロサービス開発を容易にする「Dapr」をオープンソースで公開。サービス間呼び出し、ステート管理、サービス間メッセージングなど提供
マイクロソフトは、マイクロサービスアプリケーションの開発を容易にするためのフレームワーク「Dapr」をオープンソースとして公開しました。現在アルファ版となっており、多くの開発者の協力を求めています。 マイクロサービスアプリケーションは、「マイクロサービス」あるいは単に「サービス」と呼ばれる、それぞれがアプリケーションを構成するための機能を提供する多数のプログラムが疎結合によって連係することで実現されます。 それぞれのサービスはWebサーバのようにステートレスなものもあれば、データベースサーバのように状態をつねに保持するステートフルなものもあります。 また、それぞれ異なるプログラミング言語で開発されたサービスがお互いを呼び出し、メッセージをやりとりする必要があります。 Daprは、こうしたマイクロサービスアプリケーションの開発を容易にするため、プログラミング言語に依存せず、サービス間の呼び出
サーバレスアーキテクチャによる有料ライブ配信サービスの構築
ライブ配信を支える技術 2019年10月4日(金)〜6日(日)開催の「水曜どうでしょう祭2019」では＜昼の部＞の有料ライブ配信を実施。その技術サイドのお話をいたします。社内外の多くの方のご協力があってほぼほぼ内製で構築することができました。今回の構築をざっくりですが、残しておきたいと思います。 全体のざっくり構成図 会場からクラウドにあげるまで Media Services API橋渡し(DRM)(決済・認証) ネットワーク フロントエンド プロジェクト管理 1.会場からクラウドにあげるまで テレビ中継車から会場のビジョンに出しているものを中継します。 今回はHTB本社で放送用に受けた映像を分岐してもらいました。 この映像をSDIからHDMIに変換してLiveShellPro2台を用いてRTMPでAWSであげます。 AWSまではNTT東日本さんのCloudGateway Applipac
Fastly に入社しました - Islands in the byte stream
2019年9月9日からFastlyに入社しています。勤務地は東京です。今後ともよろしくお願いいたします。 前職の Bit Journey, Inc. では3年ほどKibelaのサーバーサイドやフロントエンドアプリの開発に関わりました。Bit Journey在職中に子供がうまれ、現在も夫婦で分担しながら子育てをしていますが、この子育て初期という大変な時期*1にBit Journeyで気持ちよく働けたのはたいへんな僥倖でした。ここで改めて感謝いたします。 さて、Fastlyは方向性を変えて、ウェブアプリではなくVarnishやH2Oなどのミドルウェアの開発に関わります。 Kibelaは自分が数年のあいだ心血を注ぐにふさわしいサービスでしたし、実際のところ大いに開発を楽しみました。しかし、しばらく今後のキャリアの方向性を考えた結果、かねてから経験してみたいと思っていた低レイヤーなソフトウェア開発
100億円キャンペーンで学んだ“教訓” PayPayのスケーラブルな巨大決済システムを支える工夫
100億円キャンペーンで学んだ“教訓” PayPayのスケーラブルな巨大決済システムを支える工夫 PayPay 100億円キャンペーンのシステム構築 #2/2 2019年6月12〜14日、幕張メッセにて「AWS Summit Tokyo 2019」が開催されました。アマゾンウェブサービス （AWS） に関する情報交換や、コラボレーションを目的として行われるこのカンファレンスでは、140社以上の利用企業による先進事例セッションをはじめ、数々のイベントを実施しました。プレゼンテーション「PayPay 100億円キャンペーンのシステム構築 」に登壇したのは、PayPay株式会社プロダクト本部の山本啓介氏とShilei Long氏。スマホ決済アプリとして新規参入した同社が展開し、日本中の話題をさらった「100億円キャンペーン」の技術的背景について語ります。後半パートとなる今回は、Shilei Lo
秒間100万リクエストをさばく - Googleの共通認可基盤 Zanzibar - 発明のための再発明
はじめに Googleの提供するサービス郡が共通して利用している認可システムにはZanzibarという名前がついています。ZanzibarはGoogleDrive・Google Map・Youtubeなどの巨大なサービスにも使用されています。 そのため、利用量も凄まじく 数10億のユーザー 数兆のACL(access control list) 秒間100万リクエスト もの量をさばいています。 にも関わらず、Zanzibarはこれを10ミリ秒以内に返します(95パーセンタイル)。 この記事では、そんなZanzibarの内部構造に関する論文「Zanzibar: Google’s Consistent, Global Authorization System」の中から、主に大量のリクエストをさばくための工夫を紹介します。 ちなみに、以前Googleの社内システム用の認可システム「Beyond
あのとき、「ネットが消えた島」で何が起きたのか
まずは何が起きたか復習しよう いまや、私たちにとってインターネットサービスは「インフラ」と化している。ビジネスで利用する多種多様なデータ通信からリアルタイムメッセージによるコミュニケーション、ビデオ会議、そして個人で利用する動画、音楽をカバーするストリーミングコンテンツにオンラインショッピング、ソーシャルゲームまで、あらゆるものでネットを使っている。 人はいつでもどこでもインターネットに接続できる環境を熱望し、今では飛行機や外洋を航行する船、人工衛星からもインターネットに接続できるようになった。逆にいえば、現代人はもはや、どこまでも追いかけてくるメールやメッセージ、SNSの呪縛から逃れられなくなっている。 と、思っていたら。 昨日まで当たり前のように使っていたインターネットが、長期間使えなくなった地域があった。平成から令和に切り替わるころ、日本の東京都で。 場所は伊豆諸島の新島、式根島、神
PayPayエンジニアが明かす「100億円キャンペーン」のシステムの舞台裏 数々の問題を解決するためにやったこと
PayPayエンジニアが明かす「100億円キャンペーン」のシステムの舞台裏 数々の問題を解決するためにやったこと PayPay 100億円キャンペーンのシステム構築 #1/2 2019年6月12〜14日、幕張メッセにて「AWS Summit Tokyo 2019」が開催されました。アマゾンウェブサービス （AWS） に関する情報交換や、コラボレーションを目的として行われるこのカンファレンスでは、140社以上の利用企業による先進事例セッションをはじめ、数々のイベントを実施しました。プレゼンテーション「PayPay 100億円キャンペーンのシステム構築 」に登壇したのは、PayPay株式会社プロダクト本部の山本啓介氏とShilei Long氏。スマホ決済アプリとして新規参入した同社が展開し、日本中の話題をさらった「100億円キャンペーン」の技術的背景について語ります。前半パートとなる今回は、山
マイクロサービス ４つの分割アプローチ
アプリケーションの分割のアプローチ ●４つのアプローチ - ビジネスファンクション - 動詞／ユースケース - 名詞／リソース - 境界づけられたコンテキスト ● トランザクションの分割 - パイプライン化 (VETRO) - コーディネート (Saga) - 状態更新の非同期化 ( Event History - State Materialize - Domain Specific Query )
マイクロサービスにおける決済トランザクション管理 | メルカリエンジニアリング
この記事はMERPAY TECH OPENNESS MONTHの15日目の記事です。 こんにちは。メルペイのPayment PlatformチームでPaymentServiceの開発を担当するエンジニアの @foghost です。 メルペイではマイクロサービスのアーキテクチャで決済システムを開発しています。その中でPaymentServiceは決済トランザクション管理の基盤サービスとして、下位層のサービス（外部サービスも含め）が提供する各種決済手段を利用して、上位層のサービス（メルカリ、NFC，コード払いなど）に必要な決済フローを共通APIとして提供しています。PaymentServiceが提供する決済処理に複数のサービスを跨いでお金の動きを正確に管理する必要があるので、作り始めた頃から決済トランザクション管理を最も重要な課題として、サービスを跨いでもデータの整合性が取れる仕組みを作ってき
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クラスメソッド、技術情報共有サービス「Zenn」の買収に関する契約を締結〜誰かのために、自分のために知見を共有するプラットフォームの開発を加速〜 | クラスメソッド株式会社
インフラ自動化の落とし穴と宣言的アーキテクチャ
