並び順

ブックマーク数

期間指定

  • から
  • まで

81 - 120 件 / 304件

新着順 人気順

distributedの検索結果81 - 120 件 / 304件

  • 大規模モデルを支える分散並列学習のしくみ Part1

    はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動

      大規模モデルを支える分散並列学習のしくみ Part1
    • データ指向アプリケーションデザイン

      監訳者まえがき はじめに 第I部データシステムの基礎 1章 信頼性、スケーラビリティ、メンテナンス性に優れたアプリケーション 1.1 データシステムに関する考察 1.2 信頼性 1.2.1 ハードウェアの障害 1.2.2 ソフトウェアのエラー 1.2.3 ヒューマンエラー 1.2.4 信頼性の重要度 1.3 スケーラビリティ 1.3.1 負荷の表現 1.3.2 パフォーマンスの表現 1.3.3 負荷への対処のアプローチ 1.4 メンテナンス性 1.4.1 運用性:運用担当者への配慮 1.4.2 単純さ:複雑さの管理 1.4.3 進化性:変更への配慮 まとめ 2章 データモデルとクエリ言語 2.1 リレーショナルモデルとドキュメントモデル 2.1.1 NoSQLの誕生 2.1.2 オブジェクトとリレーショナルのミスマッチ 2.1.3 多対一と多対多の関係 2.1.4 ドキュメントデータベース

        データ指向アプリケーションデザイン
      • 分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表

        分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表 データセンターをグローバル展開し、アプリケーションプラットフォームサービスを提供しているFly.ioは、分散SQLiteを実現するLiteFSの付加機能として、バックアップとスナップショット、リカバリ機能などをマネージドサービスとして提供する「LiteFS Cloud」を発表しました。 LiteFS Cloud: now in preview. We love SQLite for distributed web apps! Introducing managed backups for LiteFS. Read more from Darla Shockley and @benbjohnson.https://t.co/nQxitx5x7d

          分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表
        • CockroachDB から覗く形式手法の世界 #JTF2021w / July Tech Festa 2021 winter

          July Tech Festa 2021 winter で使用したスライドです。 バグのない分散システムの設計は果たして可能でしょうか? この問いに対する一つの答えとして、CockroachDB では形式手法ツール TLA+ を用いて分散トランザクションの正しさを担保しています。 形式手法はシステムの挙動を数学的に解析する技法で、「ノードが特定のタイミングで故障した場合にのみ発生するバグ」といった再現困難な問題を確実に検出することができます。 本講演では、CockroachDB の事例を通して、形式手法が実世界で活用されている様子をお伝えします。 イベント概要:https://techfesta.connpass.com/event/193966/ ブログ記事:https://ccvanishing.hateblo.jp/entry/2021/01/24/185819 録画:https:/

            CockroachDB から覗く形式手法の世界 #JTF2021w / July Tech Festa 2021 winter
          • Redis Labs、強い一貫性を保ちつつRedisを高可用クラスタ化する「RedisRaft」発表

            インメモリキーバリューストアのRedisを開発するRedis Labsは、複数のRedisをクラスタ化することで高い可用性を実現しつつ、クラスタ内で強い一貫性の保持を実現するクラスタ化ソフトウェア「RedisRaft」を発表しました。 Introducing RedisRaft, a new strong-consistency deployment option for Redis in beyond-cache scenarios requiring a high level of reliability and consistency. #RedisRaft https://t.co/2l5dmiVFpk — Redis Labs (@RedisLabs) June 23, 2020 Redisはメモリ上でキーバリューデータを扱うインメモリデータベースで、その高速性が大きな特長です。

              Redis Labs、強い一貫性を保ちつつRedisを高可用クラスタ化する「RedisRaft」発表
            • RDBMSの先を行く?NewSQLを支えるアルゴリズムRaftをGoで紐解く - カミナシ エンジニアブログ

              初めまして。株式会社カミナシPMの@gtongy1です。 みなさんはNewSQLをご存知ですか? 強い整合性を持つ分散型のSQLデータベースサービスのことをNewSQLと呼びます。 RDBMSではなし得なかった分散アーキテクチャを、またNoSQLではなし得なかった強い整合性をいいとこ取りした新しいSQLデータベースサービスです。 なんかとても理想的な仕組みに見えますね。この裏にはどのような知識が詰め込まれているのでしょうか。 今回はそんなNewSQLを支える仕組みを一緒に紐解いていきましょう! NewSQLが乗り越えた壁 どんな仕組みが動いているのか、の前にNewSQLはこのSQLデータベース界へ何を投げ込んだのでしょうか。 NewSQLには以下のような特徴があります。 SQL-Likeなクエリ言語のサポート 強い整合性 ACIDサポートのトランザクション NewSQLの有名所であるCoc

                RDBMSの先を行く?NewSQLを支えるアルゴリズムRaftをGoで紐解く - カミナシ エンジニアブログ
              • 超PayPay祭による高負荷にヤフーはどのように立ち向かったか

                ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの大岩です。 ヤフーが提供するYahoo!ショッピングやPayPayモールでは1年に1度大規模セールを行っています。 去年(2020/10/17~11/15)の対象期間は、超PayPay祭の開催に合わせて過去最大級の大規模セールとなっていました。特にセール最終日はグランドフィナーレと呼ばれ、ポイント還元率が年間を通して最大となる1年で最もお得な日となっていました。 集客の予測値は通常セールの数倍が見込まれており、セールの高負荷を乗り切るために、セール高負荷専用の対策チームが組まれ、そこを中心として高負荷対策を進めることになりました。 本記事では、大規模セールの高負荷に対して実際にどのような負荷対策を行ったかをサー

                  超PayPay祭による高負荷にヤフーはどのように立ち向かったか
                • 「空き容量」を使った分散型ストレージ「Filecoin(ファイルコイン)」がついに始動、次世代のインターネットの姿とは Web 3.0最注目、分散型ストレージの革新性とその仕組みを解説

                    「空き容量」を使った分散型ストレージ「Filecoin(ファイルコイン)」がついに始動、次世代のインターネットの姿とは Web 3.0最注目、分散型ストレージの革新性とその仕組みを解説
                  • マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ - 赤帽エンジニアブログ

                    インテグレーションのためのミドルウェア製品のテクニカルサポートを担当している山下です。 今回は レッドハットのシニアアーキテクトである Eric Murphy さんによる「マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ(CDC)」の翻訳記事です。この記事では、イベントソーシング、CDC、CDC + Outboxパターン、CQRSをそれぞれ簡単に説明しながら、それらの特性の違いを比較します。また、イベントソーシングとCQRSの簡易な説明がなされている他、あまり明確に語られることが少ないもののソフトウェアの設計に大きな影響をおよぼすドメインイベントとチェンジイベントの違いにも触れられています。 [原文] Distributed Data for Microservices — Event Sourcing vs. Change Data Captur

                      マイクロサービスのための分散データ 〜 イベントソーシング vs チェンジデータキャプチャ - 赤帽エンジニアブログ
                    • OpenTelemetryについての現状まとめ (2020年6月版) - YAMAGUCHI::weblog

                      はじめに こんにちは、StackdriverあらためGoogle Cloud Operations担当者です。ここ最近は業務でOpenTelmetry関連をほそぼそとやってきたんですが、ようやくOpenTelemetryも安定版リリースのめどが立ってきたので、これまでと現状と今後を簡単にまとめておこうと思って書き始めたら、全然簡単じゃなくて10000文字超えました。(なおこのシリーズは今後も続きそうな気がするのでタイトルに日付を振っておきました) TL;DR 分散トレースとメトリクスの計装フレームワークとしてOpenTelemetryというものがCNCF Sandboxプロジェクトとして進行中。これはOpenTracingとOpenCensusのマージプロジェクトであり、各々の正式な後継版である。 とはいうものの、まだ仕様もstableリリースになっておらず、当然各言語向けのライブラリも安

                        OpenTelemetryについての現状まとめ (2020年6月版) - YAMAGUCHI::weblog
                      • The Amazon Builders' Library

                        Amazon is an Equal Opportunity Employer: Minority / Women / Disability / Veteran / Gender Identity / Sexual Orientation / Age.

                          The Amazon Builders' Library
                        • 小さく始める大規模スクラム - LeSS導入のためのプラクティスと成果を実践から学ぶ - Agile Journey

                          こんにちは。株式会社アカツキでエンジニアリングマネージャーをしている、石毛琴恵です。私がマネージメントするチームでは、約1年半前から、スクラムのスケール手法であるLeSS(Large-Scale Scrum)を導入しています。本記事では、「これから自分の環境でLeSSを取り入れたい」「スクラムをスケールさせたい」と考えている方に向け、私のLeSS導入体験やそこから得た学び、失敗したこと、導入した結果や今後の挑戦についてお伝えしたいと思います。 なお、本記事のテーマは、「LeSSの実践」です。そのため、スクラムやLeSSの基本的な概要については、詳しく触れません。これらの基本概念に関しては、スクラムガイドやless.worksをご参照ください。 LeSSを導入した環境について LeSSとはなにか?なにをどのように解決するものなのか? なぜLeSSを採用したのか LeSS導入のプロセス。チーム

                            小さく始める大規模スクラム - LeSS導入のためのプラクティスと成果を実践から学ぶ - Agile Journey
                          • 時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO

                            計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ ある時点のデータを高速に抽出するようなクエリに最適化されている マグネティックストア データを長期間保存するためのストレージ 分析クエリをサポートするように最適化されている 各ストレージにはデータの保持期間が設定でき、設定したデータ保持期間とレコードのタイムスタンプに応じてレコードの保存先がメモリストア → マグネティックストアと遷移し、マグネティックストアのデータ保持期間を超過したレコードは削除されます。 現在はメモリストアとマグネティックストアの2種類でストレージが構成されてい

                              時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO
                            • 分散システム内の関係性に着目したObservabilityツール - Speaker Deck

                              ゆううきが開発しているlstfやtranstracerなどのツールを最近のObservabilityの流れから紹介した話です。 Kyoto.なんか #5, https://kyoto-nanka.connpass.com/event/141982/, 2019年8月24日.

                                分散システム内の関係性に着目したObservabilityツール - Speaker Deck
                              • 再考 - ドメインサービス  - まっちゅーのチラ裏

                                自分が大規模システムで組むアーキテクチャは基本的にはCleanArchitectureを踏襲しているが、その中の構成要素であるドメインサービスだけは少し独自(?)の解釈をしていて、書籍などでよく見る ビジネスロジックを持つが、状態をもたない 複数の集約にまたがる処理を書く場所 という責務の他に、外部システムへの委譲処理だったり、共通UseCaseのような責務も持たせている。 これは、自分が「xxService」という命名にトラウマがあり(何でも置き場になりがち)、単なるServiceだとコントローラやらプレゼンターやら、どこから呼ばれても違和感がない様に見えてしまうから、とりあえずDomeinServiceへ寄せている経緯がある。 ※ここで語るのは、あくまで大規模想定で、小さいシステムならこんな事を意識する必要はないはず。 ※あくまで自分の考えで、一般的ではない可能性があることをご了承くだ

                                  再考 - ドメインサービス  - まっちゅーのチラ裏
                                • 25年前のAmazonの分散コンピューティングの考え方を要約した「The Distributed Computing Manifesto」文書が公開されました #reinvent | DevelopersIO

                                  re:Invent2022 4日目、Dr. Werner Vogelsのキーノートにおいて、「The Distributed Computing Manifesto」というドキュメントがNew Articleとして紹介されました。 The Distributed Computing Manifesto | All Things Distributed Amazonという超巨大なサービスが、モノリスの状態からその時まさに分散コンピューティングを推進していく転換点における考え方を示した貴重なドキュメントになっており、また、Werner自身も言うように、今後のAWSの進化の方向性を示唆する内容にもなっています。 温故知新ってこと…?!! ( ゚д゚) ガタッ /   ヾ __L| / ̄ ̄ ̄/_ \/   / まさにそんな雰囲気。 文書の位置づけ こちらのサイトに追加されたドキュメントという位置

                                    25年前のAmazonの分散コンピューティングの考え方を要約した「The Distributed Computing Manifesto」文書が公開されました #reinvent | DevelopersIO
                                  • 分散アプリケーションの信頼性観測技術に関する研究 / A study of SRE

                                    博士課程での研究まとめ 2023年1月版 / Summary of my research in the PhD course

                                      分散アプリケーションの信頼性観測技術に関する研究 / A study of SRE
                                    • 形式手法による分散システムの検証 #builderscon / builderscon tokyo 2019

                                      builderscon tokyo 2019 で使用したスライドです。 本セッションでは、形式手法 (formal methods) を用いた分散アルゴリズムの検証について解説しました。形式手法は、数学的な表現を用いて対象となるシステムを定式化することにより、システムの挙動の「正しさ」を厳密に保証するための方法論です。 なお解説として取り上げたのは、AWS による事例論文でも有名なモデル検査器 TLA+ です。講演前半で形式手法の一般論に触れたのち、後半では分散トランザクションを実現するための TCC (Try-Confirm/Cancel) Pattern のモデリングと検証を行いました。 講演概要:https://builderscon.io/tokyo/2019/session/fa356ee3-6be9-4850-ac9e-037bd34aabaa 録画:https://www.y

                                        形式手法による分散システムの検証 #builderscon / builderscon tokyo 2019
                                      • #CloudNativeDB NewSQLへの誘い

                                        2021/7/16にCloud Native Database Meetup#1の発表資料です。

                                          #CloudNativeDB NewSQLへの誘い
                                        • クックパッドにおける推薦システムの取り組み

                                          2019年6月24日、Machine Learning Pitchが主催するイベント「Machine Learning Recommender Pitch #3」が開催されました。機械学習を業務に用いる中で培った知見や経験を共有することを目的に設立された本イベント。今回は「情報推薦」をテーマに、株式会社Gunosy、エムスリー株式会社、クックパッド株式会社の3社のエンジニアが、自社の取り組みにおける知見を語ります。プレゼンテーション「クックパッドにおける推薦システムの取り組み 」に登壇したのは、クックパッド株式会社の林田千瑛氏。講演資料はこちら クックパッドにおける推薦システムの取り組み 林田千瑛 氏(以下、林田):最後の登壇になりますが「クックパッドにおける推薦(と検索)についての取り組み」について、発表させていただきます。ちなみに、前の2人はごりごり数式を出してくれていたのです

                                            クックパッドにおける推薦システムの取り組み
                                          • 今すぐ使える分散DB​「エンハンスドデータベース(TiDB)」のご紹介​ | さくらのナレッジ

                                            はじめに この記事では、7月にリリースした、さくらのクラウドで使える機能の1つである「エンハンスドデータベース(TiDB)」というサービスについて紹介します。サービスの紹介に加えて、その裏で使っているTiDBという分散データベースの技術についても簡単に触れようかなと思っています。 分散データベース / NewSQLについて NewSQLとは さて、皆さんは「分散データベース」とか、あるいは「NewSQL」とか、そういった単語を耳にすることがあるでしょうか?ということでまずはこのお話をしたいと思います。 NewSQLと呼ばれているものはどういったものかといいますと、SQLをインターフェースとするという特徴を持っていて、データベース(例えばMySQLやPostgreSQLなど)と同じように強い整合性を持ち、トランザクションをサポートしていて、かつ分散データベース(分散型のリレーショナルデータベ

                                              今すぐ使える分散DB​「エンハンスドデータベース(TiDB)」のご紹介​ | さくらのナレッジ
                                            • Grokking Modern System Design Interview for Engineers & Managers - AI-Powered Learning for Developers

                                              EXPLORE THE CATALOGSupercharge your career with 700+ hands-on courses

                                                Grokking Modern System Design Interview for Engineers & Managers - AI-Powered Learning for Developers
                                              • 分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study

                                                分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study パフォーマンスに苦労している並列処理システムを改善するために Stackdriver Traceを導入して動作の可視化を行った結果、 ボトルネックの存在が判明してパフォーマンスを改善できた事例について紹介します。 この事例でStackdriver Traceを選定した過程や OpenTelemetry へコントリビュートした経緯についても共有します。 また、新規開発のGraphQLサーバへ導入して REST APIサーバと通信をまたいだ可視化を行った事例についても紹介します。

                                                  分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study
                                                • オブザーバビリティ(可観測性)とは何か?を学べる「Distributed Systems Observability」を読んだ - kakakakakku blog

                                                  2019年頃から「オブザーバビリティ (Observability)」もしくは「可観測性」という言葉をよく聞くようになった(本記事では「オブザーバビリティ」という表記に統一する).「マイクロサービス」と同じように「バズワード」の側面があり「オブザーバビリティとは何か?」という質問に対して様々な回答が考えられると思う. 今回は「オブザーバビリティ」の理解を深めるために「Distributed Systems Observability」を読んだ.本書は O'Reilly Media で読むこともできるけど,Humio のサイトから無料でダウンロードすることもできる(メールアドレス登録は必要).著者は Cindy Sridharan となり,肩書は「Distributed Systems Engineer」と書いてあった. www.humio.com 目次 本書には「オブザーバビリティ」をテー

                                                    オブザーバビリティ(可観測性)とは何か?を学べる「Distributed Systems Observability」を読んだ - kakakakakku blog
                                                  • ここがすごいぞyugabyteDB!~OSS版CloudSpanner~ - RAKUS Developers Blog | ラクス エンジニアブログ

                                                    こんにちは。インフラエンジニアの gumamon です! 近年、Kubernetes等の登場により、アプリケーションのスケールアウトはとても簡単になりました。対して、データベース(DB)のスケールアウトは依然として困難です。 「RDBMS」⇒ データの一貫性は保てるが、スケールアウトが難しい 「NoSQL」⇒ データの一貫性を保てないが、スケールアウトが容易 DBのスケールアウトを考えるとこの2択に行きつく、というのが今までの常識だったかと思いますが、 『どっちも!』が出来てしまう第3の選択肢が登場しました。 データの一貫性を保て、且つスケールアウト容易な『NewSQL』! 最近、NewSQLの一つである yugabyteDB の検証をする機会がありましたので、アーキテクチャと検証結果を紹介します。 目次 目次 ここがすごいぞ yugabyteDB! yugabyteDBのアーキテクチャ

                                                      ここがすごいぞyugabyteDB!~OSS版CloudSpanner~ - RAKUS Developers Blog | ラクス エンジニアブログ
                                                    • Observabilityをはじめよう!(前編) 〜Observabilityの背景と構成要素〜 | さくらのナレッジ

                                                      はじめに 仲亀と申します。さくらインターネットでエバンジェリストやインフラエンジニアをしています。エンジニアとしてはシステムの監視まわりの仕事をしています。最近は、今回もご紹介するPrometheusとかGrafana Lokiとか、あの辺が結構好きで触っています。 この記事では、監視について興味をお持ちの皆さんに向けて「Observabilityをはじめよう!」ということで、Observabilityの概念や、それが必要となる背景を少し説明した上で、Observabilityを実現するための要素となる、MetricsやLogsやTracesなどをどこから始めていけばいいんだろう、といったところをご紹介していこうと思います。 この記事のゴールとしては、皆さんに「Observability完全に理解した」と言っていただけたらいいかなと思っています。しかし、この記事を読んだだけですぐに皆さんの

                                                        Observabilityをはじめよう!(前編) 〜Observabilityの背景と構成要素〜 | さくらのナレッジ
                                                      • 【森山和道の「ヒトと機械の境界面」】 PFNの大規模分散深層学習専用プライベートスパコン「MN-2」潜入レポート

                                                          【森山和道の「ヒトと機械の境界面」】 PFNの大規模分散深層学習専用プライベートスパコン「MN-2」潜入レポート
                                                        • フルスクラッチして理解するOpenID Connect (3) JWT編 - エムスリーテックブログ

                                                          こんにちは。デジカルチームの末永(asmsuechan)です。この記事は「フルスクラッチして理解するOpenID Connect」の全4記事中の3記事目です。前回はこちら。 www.m3tech.blog 9 JWT の実装 9.1 JWT概説 9.2 OpenID Connect の JWT 9.3 ヘッダーとペイロードの実装 9.4 署名の実装 公開鍵と秘密鍵を生成する 署名処理を作る 10 JWKS URI の実装 (GET /openid-connect/jwks) 11 RelyingParty で ID トークンの検証をする 12 OpenID Connect Discovery エンドポイントの実装 (GET /openid-connect/.well-known/openid-configuration) まとめ We're hiring 今回は全4回中の第3回目です。 (

                                                            フルスクラッチして理解するOpenID Connect (3) JWT編 - エムスリーテックブログ
                                                          • 分散合意アルゴリズム Raft を TLA+ で検証する - 俺の Colimit を越えてゆけ

                                                            はじめに 分散合意アルゴリズム Raft とは 分散合意アルゴリズムとは Raft の特徴 Raft が満たす性質 Election Safety Leader Append-Only Log Matching Leader Completeness State Machine Safety TLA+ とは TLA+ による Raft の形式的仕様 TLA+ による Raft の検証方法 TLA+ Toolbox のインストール 新規 Spec の作成 Model の作成と実行 補足: コマンドラインでの検証 Raft の拡張について Leadership Transfer Membership Change Log Compaction Client Interaction おわりに Raft 理解度を調べるクイズ 参考資料 Raft に関する資料 TLA+ に関する資料 はじめに この

                                                              分散合意アルゴリズム Raft を TLA+ で検証する - 俺の Colimit を越えてゆけ
                                                            • たった60秒でKubernetes環境を構築できる「MicroK8s」にHAクラスター機能が追加

                                                              Linuxディストリビューション「Ubuntu」を提供するCanonicalは2020年10月15日、同社が開発している軽量版Kubernetesの「MicroK8s」に高可用性(HA)クラスター構築機能を追加したと発表しました。これまでシングルノードに特化していたMicroK8sでも、可用性の高い複数ノードのクラスター構築が可能になりました。 Introducing HA MicroK8s, the ultra-reliable, minimal Kubernetes | Ubuntu https://ubuntu.com/blog/introducing-ha-microk8s-the-ultra-reliable-minimal-kubernetes MicroK8s - Zero-ops Kubernetes for developers, edge and IoT https:/

                                                                たった60秒でKubernetes環境を構築できる「MicroK8s」にHAクラスター機能が追加
                                                              • GitHub - superfly/litefs: FUSE-based file system for replicating SQLite databases across a cluster of machines

                                                                You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                  GitHub - superfly/litefs: FUSE-based file system for replicating SQLite databases across a cluster of machines
                                                                • 分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか?それぞれの特徴をまとめてみた

                                                                  X(旧Twitter)の仕様変更などを受けて、BlueskyやMastodonなどの分散型SNSに注目が集まっています。そこで、分散型SNSプロトコルの代表的存在である「AT Protocol」「ActivityPub」「Nostr」の特徴をまとめてみました。 Docs | AT Protocol https://atproto.com/docs ActivityPub https://www.w3.org/TR/2018/REC-activitypub-20180123/ GitHub - nostr-protocol/nostr: a truly censorship-resistant alternative to Twitter that has a chance of working https://github.com/nostr-protocol/nostr Nostrの仕組

                                                                    分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか?それぞれの特徴をまとめてみた
                                                                  • 分散アプリケーションの異常の原因を即時に診断するための手法の構想 / Causality Tracing in Distributed Applications

                                                                    分散アプリケーションの異常の原因を即時に診断するための手法の構想 / Causality Tracing in Distributed Applications

                                                                      分散アプリケーションの異常の原因を即時に診断するための手法の構想 / Causality Tracing in Distributed Applications
                                                                    • 詳説 データベース

                                                                      データベースを選択し、使用し、管理するには、その内部構造を理解することが不可欠です。しかし、今日ではたくさんの分散型データベースやツールが存在するため、それぞれが何を提供しているのか、どのように異なるのかを理解することは困難です。 本書はデータベースとストレージエンジンの内部で利用されている概念を解説します。ストレージエンジンでは、ストレージの分類、Bツリーベースのストレージエンジンとイミュータブルなログ構造化ストレージエンジンの違いと事例を紹介します。ストレージの構成要素については、ページキャッシュ、バッファプール、ログ先行書き込みなどの補助的なデータ構造を使って、効率的なストレージを構築するためのデータベースファイルの構成を説明します。分散型システムでは、ノードとプロセスがどのように接続され、複雑な通信パターンを構築するのかを段階的に学びます。 データベースそれぞれで大きな違いがあるス

                                                                        詳説 データベース
                                                                      • 大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/0…

                                                                        大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)

                                                                          大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/0…
                                                                        • OpenTelemetry

                                                                          OpenTelemetry is a collection of APIs, SDKs, and tools. Use it to instrument, generate, collect, and export telemetry data (metrics, logs, and traces) to help you analyze your software’s performance and behavior. OpenTelemetry is generally available across several languages and is suitable for use.

                                                                            OpenTelemetry
                                                                          • 配信サーバー「VODST」 - DMM inside

                                                                            |DMM inside

                                                                              配信サーバー「VODST」 - DMM inside
                                                                            • Scrum@Scaleの基本と実装 - Chatworkの実践に学ぶ「スケールするスクラム」の導入戦略|ハイクラス転職・求人情報サイト AMBI(アンビ)

                                                                              Scrum@Scaleの基本と実装 - Chatworkの実践に学ぶ「スケールするスクラム」の導入戦略 スクラムのスケーリング手法であるScrum@Scale(スクラムアットスケール)の基本的な概念、そして企業内での実践例を粕谷大輔(daiksy)さんが解説します。実践例では、Scrum@Scaleにおいて「だれが」「なにをやるのか」を、1週間のタイムスケジュールとともに解説します。 2001年にアジャイルソフトウェア開発宣言 が発表されてから20年。日本のソフトウェア開発の現場でもアジャイルはずいぶん一般的に扱われるようになってきました。そのうちの手法の1つであるスクラムについても、導入事例を多く見聞きします。 スクラムは原則的に少人数のチームに適用されることを前提としている手法ですが、さまざまな現場で扱われるようになるにつれ、規模の大きなチームへと拡張されるニーズも高まってきました。現

                                                                                Scrum@Scaleの基本と実装 - Chatworkの実践に学ぶ「スケールするスクラム」の導入戦略|ハイクラス転職・求人情報サイト AMBI(アンビ)
                                                                              • エッジ・フォグコンピューティングの成り立ちとネットワークインフラのこれから

                                                                                近年、エッジコンピューティングという言葉をよく目にするようになりました。 エッジコンピューティングの「エッジ」とは、どこの/何のエッジ(端)なのでしょう?実はこれは、「クラウド」に対するエッジを指しています。ではエッジコンピューティングの「コンピューティング」とは何でしょうか?エッジコンピューティングは、ネットワークの中にコンピュータを埋め込みたい、という動機からスタートしています。 エッジコンピューティングの理解のためには、クラウドやネットワークの知識が少しだけ必要です。また、エッジコンピューティングはすっかりバズワード化しているため、全体像を少しだけ俯瞰的に眺めてみる必要もあります。 本資料では、エッジコンピューティングという考え方がなぜ登場してきたか、またエッジコンピューティングで何を実現することを目指しているのか、について解説していきます。 そして、それらの話を通じて、エッジコンピ

                                                                                  エッジ・フォグコンピューティングの成り立ちとネットワークインフラのこれから
                                                                                • Kubernetesの負荷試験で絶対に担保したい13のチェックリスト - Enjoy Architecting

                                                                                  概要 ここ最近、Kubernetesクラスタを本番運用するにあたって負荷試験を行ってきました。 Kubernetesクラスタに乗せるアプリケーションの負荷試験は、通常の負荷試験でよく用いられる観点に加えて、クラスタ特有の観点も確認していく必要があります。 適切にクラスタやPodが設定されていない場合、意図しないダウンタイムが発生したり、想定する性能を出すことができません。 そこで私が設計した観点を、汎用的に様々なPJでも応用できるよう整理しました。 一定の負荷、スパイク的な負荷をかけつつ、主に下記の観点を重点的に記載します。 Podの性能 Podのスケーラビリティ クラスタのスケーラビリティ システムとしての可用性 本記事ではこれらの観点のチェックリスト的に使えるものとしてまとめてみます。 確認観点 攻撃ツール 1: ボトルネックになりえないこと Podレベル 2: 想定レイテンシでレスポ

                                                                                    Kubernetesの負荷試験で絶対に担保したい13のチェックリスト - Enjoy Architecting