並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 301件

新着順 人気順

distributedの検索結果1 - 40 件 / 301件

  • 分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか?それぞれの特徴をまとめてみた

    X(旧Twitter)の仕様変更などを受けて、BlueskyやMastodonなどの分散型SNSに注目が集まっています。そこで、分散型SNSプロトコルの代表的存在である「AT Protocol」「ActivityPub」「Nostr」の特徴をまとめてみました。 Docs | AT Protocol https://atproto.com/docs ActivityPub https://www.w3.org/TR/2018/REC-activitypub-20180123/ GitHub - nostr-protocol/nostr: a truly censorship-resistant alternative to Twitter that has a chance of working https://github.com/nostr-protocol/nostr Nostrの仕組

      分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか?それぞれの特徴をまとめてみた
    • Appleの未開封のiPhoneをソフトウェアアップデートする「Presto」システムのさらなる詳細が明らかに

      Appleが未開封のiPhoneを化粧箱に入ったままソフトウェアアップデートできるようになる「Presto」と呼ばれるシステムを運用し始めることが、2024年3月末の報道により明らかになっています。このPrestoのさらなる詳細が、フランスメディアのiGenerationの報道により判明しました。 Apple Store : comment se passe la mise à jour des iPhone sous boite avec Presto | iGeneration https://www.igen.fr/iphone/2024/03/apple-store-comment-se-passe-la-mise-jour-des-iphone-sous-boite-avec-presto-142661 Apple's Presto system is even more sop

        Appleの未開封のiPhoneをソフトウェアアップデートする「Presto」システムのさらなる詳細が明らかに
      • How Figma's Databases Team Lived to Tell the Scale | Figma Blog

        Our nine month journey to horizontally shard Figma’s Postgres stack, and the key to unlocking (nearly) infinite scalability. Vertical partitioning was a relatively easy and very impactful scaling lever that bought us significant runway quickly. It was also a stepping stone on the path to horizontal sharding. Figma’s database stack has grown almost 100x since 2020. This is a good problem to have be

          How Figma's Databases Team Lived to Tell the Scale | Figma Blog
        • マルチテナントの実現におけるDB設計とRLS / Utilizing RSL in multi-tenancy

          # 実装の参考資料 - https://soudai.hatenablog.com/entry/2022/11/11/110825 # 類似の登壇内容の動画 - https://www.youtube.com/watch?v=PXy6I-AeI-I

            マルチテナントの実現におけるDB設計とRLS / Utilizing RSL in multi-tenancy
          • フルスクラッチして理解するOpenID Connect (3) JWT編 - エムスリーテックブログ

            こんにちは。デジカルチームの末永(asmsuechan)です。この記事は「フルスクラッチして理解するOpenID Connect」の全4記事中の3記事目です。前回はこちら。 www.m3tech.blog 9 JWT の実装 9.1 JWT概説 9.2 OpenID Connect の JWT 9.3 ヘッダーとペイロードの実装 9.4 署名の実装 公開鍵と秘密鍵を生成する 署名処理を作る 10 JWKS URI の実装 (GET /openid-connect/jwks) 11 RelyingParty で ID トークンの検証をする 12 OpenID Connect Discovery エンドポイントの実装 (GET /openid-connect/.well-known/openid-configuration) まとめ We're hiring 今回は全4回中の第3回目です。 (

              フルスクラッチして理解するOpenID Connect (3) JWT編 - エムスリーテックブログ
            • Object.fromEntriesを活用してArray#reduceを代替する

              JavaScriptにおいて、ある配列をもとにして別のオブジェクトを作成する場合、Array#reduceを使用することが多い。 const input = ['foo', 'bar', 'baz']; const result = input.reduce((accumulator, currentValue) => { accumulator[currentValue] = capitalize(currentValue); return accumulator; }, {}); assert.deepStrictEqual(result, { foo: 'Foo', bar: 'Bar', baz: 'Baz' }); しかし例のように、単にキーと値の組み合わせにマッピングするだけなら、あえてArray#reduceを使うまでもない。代わりにObject.fromEntriesを使え

                Object.fromEntriesを活用してArray#reduceを代替する
              • (翻訳) GitLab 社で働くのはどのようなものだったか - forest book

                本稿は Yorick Peterse 氏によって書かれた次の記事の日本語翻訳です。著者に翻訳の許可を得て公開しています。 yorickpeterse.com また本稿は DeepL Pro を使って下訳したものに手を加えています。日本語翻訳の不具合または誤訳については Yorick Peterse 氏ではなく、本稿のコメント欄にお願いします。 ここから本文です。 GitLab 社で働くのはどのようなものだったか 私は2015年10月に GitLab 社に入社し、6年あまり働いて2021年12月に退社しました。 前に GitLab 社を辞めて Inko に取り組んでいることは書きましたが、2015年から2021年までの間、GitLab 社で働いていたことがどのようなものであったのかについては触れませんでした。理由は2つあります。 燃え尽き症候群に苦しんでいて、(当時は) 自分の人生の最後の6

                  (翻訳) GitLab 社で働くのはどのようなものだったか - forest book
                • A Distributed Systems Reading List

                  2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of

                  • ハッカーのおもちゃとしてのNostrのススメ - Qiita

                    はじめに Nostrという、SNSのようなものはご存知でしょうか? ご存知でなければ、ぜひまず一度触ってみることをお勧めします。 割と普通にSNSっぽく使えます。 分散系SNSっぽいシステム Nostrは、分散系のSNSっぽいネットワークです。 図で表すとこんな感じ。普通に想像するWebサービスとは随分形が違うと思います。 各所のリレーサーバーに、ユーザーは投稿をばらまき、ユーザーがそれを見る形です。 分散の責任がユーザー(クライアント)側にあって、リレーサーバーが落ちたり消えたりしても影響が起きにくい仕組みです。 より詳しい説明は上記でやってるのですが、端的に言って 中央管理者がいない(各リレーに管理者はいる) 冗長で災害に強い Websocketのリアルタイム通信 オープンでシンプルで、でも拡張し放題な仕様 数多のサーバーによる分散ネットワーク といった特徴があります。 ※P2P技術は

                      ハッカーのおもちゃとしてのNostrのススメ - Qiita
                    • Nostr の面白さをエンジニア目線で解説してみる

                      はじめに 今年は、SNS でありプロトコルでもある Nostr に出会いました。2023年2月の参加でしたがもう、どういった経緯で Nostr を見付けて参加したのかすら思い出せなくなってしまいました。ここ数年、X/Twitter が API という物を開発者に触らせなくなってしまいました。僕は X/Twitter が大きくなった理由の1つが、API をオープンにした事で数多くの bot やサービスがが登場した事だと思っていて、API が自由で無くなった X/Twitter をとても残念に感じています。次第に SNS に関連する何かを作るモチベーションはさっぱり無くなってしまっていました。 そんな中で見付けた Nostr はエンジニアのオアシスとでも言える SNS だと感じました。 Nostr の思想 X/Twitter は中央集権型の SNS であり、以下の様な問題を持っています。 障害

                        Nostr の面白さをエンジニア目線で解説してみる
                      • 新NISAは年初に一括購入した方が効率的。それでも分散購入する理由

                        前提◯株式(世界の経済)は全体として成長する。 ◯購入するものはインデックス投信とする。ただし、為替ヘッジなし(円ベースと書いてあるもの)とする。 理想と現実下落したときに一括購入することが理想だが、以下の理由にによりなかなか上手くいかない。 ◯一旦下落が始まると、「もっと下がってから買おう」という心理が働いてなかなか購入に踏み切れない。筆者の例でいうと、今年8月〜10月の下落基調のときに、NASDAQが12000まで落ちたら余剰資金突っ込むつもりで待ち構えていたが12500で反発してするすると上がっていってしまった(その機会損失だけで数百万円分くらいある。)。 ◯下落したときの株価が一括購入時を下回らないときが往々にしてある。例えば今年のeMAXIS Slim全世界株式(オール・カントリー)を見てみると、年始早々、5%ほど下落したもののその後は一貫して上昇傾向だ。機を待っていては結局高値

                          新NISAは年初に一括購入した方が効率的。それでも分散購入する理由
                        • Announcing Amazon Aurora Limitless Database

                          Today, AWS announces Amazon Aurora Limitless Database, which enables you to scale your Amazon Aurora clusters to millions of write transactions per second and manage petabytes of data. With this new capability, you can scale your relational database workloads on Aurora beyond the limits of a single Aurora writer instance without needing to create custom application logic or manage multiple databas

                            Announcing Amazon Aurora Limitless Database
                          • AWS Lambda functions now scale 12 times faster when handling high-volume requests | Amazon Web Services

                            AWS News Blog AWS Lambda functions now scale 12 times faster when handling high-volume requests Now AWS Lambda scales up to 12 times faster. Each synchronously invoked Lambda function now scales by 1,000 concurrent executions every 10 seconds until the aggregate concurrency across all functions reaches the account’s concurrency limit. In addition, each function within an account now scales indepen

                              AWS Lambda functions now scale 12 times faster when handling high-volume requests | Amazon Web Services
                            • 分散型SNS「Misskey」への開発支援に関するお知らせ

                              このたびエックスサーバー株式会社は、 分散型SNSのオープンソースソフトウェア(OSS) 「Misskey」の開発を支援することとなりました。 開発環境の提供や開発資金の援助を通じて、「Misskey」の開発・運営をサポートし、 弊社運営のVPSサービス『Xserver VPS』のインフラサービスとしての、利便性の向上へも取り組んでまいります。 ---------------------------------------------------------------------- ■開発支援の目的 エックスサーバー株式会社は、日本のインターネットの未来を支えることを理念に掲げ、 国内シェアNo.1(※1)のレンタルサーバーサービス『エックスサーバー』をはじめとした、 インターネットサービスを展開してまいりました。 「Misskey」は、「X(旧Twitter)」に替わるSNSとして昨今

                                分散型SNS「Misskey」への開発支援に関するお知らせ
                              • 「今や開発者一人ひとりにスタバのコーヒーをおごる気分」 年間5,000億円以上かかる“分散データベースの無料提供”を約150億円で実現した「TiDB Serverless」

                                真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。前半は、「TiDB Serverless」のアーキテクチャについて。 登壇者の自己紹介と会社紹介 関口匡稔氏:みなさん、初めまして。PingCAPの関口と申します。残念ながら今日は、当社のCEOのMax(Max Liu氏)が風邪を引いてしまったので、代わりに私が発表させていただきます。よろしくお願いします。 (会場拍手) Hello, English speakers. I'm Seki from

                                  「今や開発者一人ひとりにスタバのコーヒーをおごる気分」 年間5,000億円以上かかる“分散データベースの無料提供”を約150億円で実現した「TiDB Serverless」
                                • Amazon ECS increases applications resiliency to unpredictable load spikes

                                  Today, Amazon Elastic Container Service (Amazon ECS) enhanced tasks scheduling to make customers’ applications even more resilient to unpredictable load spikes. Now, Amazon ECS will first start a healthy replacement for each unhealthy task, that failed to pass a container or load balancer health check, before terminating it. This enhancement increases the resilience of customers’ applications with

                                    Amazon ECS increases applications resiliency to unpredictable load spikes
                                  • AutoGen | AutoGen

                                    Multi-Agent Conversation FrameworkAutoGen provides multi-agent conversation framework as a high-level abstraction. With this framework, one can conveniently build LLM workflows.

                                    • AWS Glue for Apache Spark が Google BigQuery 向けネイティブ接続を発表

                                      AWS Glue for Apache Spark が Google BigQuery へのネイティブ接続をサポートするようになりました。これにより、ユーザーは Apache Spark ライブラリ用の BigQuery コネクタをインストールしたり管理したりすることなく、BigQuery からデータを効率的に読み書きできるようになります。ユーザーは、ノーコードのドラッグアンドドロップで使用できる AWS Glue Studio の視覚的なインターフェイス内で BigQuery をソースまたはターゲットとして追加したり、AWS Glue ETL ジョブスクリプトでコネクタを直接使用したりできるようになりました。この新しいコネクタを AWS Glue の ETL (抽出、変換、ロード) 機能と組み合わせると、ETL パイプラインの作成が容易になり、ETL デベロッパーはデータパイプラインの構

                                        AWS Glue for Apache Spark が Google BigQuery 向けネイティブ接続を発表
                                      • AWS Lambda×Fargate×PlanetScaleを組み合わせれば、超絶スケールするWebアプリを作れる 約2ドルから作れる“ニッチで俺得な”環境の布教

                                        自分がニッチだと思っているテーマについて発表する「Qiita Engineer Festa 2023〜私しか得しないニッチな技術でLT〜」。ここで株式会社SonicGardenの遠藤氏が登壇。LambdaとFargateを組み合わせた実行環境について話します。 遠藤氏の自己紹介 遠藤大介氏:今日は「AWSのLambdaとPlanetScaleを組み合わせると、超絶スケールするWebアプリを作れちゃうぜ」という話をしていこうと思っています。 最初に自己紹介です。遠藤と申します。SonicGardenという会社で、プログラマーと執行役員をやっています。インフラと機械学習などが好きで、趣味もプログラムで仕事もプログラムな感じの人間なんですが、最近は機械学習周りが盛り上がっているので、そっちもいろいろやっています。 あと、ロードバイクに趣味で乗っているのですが、最近ちょっと乗れていません。それから

                                          AWS Lambda×Fargate×PlanetScaleを組み合わせれば、超絶スケールするWebアプリを作れる 約2ドルから作れる“ニッチで俺得な”環境の布教
                                        • Goodbye to sequential integers, hello UUIDv7!

                                          At Buildkite, we've historically stored our data with two keys. We use sequential primary keys for efficient indexing, and UUID secondary keys for external use. The upcoming UUIDv7 standard offers the best of both worlds; its time-ordered UUID primary keys can be utilized for indexing and external use. This blog post will take you on the journey Buildkite took that led to our eventual adoption of

                                            Goodbye to sequential integers, hello UUIDv7!
                                          • How Instagram scaled to 14 million users with only 3 engineers

                                            Instagram scaled from 0 to 14 million users in just over a year, from October 2010 to December 2011. They did this with only 3 engineers. They did this by following 3 key principles and having a reliable tech stack. Instagram’s Guiding PrinciplesKeep things very simple. Don’t re-invent the wheel. Use proven, solid technologies when possible. Before I continue… I want to introduce SWE Quiz. It’s a

                                              How Instagram scaled to 14 million users with only 3 engineers
                                            • Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料

                                              Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料 サーバサイドやエッジでのJavaScriptランタイムを提供するDenoは、JavaScript/TypeScript用のデータストアである「Deno KV」を、同社の分散ホスティング環境であるDeno Deploy上でオープンベータとして公開したことを発表しました。 DenoはもともとNode.jsよりも優れたJavaScript/TypeScriptランタイム実現する目的で開発されたため、データストアの機能は備えていません。 そのため、Denoでアプリケーションを開発し実行する際には、データを保存するためのデータベースをユーザーが用意する必要がありました。 そこで、今年(2023年)5月に、Denoに統合されたデータストアとして

                                                Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料
                                              • ネットワークに基づく分散型SNS一覧(damus, nostr, Bluesky, AT Protocol, Mastodon, Misskey, Threads, ActivityPub ...) - Qiita

                                                ネットワークに基づく分散型SNS一覧(damus, nostr, Bluesky, AT Protocol, Mastodon, Misskey, Threads, ActivityPub ...)mastodonmisskeythreadsnostrBluesky はじめに Twitterの動乱に巻き込まれ、移住先に選ばれつつある Threads が5日で1億人を突破した今日このごろ、皆様いかがお過ごしでしょうか。 Alt Twitterとしての各種サービスに注目が集まりつつありますが、それらに関しての解説記事も乱立しており、一方で、その正確性や内容には必ずしも正確ではないものもあります。 プロトコルとアプリとサービスの区別がついていなかったり、相互接続できないものが接続できると宣伝されていたり、その逆もあります。 本記事では、特にネットワークに基づいて、各種SNSを分類して説明します。

                                                  ネットワークに基づく分散型SNS一覧(damus, nostr, Bluesky, AT Protocol, Mastodon, Misskey, Threads, ActivityPub ...) - Qiita
                                                • 分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表

                                                  分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表 データセンターをグローバル展開し、アプリケーションプラットフォームサービスを提供しているFly.ioは、分散SQLiteを実現するLiteFSの付加機能として、バックアップとスナップショット、リカバリ機能などをマネージドサービスとして提供する「LiteFS Cloud」を発表しました。 LiteFS Cloud: now in preview. We love SQLite for distributed web apps! Introducing managed backups for LiteFS. Read more from Darla Shockley and @benbjohnson.https://t.co/nQxitx5x7d

                                                    分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表
                                                  • 秒間 10,000 リクエストを "簡単に"いなすゲームサーバーを Laravel で作る設計

                                                    1秒間に PHP が受信する HTTP リクエストが最大 10,000 回以上——— そんな世界が存在します。その一つが 「ソーシャルゲーム」 です。メンテナンスが明けた瞬間、イベントが始まった・終わる瞬間、様々なタイミングでゲームサーバーは瞬間的に高負荷になります。もちろん、サービスをリリースし PR をたくさん出し始めたその瞬間が、プロジェクトで最も高負荷となるでしょう。それらに耐えうるサーバー構成が求められていますが、「リリース直後にサーバーがダウンした」「限定イベントが始まったらすぐ緊急メンテナンスが始まった」という話はちょくちょく聞こえてきます。その 瞬間的な高負荷(いわゆる "スパイク") に耐えるには、事前準備を怠らないことが重要です。 ソーシャルゲームにおいては、他の Web アプリケーションに比べ 書き込みヘビーなワークロード であることが多いです。読み込みは比較的簡単に

                                                      秒間 10,000 リクエストを "簡単に"いなすゲームサーバーを Laravel で作る設計
                                                    • 今日から始めるリアルタイム配信の裏側

                                                      TechFeed Experts Night #21 にて講演 https://techfeed.io/events/techfeed-experts-night-21 パルス株式会社求人情報はこちら https://recruitpulse.wraptas.site/

                                                        今日から始めるリアルタイム配信の裏側
                                                      • 大規模モデルを支える分散並列学習のしくみ Part1

                                                        はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動

                                                          大規模モデルを支える分散並列学習のしくみ Part1
                                                        • 分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要

                                                          分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要 WebAssemblyランタイム「Wasmer」の開発元であるWasmer社は、エッジロケーション上のデータセンターにWebAssemblyランタイムを展開し、分散モノリスなアーキテクチャを用いたサーバレス型の新しいアプリケーションプラットフォーム「Wasmer Edge」を発表しました。 The Cloud is dead, long live the Cloud! Announcing Wasmer Edgehttps://t.co/VjGsbMwopy pic.twitter.com/5mTtKBBjsZ — Wasmer (@wasmerio) June 15, 2023 上記のツイートに示されているように、Wasmer E

                                                            分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要
                                                          • The growing pains of database architecture | Figma Blog

                                                            While these fixes moved the needle, they had limitations. By analyzing our database traffic, we learned that writes— like gathering, updating, or deleting data—contributed to a significant portion of database utilization. Additionally, not all reads or data fetching could be moved to replicas due to application sensitivity to replication lag. So, from both a read and write perspective, we still ne

                                                              The growing pains of database architecture | Figma Blog
                                                            • 「他人の人生に責任を負いたくない」から子育てを絶対にしたくないので、「責任を限りなく分散された世界」で生きたい

                                                              29歳。独身。女。派遣。 お金とか相手とか一旦置いといても、子を産み育てることにものすごい抵抗を感じる。それは突き詰めると「他人の人生に責任を負いたくないから」になる。 目を離した隙に死ぬかもしれない命が自分の手元にあるのは恐ろしい。何気ない自分の言葉がその子の人格に多大な影響を与えるかもしれないことが恐ろしい。私の思想や能力で子どもが経験できることが決まってくるのが恐ろしい。理屈の通らない無茶苦茶な存在と一緒に暮らすことが恐ろしい。 また、自分は両親に比較的不自由なく育ててもらった自覚がある。それなのに出来上がったのが私なので、親からしたら子育てなんて本当に割に合わない投資だと思う。これから先の老後を世話をできる自信もない。ついでに悪いと思いつつも私は私で両親に文句も山ほどある。自分の子どもが反抗期になったり、それが一過性でなかったり、大人になって(そもそも大人になれればだが)夢破れたり

                                                                「他人の人生に責任を負いたくない」から子育てを絶対にしたくないので、「責任を限りなく分散された世界」で生きたい
                                                              • Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%

                                                                Scaling up the Prime Video audio/video monitoring service and reducing costs by 90% The move from a distributed microservices architecture to a monolith application helped achieve higher scale, resilience, and reduce costs. At Prime Video, we offer thousands of live streams to our customers. To ensure that customers seamlessly receive content, Prime Video set up a tool to monitor every stream view

                                                                  Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%
                                                                • 未ログインでも叩けるAPIエンドポイントにレートリミットを導入する

                                                                  先日だれでもAIメーカーというWebサービスをリリースしました。このサービスは例によってOpenAI APIを使っており、トークンの使用量がランニングコストに大きく影響します。 また、気軽に使ってもらえるよう未ログインでも使用できる仕様にしているため、気をつけないと悪意のある人に大量にトークンを使用されてしまう可能性があります。 ノーガードだとどうなるか 例えば、POST /api/askという「リクエストbodyのpromptの値を取り出し、OpenAI APIのChat Completionsに投げる」という単純なエンドポイントを作ったとします。 「未ログインでも使ってもらいたいから」と認証を一切しなかった場合どうなるでしょうか? 悪意のある攻撃者に見つかれば、promptを上限ギリギリの長さの文章に設定したうえで、/api/askに対してDoS攻撃するかもしれません。 トークンを大量

                                                                    未ログインでも叩けるAPIエンドポイントにレートリミットを導入する
                                                                  • 今日から分散トレーシングに対応しないといけなくなった人のための opentelemetry-go 入門 - Cybozu Inside Out | サイボウズエンジニアのブログ

                                                                    こんにちは。SRE/データストアチーム の飯塚です。 私たちのチームではデータベースを代理で操作したり情報を取得したりするサービスをいくつか作り、それをプロダクトチームが利用できるように gRPC 経由で提供しています。ところで、ある日突然「分散トレーシングを活用していくことになったので、あなたのチームのサービスも対応させてください」とお願いされたらどうすればよいでしょうか?私はこれまでにいろいろなカンファレンスで分散トレーシングや OpenTelemetry についての講演を聞いていたので、理念は理解した、便利そうだ、導入してみたい、と思ったことは何度かありました。しかし実際に導入しようとして SDK のドキュメントを開いてみると、理解しなければいけない(ように見える)概念や、使い方をマスターしないといけない(ように見える)API の数に圧倒されてしまい、後回しにしてしまっていました。

                                                                      今日から分散トレーシングに対応しないといけなくなった人のための opentelemetry-go 入門 - Cybozu Inside Out | サイボウズエンジニアのブログ
                                                                    • gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ

                                                                      初めまして!2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音!)をゼロから実装し、OSSとして公開しました。 github.com この記事ではkannonの技術的な解説、インターンに参加した感想をお伝えします! gokartの概要 gokartの抱えていた課題 シングルスレッドでの逐次実行により実行時間が長くなってしまう GKEのリソースを効率的に使えない kannonの概要 kannonの使い方 gokart kannon gokart kannon 補足 kannonのアーキテクチャ kannonの実装 1. Task Que

                                                                        gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ
                                                                      • 分散できないのはどう考えても僕たちが悪い - 点と接線。

                                                                        2016年にMastodonってのが出た。なんでも自由にサーバを建てられるから巨大資本に言論統制されないらしい。ちょうど真新しさに飢えていた人々はさっそくこれに群がった。かくいう僕もその一人だ。学生が建てたサーバがパンクして企業が支援を申し出たり、政治家がお忍びでアカウントを作ったりなんかして、しばらくお祭り騒ぎになった。 しかし分散型SNSが負の側面を露呈せしめるのは割と早かった。自由にサーバを建てられると言っても結局、ほとんどのユーザは人がたくさんいる場所、安定していそうな場所に行きたがる。やがてインフラコストに耐えられなくなった運営者は次々とサーバを手放し、安住の地から放逐されたユーザたちはそそくさと古巣に戻っていった。第一次Mastodonブームの終焉である。以降、Twitterがなにかやらかすたびに分散型SNSは潮の満ち引きを繰り返してきた。 現在、度重なる譲渡の末に国内二強サー

                                                                          分散できないのはどう考えても僕たちが悪い - 点と接線。
                                                                        • Introducing Service Weaver: A Framework for Writing Distributed Applications

                                                                          The latest news from Google on open source releases, major projects, events, and student outreach programs. We are excited to introduce Service Weaver, an open source framework for building and deploying distributed applications. Service Weaver allows you to write your application as a modular monolith and deploy it as a set of microservices. More concretely, Service Weaver consists of two core pi

                                                                            Introducing Service Weaver: A Framework for Writing Distributed Applications
                                                                          • GitHub - ServiceWeaver/weaver: Programming framework for writing and deploying cloud applications.

                                                                            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                              GitHub - ServiceWeaver/weaver: Programming framework for writing and deploying cloud applications.
                                                                            • misskeyの急速な流行と分散型SNSの限界 | 右や左の旦那様

                                                                              はじめに 前回の記事から11日、misskeyを取り巻く環境が日々変化しているので、今回はmisskeyに焦点を当てたブログを書こうと思います。 misskeyとは、misskey.ioとは misskeyは分散型SNSの一種であり、日本製であることから日本人の間でtwitterからの移行先として注目されています。 misskey.ioは中でもmisskey開発者が運営するも所属しているインスタンスであり、misskey派閥の中でも最大規模のインスタンスとなっています。 「分散型SNS」や「インスタンス」について詳しくは前回の記事を参照いただければと思いますが、ざっくり言えばmisskeyというソフトウェアを作った本人が運営してるも所属している最大手のサーバーがmisskey.ioだよ、ということです。 [追記] 開発者本人は運営してないよ、という情報がありましたので訂正します。ごめんなさ

                                                                                misskeyの急速な流行と分散型SNSの限界 | 右や左の旦那様
                                                                              • 分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO

                                                                                基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏  Twitter:@taroleo / Github:@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.

                                                                                  分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
                                                                                • 分散型SNS「Misskey」、それを支える技術スタック | gihyo.jp

                                                                                  本連載は分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っていきます。第1回はMisskey、ひいては分散型SNSの簡単な紹介とその内部実装の概略を説明します。 はじめまして! はじめまして、Misskey(みすきー)のプロジェクトリーダーをしている、しゅいろ(@syuilo)です! この度連載の機会をいただきましたので、ちょっと仰々しい気もしますが「Misskey & Webテクノロジー最前線」と題して、今後Misskeyやそれに関わる最新のWeb技術について解説をしていく予定です。 今回はMisskey、ひいては分散型SNSの簡単な紹介とその内部実装の概略を説明します。 対象読者は、後半の実装解説の部分においてはある程度のWeb開発の知識がある人を想定しています。 Misskeyとは⁠、そして分散型とは Misskeyは、オープン

                                                                                    分散型SNS「Misskey」、それを支える技術スタック | gihyo.jp