並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 1143件

新着順 人気順

distributedの検索結果1 - 40 件 / 1143件

  • コンテナのデザインパターンを学べる論文「Design patterns for container-based distributed systems」を読んだ - kakakakakku blog

    2016年に USENIX Conference で発表された論文「Design patterns for container-based distributed systems」を読んだ.タイトルの通り,コンテナのデザインパターンがまとまっていて,これからコンテナ設計をする人も,既にコンテナを運用している人も,デザインパターンを学べるのは価値があると思う.一部ミスリードをしているかもしれない. Design patterns for container-based distributed systems 論文も公開されている. https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/45406.pdf パターン一覧 Single-container management pattern

      コンテナのデザインパターンを学べる論文「Design patterns for container-based distributed systems」を読んだ - kakakakakku blog
    • STF Distributed Object Storage - Home

      Distributed Object Storage Made Easy! Use commodity hardware/software to build your own scalable object storage! Learn more » What is STF? STF is a simple, yet very scalable distribute storage system. STF powers sites like livedoor Blog, loctouch and many more, serving gigabytes after gigabytes of data. On one such system, it's serving 400Mbps of image at peak hours without a hitch. GET STF! STF i

      • Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM

        You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

          Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM
        • memcached: a distributed memory object caching system

          What is Memcached? Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load. Memcached is an in-memory key-value store for small chunks of arbitrary data (strings, objects) from results of database calls, API calls, or page rendering. Memcached is simple yet powerful.

          • Distributed TensorFlowの話 - Qiita

            Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……(;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます! 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思います。また、2/13にGoogle東京オフィスで開かれるRejected HCJ 2016では、以下の内容をゆっくり普通のセッションとして発表する予定ですので、ご興味ある方はぜひどうぞ。 引用元 今回の元ネタはこちら。より詳しく知りたい方はこちらをごらんくださ

              Distributed TensorFlowの話 - Qiita
            • key-value stores: Anti-RDBMS: A list of distributed key-value stores | Richard Jones, Esq.

              Please Note: this was written January 2009 - see the comments for updates and additional information. A lot has changed since I wrote this. Perhaps you’re considering using a dedicated key-value or document store instead of a traditional relational database. Reasons for this might include: You're suffering from Cloud-computing Mania. You need an excuse to 'get your Erlang on' You heard CouchDB was

              • Jubatus : Distributed Online Machine Learning Framework¶

                Jubatus English Japanese

                • Bigtable: A Distributed Storage System for Structured Data - steps to phantasien t(2006-09-11)

                  2006-09-11 近況 今月は貧乏なので慎しく暮らしている. 週末もひきこもりとしてオンラインの記事を読んで過ごすことに. ウェブを眺めているといいタイミングで Google の新作論文が出ていた. ありがとう, Google の中の人. これ. GFS, MapReduce, Sawzall とつづく Google インフラ N 部作の 4 章が幕をあげた. 実はデータベースも作ってるんだぜ, という話. BigTable という名前だけは以前から O'Reilly Radar などに登場していた. ようやく公式な文書があらわれた. BigTable は GFS をはじめとする Google インフラの上に作られた分散データベース. 少し変わったデータモデルと, 運用までワンセットのヘビーな実装を持つ. 実装の話もまあ面白いんだけれど, それよりデータモデルが印象的だった. 先にその

                  • [空を飛ぶ鳥の群れの動きを再現するアルゴリズムの論文] Craig Reynolds: Flocks, Herds, and Schools: A Distributed Behavioral Model

                    Published in Computer Graphics, 21(4), July 1987, pp. 25-34. (ACM SIGGRAPH '87 Conference Proceedings, Anaheim, California, July 1987.) Flocks, Herds, and Schools: A Distributed Behavioral Model 1 Craig W. Reynolds Symbolics Graphics Division [obsolete addresses removed 2] Abstract The aggregate motion of a flock of birds, a herd of land animals, or a school of fish is a beautiful and familiar par

                    • Raft:Understandable Distributed Consensus

                      • Amazon's Dynamo - All Things Distributed

                        Amazon's DynamoOctober 02, 2007 • 4557 words In two weeks we’ll present a paper on the Dynamo technology at SOSP, the prestigious biannual Operating Systems conference. Dynamo is internal technology developed at Amazon to address the need for an incrementally scalable, highly-available key-value storage system. The technology is designed to give its users the ability to trade-off cost, consistency

                          Amazon's Dynamo - All Things Distributed
                        • GitHub - spacedriveapp/spacedrive: Spacedrive is an open source cross-platform file explorer, powered by a virtual distributed filesystem written in Rust.

                          A file explorer from the future. spacedrive.com » Download for macOS (Apple Silicon | Intel) · Windows · Linux · iOS · Android ~ Links for iOS & Android will be added once a release is available. ~ Spacedrive is an open source cross-platform file manager, powered by a virtual distributed filesystem (VDFS) written in Rust. UPDATE: Spacedrive is under active development, we are in the alpha stage an

                            GitHub - spacedriveapp/spacedrive: Spacedrive is an open source cross-platform file explorer, powered by a virtual distributed filesystem written in Rust.
                          • memcached - a distributed memory object caching system

                            What is Memcached? Free & open source, high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load. Memcached is an in-memory key-value store for small chunks of arbitrary data (strings, objects) from results of database calls, API calls, or page rendering. Memcached is simple yet powerful.

                              memcached - a distributed memory object caching system
                            • IPFS is the Distributed Web

                              Discover What's Out There with IPFS IPFS is an open system to manage data without a central server A Universe of Uses IPFS's versatility shines across different industries – making it the multi-purpose tool for the decentralized age. Develop offline-native productivity toolsAnytype uses the content addressing on IPFS to empower users to build personal knowledge webs that can be shared with others

                                IPFS is the Distributed Web
                              • Microsoft、オープンソースの機械学習ツールキット「Distributed Machine Learning Tookit(DMLT)」を公開 | OSDN Magazine

                                米Microsoftは11月9日、機械学習ツールキット「Distributed Machine Learning Tookit(DMLT)」をオープンソースで公開した。米Googleが先日公開した「TensorFlow」に続くものとなり、分散型システムでの機械学習システム構築を簡素化するものとなる。 Distributed Machine Learning Tookit(DMLT)は、Microsoft Research Asiaが開発した分散型の機械学習技術。さまざまな分野で機械学習の活用事例が増える一方で、利用には巨大なコンピューティングリソースを要することから、ビッグデータ処理における機械学習の利用は研究者や利用者にとって課題となっており、これの解決を図るものと位置付けている。オープンソースで公開することでビックモデルのトレーニングをクラスタで効率よく行うことができるようにする、と意

                                  Microsoft、オープンソースの機械学習ツールキット「Distributed Machine Learning Tookit(DMLT)」を公開 | OSDN Magazine
                                • Dgraph | GraphQL Cloud Platform, Distributed Graph Engine

                                  Become part of a community passionate about building better apps.

                                    Dgraph | GraphQL Cloud Platform, Distributed Graph Engine
                                  • Google Research Publication: Bigtable: A Distributed Storage System for Structured Data

                                    Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Abstract Bigtable is a distributed storage system for managing structured data that is designed to scale to a very large size: petabytes of data across thousands of commodity servers. Many projec

                                    • Homepage of ZABBIX :: An Enterprise-Class Open Source Distributed Monitoring Solution

                                        Homepage of ZABBIX :: An Enterprise-Class Open Source Distributed Monitoring Solution
                                      • Homepage | Celery: Distributed Task Queue

                                        This document describes the current stable version of Celery (5.3). For development docs, go here. Celery - Distributed Task Queue¶ Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operations with the tools required to maintain such a system. It’s a task queue with focus on real-time processing, while also supporting task scheduling

                                        • OpenTSDB - A Distributed, Scalable Monitoring System

                                          The Scalable Time Series Database Store and serve massive amounts of time series data without losing granularity. Download 2.4.1 Store Data is stored exactly as you give it Write with millisecond precision Keep raw data forever

                                          • Plastic SCM - The Distributed Version Control for Big Projects

                                            Looking for Plastic SCM? Plastic SCM was acquired by Unity in 2020 and is now a part of Unity DevOps, a modular solution from Unity Gaming Services. Unity DevOps is a tool specifically tailored for the rigors of game development, and gives users access to Version Control, Build Automation, and our upcoming Artifact Center component. Implement DevOps best practices for game development and 3D proje

                                            • GitHub - yujiosaka/headless-chrome-crawler: Distributed crawler powered by Headless Chrome

                                              You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.

                                                GitHub - yujiosaka/headless-chrome-crawler: Distributed crawler powered by Headless Chrome
                                              • 25年前のAmazonの分散コンピューティングの考え方を要約した「The Distributed Computing Manifesto」文書が公開されました #reinvent | DevelopersIO

                                                re:Invent2022 4日目、Dr. Werner Vogelsのキーノートにおいて、「The Distributed Computing Manifesto」というドキュメントがNew Articleとして紹介されました。 The Distributed Computing Manifesto | All Things Distributed Amazonという超巨大なサービスが、モノリスの状態からその時まさに分散コンピューティングを推進していく転換点における考え方を示した貴重なドキュメントになっており、また、Werner自身も言うように、今後のAWSの進化の方向性を示唆する内容にもなっています。 温故知新ってこと…?!! ( ゚д゚) ガタッ /   ヾ __L| / ̄ ̄ ̄/_ \/   / まさにそんな雰囲気。 文書の位置づけ こちらのサイトに追加されたドキュメントという位置

                                                  25年前のAmazonの分散コンピューティングの考え方を要約した「The Distributed Computing Manifesto」文書が公開されました #reinvent | DevelopersIO
                                                • GitHub - twitter-archive/kestrel: simple, distributed message queue system (inactive)

                                                  Kestrel is based on Blaine Cook's "starling" simple, distributed message queue, with added features and bulletproofing, as well as the scalability offered by actors and the JVM. Each server handles a set of reliable, ordered message queues. When you put a cluster of these servers together, with no cross communication, and pick a server at random whenever you do a set or get, you end up with a reli

                                                    GitHub - twitter-archive/kestrel: simple, distributed message queue system (inactive)
                                                  • The History of Distributed Databases - Google, Amazon, Facebook など巨大企業による分散データベース技術の発展 | Wantedly Engineer Blog

                                                    こんにちは、Wantedly の Infrastructure Team で Engineer をしている南(@south37)です。 今日は、WANTEDLY TECH BOOK 5 から「巨大企業による分散データベース技術の発展」という章を抜粋して Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もその一環となっています。 Wantedly における Go 導入にまつわる技術背景 | Wantedly Engineer Blog (本記事は Go Conference 2019 Autumn にて無料配布した冊子『WANT

                                                      The History of Distributed Databases - Google, Amazon, Facebook など巨大企業による分散データベース技術の発展 | Wantedly Engineer Blog
                                                    • GitHub - roma/roma: ROMA: A Distributed Key-Value Store in Ruby

                                                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                        GitHub - roma/roma: ROMA: A Distributed Key-Value Store in Ruby
                                                      • GitHub - Homebrew/homebrew-cask: 🍻 A CLI workflow for the administration of macOS applications distributed as binaries

                                                        You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                          GitHub - Homebrew/homebrew-cask: 🍻 A CLI workflow for the administration of macOS applications distributed as binaries
                                                        • AWS Distributed Load Testingを使うと手軽にAWS内での負荷試験が出来るという話 - コネヒト開発者ブログ

                                                          こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、現在進めているプロジェクトでの負荷試験で、AWS Distributed Load Testing を使って比較的手軽にAWS内での負荷試験を行うことが出来たのでその内容を紹介しようと思います。 内容はざっくり下記3点です。 これまで使ってきた負荷試験ツールとその悩み AWS Distributed Load Testingとは 実際の負荷試験の様子 これまで使ってきた負荷試験ツールの悩み 新規システムを開発し、サービスに導入する際には、負荷試験が必要になるケースも多いと思います。 負荷試験は、開発したシステムが想定リクエストに対して性能面で問題なく稼働出来るかをユーザに提供する前にチェックする目的で行うのが一般的です。 内容としては、レイテンシやステータスコードのエラー数等をレポートし、それらが基準として定めたパフォー

                                                            AWS Distributed Load Testingを使うと手軽にAWS内での負荷試験が出来るという話 - コネヒト開発者ブログ
                                                          • GitHub - rqlite/rqlite: The lightweight, distributed relational database built on SQLite

                                                            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                              GitHub - rqlite/rqlite: The lightweight, distributed relational database built on SQLite
                                                            • GitHub - etolabo/kumofs: kumofs is a scalable and highly available distributed key-value store.

                                                              Kumofs is a simple and fast distributed key-value store. You can use a memcached client library to set, get, CAS or delete values from/into kumofs. Backend storage is Tokyo Cabinet and it will give you great performance. Data is partitioned and replicated over multiple servers. Extreme single node performance; comparable with memcached. Both read and write performance got improved as servers added

                                                                GitHub - etolabo/kumofs: kumofs is a scalable and highly available distributed key-value store.
                                                              • GitHub - cockroachdb/cockroach: CockroachDB - the open source, cloud-native distributed SQL database.

                                                                You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                  GitHub - cockroachdb/cockroach: CockroachDB - the open source, cloud-native distributed SQL database.
                                                                • 分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study

                                                                  分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study パフォーマンスに苦労している並列処理システムを改善するために Stackdriver Traceを導入して動作の可視化を行った結果、 ボトルネックの存在が判明してパフォーマンスを改善できた事例について紹介します。 この事例でStackdriver Traceを選定した過程や OpenTelemetry へコントリビュートした経緯についても共有します。 また、新規開発のGraphQLサーバへ導入して REST APIサーバと通信をまたいだ可視化を行った事例についても紹介します。

                                                                    分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study
                                                                  • オブザーバビリティ(可観測性)とは何か?を学べる「Distributed Systems Observability」を読んだ - kakakakakku blog

                                                                    2019年頃から「オブザーバビリティ (Observability)」もしくは「可観測性」という言葉をよく聞くようになった(本記事では「オブザーバビリティ」という表記に統一する).「マイクロサービス」と同じように「バズワード」の側面があり「オブザーバビリティとは何か?」という質問に対して様々な回答が考えられると思う. 今回は「オブザーバビリティ」の理解を深めるために「Distributed Systems Observability」を読んだ.本書は O'Reilly Media で読むこともできるけど,Humio のサイトから無料でダウンロードすることもできる(メールアドレス登録は必要).著者は Cindy Sridharan となり,肩書は「Distributed Systems Engineer」と書いてあった. www.humio.com 目次 本書には「オブザーバビリティ」をテー

                                                                      オブザーバビリティ(可観測性)とは何か?を学べる「Distributed Systems Observability」を読んだ - kakakakakku blog
                                                                    • GitHub - twitter-archive/gizzard: [Archived] A flexible sharding framework for creating eventually-consistent distributed datastores

                                                                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                        GitHub - twitter-archive/gizzard: [Archived] A flexible sharding framework for creating eventually-consistent distributed datastores
                                                                      • Formalization and Proof of Distributed Systems (ja)

                                                                        分散システムの形式化と証明について @情報システム特別講義D 2016年度筑波大学

                                                                          Formalization and Proof of Distributed Systems (ja)
                                                                        • Emacsの設定を見直し、 el-get の distributed セットアップに統一 - unknownplace.org

                                                                          いままで秘伝のタレのような設定を使い続けていたのだが、どうもしばらく使っているとEmacsがCPUを非常に食うようになってくる。 flymakeの設定かなー?とかほかにもいろいろ怪しげなところを削ってみたりしたがわからず、だましだまし使っていた。 そういう理由もあってEmacs設定をリセットしたいと思っていたので、Emacs実践入門や Advent Calendar を読んでいたら el-get というパッケージマネージャがなかなかよさそうだと思った。 これ、存在自体はまえから知っていたけど秘伝のタレベースな自分は使わないだろうなーとスルーしていた物だが、 ドキュメント(info)を読んでみると思った以上によさげだと言うことが分かった。 Mac 使ってる人にわかりやすくいうなら Emacs 用の homebrew という感じ。 なかでも 6.3 Distributed Setup で紹介さ

                                                                          • S4: Distributed Stream Computing Platform

                                                                            We've got your back )Buyer Protection ProgramWhen you buy a domain name at Dan.com, you’re automatically covered by our Buyer Protection Program. Our unique & carefully designed domain ownership transfer process is the best rated service in the market. Buyer Protection ProgramWhen you buy a domain name at Dan.com, you’re automatically covered by our unique Buyer Protection Program. Read more about

                                                                              S4: Distributed Stream Computing Platform
                                                                            • Distributed systems theory for the distributed systems engineer | Paper Trail

                                                                              • GitHub - pingcap/tidb: TiDB is an open-source, cloud-native, distributed, MySQL-Compatible database for elastic scale and real-time analytics. Try AI-powered Chat2Query free at : https://tidbcloud.com/free-trial

                                                                                You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                                  GitHub - pingcap/tidb: TiDB is an open-source, cloud-native, distributed, MySQL-Compatible database for elastic scale and real-time analytics. Try AI-powered Chat2Query free at : https://tidbcloud.com/free-trial
                                                                                • 分散アプリケーションの異常の原因を即時に診断するための手法の構想 / Causality Tracing in Distributed Applications

                                                                                  分散アプリケーションの異常の原因を即時に診断するための手法の構想 / Causality Tracing in Distributed Applications

                                                                                    分散アプリケーションの異常の原因を即時に診断するための手法の構想 / Causality Tracing in Distributed Applications