並び順

ブックマーク数

期間指定

  • から
  • まで

281 - 320 件 / 2988件

新着順 人気順

分散システムの検索結果281 - 320 件 / 2988件

  • livedoor ReaderのクローラとStreaming APIなどの話

    How Race, Age and Gender Shape Attitudes Towards Mental Health

      livedoor ReaderのクローラとStreaming APIなどの話
    • Kubernetesの負荷試験で絶対に担保したい13のチェックリスト - Qiita

      概要 ※この記事は弊ブログ記事(はてな)、Kubernetesの負荷試験で絶対に担保したい13のチェックリストと同内容です ここ最近、Kubernetesクラスタを本番運用するにあたって負荷試験を行ってきました。 Kubernetesクラスタに乗せるアプリケーションの負荷試験は、通常の負荷試験でよく用いられる観点に加えて、クラスタ特有の観点も確認していく必要があります。 適切にクラスタやPodが設定されていない場合、意図しないダウンタイムが発生したり、想定する性能を出すことができません。 そこで私が設計した観点を、汎用的に様々なPJでも応用できるよう整理しました。 一定の負荷、スパイク的な負荷をかけつつ、主に下記の観点を重点的に記載します。 Podの性能 Podのスケーラビリティ クラスタのスケーラビリティ システムとしての可用性 本記事ではこれらの観点のチェックリスト的に使えるものとして

        Kubernetesの負荷試験で絶対に担保したい13のチェックリスト - Qiita
      • カメラの豆知識 ~絞りを絞ると画質向上したり、ピントが広い範囲に合う理由~ - Circulation - Camera

        こんにちは、Circulation - Cameraです。 みなさん、風景写真撮影していますか? 私は時間見つけて、相変わらず地道に楽しんでおります ( ̄▽ ̄) こちらは最近撮影した横浜の夜景です。 さて、突然ですが質問です! こんな風景を撮影するとき、皆さんはどのくらいのF値で撮影しますか? 使用するのレンズは開放F値2.8、最大F値22で、ISO感度は100、シャッタースピードは三脚を使用するのでなんとでもなるとします。 ① F2.8 ② F8 ③ F22 この三択ですと、多くの方はF8を選ぶのではないでしょうか? それは何故か? 「F2.8とF8ではF8の方が画質が良いから!」 「F8の方がピントが合う範囲が広いから!」 「F22とか絞りすぎると画質が劣化するから!」 という回答が多いと思います。 それらは正しいと思いますし、実際私もこの写真はF8で撮影しています。 しかしちょっと待

          カメラの豆知識 ~絞りを絞ると画質向上したり、ピントが広い範囲に合う理由~ - Circulation - Camera
        • IoT時代におけるストリームデータ処理と急成長の Apache Flink

          Takanori SuzukiSenior Technical Consultant at Acroquest Technology Co., Ltd.

            IoT時代におけるストリームデータ処理と急成長の Apache Flink
          • Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM

            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

              Deeplearning 4 j のクイックスタートガイド - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM
            • Dockerが、分散環境構築ツール群「Docker Machine」「Docker Swarm」「Docker Compose」を公開

              Dockerが、分散環境構築ツール群「Docker Machine」「Docker Swarm」「Docker Compose」を公開 Dockerは、Docker Engineの環境を構築し、分散環境を整え、デプロイするための一連のツール群「Docker Machine」「Docker Swarm」「Docker Compose」を公開しました。MachineとSwarmはベータ版公開、Composeは正式版公開です。

                Dockerが、分散環境構築ツール群「Docker Machine」「Docker Swarm」「Docker Compose」を公開
              • ドワンゴがRustで分散ファイルシステムを作っているらしい

                第2回 大量トラフィックを支えるインフラ~独自プロトコル,ファイルシステムの実装もいとわない!~ ドワンゴが分散ファイルシステムを作っているというニュースを見た. しかもRustで. ニュース以上のことも知りたくなったがツテがないし, あったとしても教えてくれるわけがないので外側から推測することにした. 実は分散ファイルシステムも独自に開発しました。もともと既存のオープンソースのファイルシステムを使っていたのですが,それだと期待する性能が出ないことがわかり,独自に調査開発を進めることにしました。 Rustという言語で,ガベージコレクションがなく,C++にメモリ安全性の機能を付加したようなものです。ニコニコの動画・生放送の配信基盤開発ではErlangを使うことが多いのですが,レイテンシを細かく制御したい分散ファイルシステムの分野では,どうしてもガベージコレクションが気になってきます。たしかに

                  ドワンゴがRustで分散ファイルシステムを作っているらしい
                • The C10K problem

                  [Help save the best Linux news source on the web -- subscribe to Linux Weekly News!] It's time for web servers to handle ten thousand clients simultaneously, don't you think? After all, the web is a big place now. And computers are big, too. You can buy a 1000MHz machine with 2 gigabytes of RAM and an 1000Mbit/sec Ethernet card for $1200 or so. Let's see - at 20000 clients, that's 50KHz, 100Kbytes

                  • CAP定理を見直す。“CAPの3つから2つを選ぶ”という説明はミスリーディングだった

                    分散システムにおいては以下の3つの要素のうち2つしか同時に満たすことができない、というCAP定理を提唱したのは、Eric Brewer氏でした。 C:Consistency(一貫性) A:Availability(可用性) P:Tolerance to network Paritions(ネットワーク分断への耐性) 一般にリレーショナルデータベースでは、一貫性(C)と可用性(A)をできるだけ保証する代わりに、ネットワーク分断への耐性(P)を犠牲にしています。ネットワークが途中で切れたり大きく遅延した場合、動作が保証されなくなってしまうわけです。 一方でNoSQLでは一貫性(C)よりも可用性(A)とネットワーク分断への耐性(P)を優先させるものが多く、分散システムでの動作に向いていると説明されます。このようにNoSQLの説明にこのCAP定理がしばしば引用されることになり、NoSQLの普及とと

                      CAP定理を見直す。“CAPの3つから2つを選ぶ”という説明はミスリーディングだった
                    • Tera Termマクロ活用入門(1):各種ログインを自動化する | OSDN Magazine

                      Windows向けのターミナルエミュレータ「Tera Term」(テラターム)には強力なマクロ機能が搭載されており、これを利用することでネットワーク経由でマシンを自動操作したり、管理情報を取得する、といったことが可能だ。本記事ではいくつかのサンプルとともにTera Termマクロの基本的な使い方を紹介する。 Tera TermおよびTera Termマクロの基本 Tera Termのマクロ機能を紹介する前に、簡単にTera Termについて紹介をしておこう。Tera Termはオープンソースで開発されているWindows向けのターミナルエミュレータ(端末エミュレータ)だ。かつてはTelnetクライアントやCOMポート経由でのシリアル接続機能を備えた無償のターミナルエミュレータとして有名だったが、1998年にいったん開発が中断された後にオープンソース化され、現在ではSSHクライアント機能やC

                        Tera Termマクロ活用入門(1):各種ログインを自動化する | OSDN Magazine
                      • データセンター移転とDRBD - Cybozu Inside Out | サイボウズエンジニアのブログ

                        @ymmt2005 こと山本泰宇です。今回は去る 5 月から 6 月にかけて行った、cybozu.com のデータセンター移転作業について、失敗してしまったことを中心に解説します。 失敗と書いたのは、移転作業中に何度か、一部のお客様環境でストレージ高負荷による障害を起こしてしまったためです。移転作業自体はスケジュール通り進行し、6 月第二週に完了しています。障害に関しては、こちら(PDF)でお詫びとご報告をしていますが、この記事では技術面ならびに障害を引き起こすにいたった背景について詳述します。 移転に至った背景 移転方式の検討 ストレージ同期の方法 DRBD による同期の詳細 まずは自社環境を移転、成功 そして障害は発生した なぜ障害につながったのか まとめ 移転に至った背景 まず、なぜデータセンターを移転することにしたかを説明します。 端的に言うと、当時のデータセンターが手狭になり拡張

                          データセンター移転とDRBD - Cybozu Inside Out | サイボウズエンジニアのブログ
                        • 分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development

                          1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います!本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた!あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま

                            分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development
                          • マルチコア時代に備えて本気でメモリモデルを理解しておこう - リオーダー & finalフィールド 編 - - かとじゅんの技術日誌

                            長い文章になってしまったので、概要だけ先に書きます。 以下のJavaプログラムは、常に上から下に順番に命令が実行されると思いますか?つまり、aに1が格納された後に、bに2が格納されると思いますか? 実は場合によってはこの実行順序が入れ替わる場合があります。これはJavaの言語仕様として定義されていることです。これを考慮しないと信頼性のある並行処理は実装できません。 気になる人は以下を読んでみてください。 a = 1; b = 2; すでにインターネットは社会インフラ化しています。ソーシャルネットワークで多くの人とコミュケーションやコラボレーションできる時代で、個人が情報を作り消費することは当たり前になってきています。そして、インターネット上のコンテンツは増加の一途を辿っています。「情報爆発」なんて言葉も耳慣れた言葉になりましたが、その問題解決のためにMapReduceなどの分散処理技術に注

                              マルチコア時代に備えて本気でメモリモデルを理解しておこう - リオーダー & finalフィールド 編 - - かとじゅんの技術日誌
                            • AWS News Blog

                              Amazon Q Business, now generally available, helps boost workforce productivity with generative AI At AWS re:Invent 2023, we previewed Amazon Q Business, a generative artificial intelligence (generative AI)–powered assistant that can answer questions, provide summaries, generate content, and securely complete tasks based on data and information in your enterprise systems. With Amazon Q Business, yo

                              • Google Spanner のアーキテクチャを知る - Yuichi Murata's Engineering Blog

                                最近 Cloud Spanner のベータ公開によって話題の Spanner。 気になっていたので論文を読んだり勉強会などで情報収集していました。日本語のリソースもそこまで多くないので、調べてわかったことを纏めておきます。 簡単にまとめると特徴は以下のとおりです。 Bigtable / Datastore と類似したアーキテクチャをとっており Tablet 群にデータを分散保存している ↑の仕組みであるの上に Lock Table を実装して同期処理のためのロックを処理している さらに↑の仕組みの上に分散トランザクションマネジャーを実装し、グループ横断のトランザクションを管理する 以下で、細かい説明を続けていきます。 Spanner の全体構成 Universe と Zone Zone と Spanserver Spanserver の構成 Spanserver と Replica Rep

                                  Google Spanner のアーキテクチャを知る - Yuichi Murata's Engineering Blog
                                • DynamoDB の基礎と設計 / DynamoDB Design Practice

                                  Qiitaにも記事があります https://qiita.com/_kensh/items/2351096e6c3bf431ff6f サーバーレスでよく利用される Amazon DynamoDBですが、設計方針はRDBMSと違うとよく言われます。 アクセスパターンに従った、DynamoDBならではの設計の仕方を一緒に学んでみませんか?

                                    DynamoDB の基礎と設計 / DynamoDB Design Practice
                                  • Prometheus - Monitoring system & time series database

                                    «Even though Borgmon remains internal to Google, the idea of treating time-series data as a data source for generating alerts is now accessible to everyone through those open source tools like Prometheus [...]» — Site Reliability Engineering: How Google Runs Production Systems (O'Reilly Media) Open Source Prometheus is 100% open source and community-driven. All components are available under the A

                                      Prometheus - Monitoring system & time series database
                                    • Wakame|トップ

                                      Wakameはサーバコストを大幅に削減する強力なオープンソースのクラウドコントローラです。Wakameとは 「Wakame」は、株式会社あくしゅが、中心となって開発している、ネットワーク構成を自動でマネージメントするためのエンジンであり、それに関するサブプロジェクトを含むプロジェクトの総称です。 もっと見る 3つの特徴 スモールスタート 最小構成はサーバー1台から構築可能。予算の少ない、スタートアップの会社や、社内ベンチャーの皆様も少ない予算から始められます。 マネジメントネットワーク サービスに応じて、Webサービスが何台必要、データベースが何台必要等々、自ら計画したネットワークを構築することができます。 仮想化されたネットワークシステムを利用することにより、柔軟なネットワーク設計をソフトウェアでサポートすることができます。 オートスケーリング リアルタイムの負荷状況を監視することによ

                                      • Amazon.co.jp: [Web開発者のための]大規模サービス技術入門 ―データ構造、メモリ、OS、DB、サーバ/インフラ (WEB+DB PRESS plusシリーズ): 伊藤直也, 田中慎司: 本

                                          Amazon.co.jp: [Web開発者のための]大規模サービス技術入門 ―データ構造、メモリ、OS、DB、サーバ/インフラ (WEB+DB PRESS plusシリーズ): 伊藤直也, 田中慎司: 本
                                        • Pinterest のスケール

                                          V 先生から教えて頂いたので、Instagram 同様 Django/AWS 構成の Pinterest のスケールをメモ。Pinterest はいつものアカウント名が初めて 先取 されたサービスなので、今後使わないと思います。 本題に入る前に、Python には The Zen of Python (日本語) という思想があります。私はこの思想を Python でのプログラミングだけでなく、インフラの構築の際も意識するように心がけています。"Simple is better than complex" です。Instagram や Pinterest のスケールを見て、この思想がもっと好きになりました。 Instagram はよりシンプルなインフラに更改していくことで、ただスケールするだけでなく、運用や変更のコストも最小限になるように最適化していると思います。結果的に Android ア

                                          • Welcome to Apache™ Hadoop™!

                                            Apache Hadoop The Apache® Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation an

                                            • Terraform by HashiCorp

                                              Deliver infrastructure as codeTerraform codifies cloud APIs into declarative configuration files. AdoptCompose infrastructure as code in a Terraform file using HCL to provision resources from any infrastructure provider. BuildInfrastructure automation workflows to compose, collaborate, reuse, and provision infrastructure as code across IT operations and teams of developers. StandardizeEstablish gu

                                                Terraform by HashiCorp
                                              • 被リンクとは?SEO効果と良質なリンクの増やし方を解説

                                                被リンクとは「別のWebページからされたリンク」のことである。バックリンクやインバウンドリンクと呼ばれることもある。 被リンクは、検索順位を決める重要な要素である。なぜならば、たくさん「良い被リンク」を受けているページやサイトは、「他サイトからも評価されている良いページ(サイト)だ」と判断されるからだ。

                                                  被リンクとは?SEO効果と良質なリンクの増やし方を解説
                                                • CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

                                                  CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

                                                    CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?
                                                  • gRPC

                                                    A high performance, open source universal RPC frameworkLearn more Why gRPC?gRPC is a modern open source high performance Remote Procedure Call (RPC) framework that can run in any environment. It can efficiently connect services in and across data centers with pluggable support for load balancing, tracing, health checking and authentication. It is also applicable in last mile of distributed computi

                                                      gRPC
                                                    • 並列データベースシステムの概念と原理

                                                      2014/01/30 筑波大学情報システム特別講義Dの講義資料です。 join関係はNAIST時代の宮崎先生のデータ工学Ⅱの内容を参考にしてます。 animation有効なビデオはこちら https://vimeo.com/85598907

                                                        並列データベースシステムの概念と原理
                                                      • 最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita

                                                        最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"という語が意味するところは要するに「過半数ノードによる多数決」というような説明が多いように感じていました。 にも関わらず、"Quorum"と呼ばれているのはなぜか?そんな疑問を持っていたので、この機会に調べてみました。 そうしたら、"Quorum"は過半数/多数決という概念を一般化した非常に抽象でパワフルな概念だということがわかりましたのでここにまとめておきたいと思います。 分散システムにおけるデータ

                                                          最近よく聞くQuorumは過半数(多数決)よりも一般的でパワフルな概念だった - Qiita
                                                        • サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ

                                                          この記事は、第2回ウェブシステムアーキテクチャ研究会の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性の異なる汎用Key-Value Store(以下KVS)を組み合わせ、透過的に問い合わせ可能な、ヘテロジニアス時系列データベースであるDiamondを開発した。 この記事では、Diamondを分散システムの観点で捉え、アーキテクチャ、データ構造、実装を紹介し、考察によりFuture Workを議論する。 1. はじめに 2. アーキテクチャ アーキテクチャ概要 動作フロー データ構造 KVSの機能要件 3. 実装 実装概要 KVS間のデータ移動 データ位置の解決 費用特性 4. 考察と今後の課題 Diamondの欠点 将来機能 5. まとめ スライド

                                                            サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ
                                                          • AmazonのDynamoの論文を読んでみた(1/3) - 工場長のブログ

                                                            Amazonが社内で開発し、サービスで利用しているDynamoというストレージサービスがあるのだけど、これについての論文が公開されていたので読んだのでまとめてみる。 この論文を書いたメンバーにはAmazonのCTOであるWerner Vogelsや、AWSでDynamoDBやElastiCache、SQS、SNSなどの製品のマネージメントをしているSwami Sivasubramanianらが含まれている。 Dynamoをひとことで表すと分散型でKey Valueストレージで、データの一貫性に関しては結果整合性を保証するサービスだ。なお、AWSで提供されているDynamoDBとは別物なので注意。 原文はこちらから参照できる。今回のポスト中の引用(図や文問わず)はすべてこちらから引用している。 また、既に日本語訳をされている方もいらっしゃるので原文をそのまま日本語でよみたい人はこちらを参照の

                                                              AmazonのDynamoの論文を読んでみた(1/3) - 工場長のブログ
                                                            • Webアプリケーションにおける Job Queue システムの構成例と Worker を作る際に気をつけること - blog.nomadscafe.jp

                                                              Webアプリケーション内で処理を直列に実行せずにJob Queueに回して非同期に実行することが多くなって来て久しいと思いますが、そのおすすめ構成と気をつけることについてつらつらと。 1) 既存のデータベースをキューとして使う構成例 1つ目はMySQLなどのデータベースをキューとして用いる例。既にアプリケーションで利用しているデータベースにキュー用のテーブルを作成して利用します。データベースを利用したキュー管理の仕組みとしてJonk、Qudo、TheSchwartzなどがPerlでは有名どころです。 依存するミドルウェアが増えないので最もシンプルな構成になると思います。 上記の図ではWorkerはアプリケーション内で実行することで冗長性を確保しますが、キューを格納するデータベースはSPOFになります。しかし、、データベースに障害があった場合キューだけでなくすべてのサービスが停止すると思われ

                                                              • MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT

                                                                MapReduceのJava実装Apache Hadoopを使ってみた:いま再注目の分散処理技術(後編)(1/3 ページ) 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画(編集部) Apache Hadoopプロジェクトとは何か? 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも

                                                                  MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT
                                                                • 「夜間中学」設置 新たに80自治体が検討 | NHKニュース

                                                                  さまざまな事情で学校に通えなかった人たちの学びの場となっている公立中学校の夜間学級、いわゆる「夜間中学」の設置が、新たに全国80の自治体で検討されていることが、文部科学省の調査でわかりました。国は、多様な学びの場を確保するため少なくとも各県に1校の設置を自治体に求めていく方針です。 しかし、現在、設置されているのは、東京都や大阪府など8つの都府県にとどまっていて、文部科学省はことし2月に教育機会確保法が施行されたことを受けて、全国およそ1800の教育委員会などを対象に、夜間中学の設置に向けた検討状況を調べました。 その結果、新たに高知県や熊本県など6つの県と、74の市町村が設置に向けた検討を進めていることがわかりました。また、現在、夜間中学に通う全生徒1687人のうち、60歳以上が456人と27%を占めた一方で、15歳から19歳の若者も342人と20%に上り、ほとんど学校に通えず形式的に卒

                                                                    「夜間中学」設置 新たに80自治体が検討 | NHKニュース
                                                                  • MongoDB 3.0.8 is released - MongoDB Blog

                                                                    General InformationDocumentationDeveloper Articles & TopicsCommunity ForumsBlogUniversity

                                                                      MongoDB 3.0.8 is released - MongoDB Blog
                                                                    • Nostr. Nostrという新しい分散型のソーシャルプロトコルを試してみています。 | by Fumi | Feb, 2023 | Medium

                                                                      Nostrという新しい分散型のソーシャルプロトコルを試してみています。 私の公開鍵 はこちらです。 npub1zkquutx5q7c3f8pv5ad2wgszrwxkmnmj9769dxf7r3uvnf92mn0sas5dnh NostrとはNotes and Other Stuff Transmitted by Relays、略してNOSTR。 こちらがGitHub。 The simplest open protocol that is able to create a censorship-resistant global “social” network once and for all. It doesn’t rely on any trusted central server, hence it is resilient; it is based on cryptographic

                                                                        Nostr. Nostrという新しい分散型のソーシャルプロトコルを試してみています。 | by Fumi | Feb, 2023 | Medium
                                                                      • P2P分散ストレージ「Cagra」 - Blog by Sadayuki Furuhashi

                                                                        id:nyaxt氏との共同開発の分散ストレージ「Cagra」(かぐら)のアルファ版をリリースしました。 cagra α3リリース cagra テクニカルデモ α2リリース 分散ストレージエンジンテクニカルデモ α版リリース cagraのα版試してみたよ - takumalog Cagraは以下のような特徴を持った(目指した)P2P分散ストレージです。 Zeroconf マルチマスタでレプリケーションするWrite 高速な分散Read オプションで高速な非同期Write インターネットレベルよりもLANレベルのマシン台数に特化 巨大データサポート 高速イベント駆動システムコール+軽量スレッド 超アジャ〜イルな開発体制 まだα版で全部が実装されているわけではないですが、とりあえず動きます。 Zeroconf UDPマルチキャストでノードを自動的に発見するので、一切設定ファイルを書かずに動作せる

                                                                          P2P分散ストレージ「Cagra」 - Blog by Sadayuki Furuhashi
                                                                        • 平成21年度産学連携ソフトウェア工学実践事業(高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンターの高信頼化に向けた実証事業))事業成果報告書

                                                                          • welcome home : vim online

                                                                            What is Vim online? Vim online is a central place for the Vim community to store useful Vim tips and tools. Vim has a scripting language that allows for plugin like extensions to enable IDE behavior, syntax highlighting, colorization as well as other advanced features. These scripts can be uploaded and maintained using Vim online. Why those ads? The profits made from ads and links on vim.org go to

                                                                            • 分散 Key-Value ストア mio-0.0.1alpha をリリースしました - higepon blog

                                                                              分散 Key-Value ストア mio-0.0.1alpha をリリースしました。(mio-0.0.1-alpha.tar.gz) Mio とは何か? 範囲検索(range query) が出来る KVS です。例えば「key が "1000"〜"2000" にあるものを昇順に10件取り出す」という検索が可能です。 Mio は memcached 互換プロトコルを実装しているので、多くのプログラミング言語から簡単にアクセスする事が可能です。(後述のコード例参照) Mio のアーキテクチャ Mio は Skip Graphs(スキップグラフ)というアルゴリズムに基づいて実装されています。詳細はErlang 分散システム勉強会での発表資料 Mio - a distributed Skip Graph based orderd KVSをご参照ください。 インストール 最新の Erlang をイ

                                                                                分散 Key-Value ストア mio-0.0.1alpha をリリースしました - higepon blog
                                                                              • 全IT関係者が知っておくべき「1-copy-snapshot isolation」 - 急がば回れ、選ぶなら近道

                                                                                snapshot isolationを分散環境に適用する場合の「基本」の内容のまとめになります。(基本自分用のメモなので、間違っていたらすみません) まずワーディングの整理 ・snapshot isolation TXの分離レベルとしてのsnapshot isolation(以下SI)は、現在のRDBMSのTX管理では、ほぼ実装的にはデファクトと見ていいと思います。ただしANSIの規定のISOLATION_LEVELには定義がないので、どのあたりに位置づけるのかは、DB実装のそれぞれの取り扱いにより異なります。とはいえ、どのDBでもほぼSERIALIZABLEに近い位置づけにしているところが多いですね、というか、SI(特にSerializable SI)ぐらいでないとserializableに現実的には近づけないというのが実態かと思います。(勿論理論上はS2PLで実装は可能ですが、まぁパフ

                                                                                  全IT関係者が知っておくべき「1-copy-snapshot isolation」 - 急がば回れ、選ぶなら近道
                                                                                • 今度こそ絶対あなたに理解させるPaxos - Qiita

                                                                                  Paxosとは何か 分散システムの金字塔とも呼ばれ、Leslie Lamport大先生の輝かしい成果の一つとして知られる分散合意アルゴリズムPaxos。 既存の解説 実はすでに存在するPaxosの解説は充分に質が高い Wikipediaの項目にも結構長々と書かれていて、これを読んで理解できた人はもう僕の記事を読む必要はない。 同様にPFIの久保田さんによる解説スライドもあり、これも良く書けているし、これを読んで理解できた人もこれ以上記事を読む必要はない。 minghai氏によるブログ記事のこれとか特にこっちなんかはかなり納得感があり、これらを読んで理解できた人も(中略) tyonekura氏によるスライドも良くかけていて(中略) この記事はこれらの説明に目を通してもなお理解できなかった人、もしくはこれらの説明をこれから読もうと思っている人に向けて書き、Paxosアルゴリズムの詳細な説明自体

                                                                                    今度こそ絶対あなたに理解させるPaxos - Qiita