分散ストレージソフトウェアCephとは - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、Necoプロジェクトのsatです。Necoプロジェクトではサイボウズのクラウド基盤であるcybozu.comのストレージに関する様々な要件を満たすために分散ストレージソフトウェアCephを導入する予定です。本記事ではCephとは何者かについて紹介いたします。Cephが持っている機能は膨大な数にのぼるため、ここでは一部の機能に絞って紹介したいと思います。 概要 Cephはオープンソースの分散ストレージソフトウェアです。2004年以前からカリフォルニア大学で開発され、2006年にオープンソース化されました。現在ではRed Hat社をはじめとするさまざまな企業、あるいは個人によって活発に開発されています。Cephは例えばOpenStack のストレージ機能(Cinder, Swift, やGlanceなど)の選択肢の1つとして使われています。 Cephは複数台のマシン上のス
GIMPS
All exponents below 67251827 have been tested and verified. All exponents below 116054989 have been tested at least once. Version 30.19 is now available. ECM stage 2 is now much faster if you can give prime95 lots of memory to use. This is similar to the improvements to P-1 stage 2 in version 30.8. There are other minor bug fixes and tweaks. This is not a required upgrade -- version 30.3 and later
マイクロソフト、「Folding@home」の新型コロナ分析に協力するPowerShellスクリプトを公開
Microsoftは、「Windows 10」ユーザーが「Folding@home」プロジェクトにコンピューターの余剰演算能力を安全に提供するためのPowerShellスクリプトをリリースした。分散コンピューティング技術を活用して疾病研究を行うプロジェクトである「Folding@home」は現在、新型コロナウイルス感染症（COVID-19）の解析に取り組んでいる。 既に多くのユーザーが、Folding@homeのタンパク質動力学シミュレーションを支援するために、macOSやWindows、Linuxにこのソフトウェアのクライアントをダウンロードしている。 Microsoftの今回の取り組みは、Windows 10のユーザーが、Windowsサンドボックスを利用して安全に演算能力を提供できるようにするものだ。 Folding@homeプロジェクトは、生化学と分子生物学が専門のワシントン大学セ
Folding@home – Fighting disease with a world wide distributed super computer.
START FOLDING NOW Install our software to become a citizen scientist and contribute your compute power to help fight global health threats like COVID19, Alzheimer’s Disease, and cancer. Our software is completely free, easy to install, and safe to use.
爆速でわかるjQuery.Deferred超入門
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo!デベロッパーネットワークの中野(@Hiraku)です。これまで、JavaScriptで非同期処理を書く上での問題として、コールバック地獄やエラー処理に例外が使えないことなどを解説してきました。 これらの問題に対処するライブラリの1つであるjQuery.Deferredに関して、もう少し丁寧に解説いたします。なお、jQueryのバージョンは記事執筆時点の最新である、1.9.1を想定しています。 jQuery.Deferredとは jQuery.DeferredとはjQueryのバージョン1.5から導入された、非同期処理をうまく扱うための標準モジュールです。使いこなすことで、以下のような効果が見込めます。 非同期処理を連結
FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編）
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb
RESTに関する３つの間違い
楽観的排他制御を利用する非同期的なトランザクション実行であればスケーラビリティを損ねることなく2phase commitが可能である。これは、分散KVSにおけるスケーラビリティと一貫性の両立について で主張したように、同期的な2phase commitは密結合に誘導することになるため、矛盾するように思えるかもしれない。だがそんなことはない。 前半はまずこの話から入るが、後半ではRESTに関する間違いについて、３つほど思うところを述べたい。 楽観的排他制御と2phase commit reflexworksではFeedやEntry単位でatomicなトランザクション処理を行えるが2phase commitはサポートしていない。これを許すと密結合になってスケールしないからである。だが、これはあくまで同期的な処理の話であって、ネットワーク障害への耐性を考慮され、非同期処理やオフラインで使えるので
Jubatus : Distributed Online Machine Learning Framework¶
Jubatus English Japanese
.Net Remoting をスケーラブルにするための９つのルール - tekkの日記 C#,VB.NET
原文は、thinktecureのサイトの記事です。 http://www.thinktecture.com/resourcearchive/net-remoting-faq/remotingusecases スケールアウト可能な構成で.Net Remotingを使用するための９つのルールというトピックです。補足説明付きで訳してみます。 Use only server-activated objects configured as SingleCall サーバオブジェクトは、シングルコール呼び出しにすること。シングルコールだとサーバの処理を呼び出して返ってくるという一連の処理で接続が即時切断されるので、サーバ側のコネクションリソースが残ったままにならないというメリットがあります。毎回接続だと処理コストが大きいと考えがちですが、不特定多数の大量のクライアントから、少数のトランザクションを処理す
)
AppDomain 間でのリモート処理
このトピックの対象は、既存のアプリケーションとの下位互換性のために残されているレガシ テクノロジに特定されています。新規の開発には、このトピックを適用しないでください。分散アプリケーションは、現在は Windows Communication Foundation (WCF) を使用して開発する必要があります。 このサンプルでは、.NET Framework リモート処理を利用して、AppDomain 間で通信する方法を示します。また、アセンブリ読み込みの AppDomain を分離し、信頼関係のないアセンブリから AppDomain を保護するためのセキュリティ境界を維持する方法も示します。 コマンド プロンプトを使用してサンプルをビルドするには コマンド プロンプトを開き、使用しているプログラミング言語に応じて、言語固有のサブディレクトリに移動します。 コマンド ラインで「msbuil
.NETリモーティングでクライアントから渡されたデリゲートをサーバから実行する方法 2
前回の「.NETリモーティングでクライアントから渡されたデリゲートをサーバから実行する方法 」だけだとローカルからだとOKだけど、リモートから実行するとエラーを吐くので不十分。 デリゲートを介してリモートから実行されるクラスにもSystem.MarshalByRefObjectが必要。 クライアントから渡したデリゲートをリモートのサーバが実行する為には逆接続する為のチャンネルが必要。 2の方法は単純にリモートのサーバに接続する前にチャンネルを登録しておけばOK。 System.Runtime.Remoting.Channels.BinaryServerFormatterSinkProvider sinkProvider = new System.Runtime.Remoting.Channels.BinaryServerFormatterSinkProvider(); sinkProvid
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
本当は恐ろしい分散システムの話
distributed.net: distributed.net
椎橋章夫「異種統合型情報サービスシステムにおける自律分散アシュアランス技術の研究」
http://japan.internet.com/developer/20060905/26.html
ビルドのコマンドとプロパティのマクロ
はじめてのgit - IDEA*IDEA 〜 百式管理人のライフハックブログ