並び順

ブックマーク数

期間指定

  • から
  • まで

161 - 200 件 / 27358件

新着順 人気順

distributedの検索結果161 - 200 件 / 27358件

  • App Inventor for Android

    Request Access Complete this form and we'll have you building apps soon! Get Started Set up your computer and phone for App Inventor. Run through the tutorials that introduce App Inventor. Get help by joining the App Inventor Google Group. Watch App Inventor in Action. About App Inventor You can build just about any app you can imagine with App Inventor. Often people begin by building games like

    • 2016年のディープラーニング論文100選 - Qiita

      これはFujitsu Advent Calendar 2016の11日目の記事です。 掲載内容は個人の意見・見解であり、富士通グループを代表するものではありません。なお、内容の正確性には注意を払っていますが無保証です。 はじめに この記事では先月今年発表されたディープラーニング論文(ArXivでの発表時期、発表された国際会議が2016年開催またはジャーナル掲載が2016年のもの)から私が個人的に重要だと思った論文を収集しています。また、2015年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2017年のディープラーニング論文100選 DeepLearning研究 2016年のまとめ 2016年の深層学習を用いた画像認識モデル foobarNet: ディープラーニング関連の○○Netまとめ NIPS2016実装集 ディープラーニングにとっての2016年 20

        2016年のディープラーニング論文100選 - Qiita
      • グーグルが構築した大規模システムの現実、そしてデザインパターン(1)~MapReduce編

        グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」(グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性)という講演を、6月に行われたACM(米国計算機学会)主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 グーグルはどのようにして大規模分散システムを構築してきたのか、そして、そこからどのようなことを学んだのかが語られていますし、後半では大規模分散システムのデザインパターンという、非常に興味深いノウハウも公開している、非常に情報量の多い講演です。 その講演の内容を、全部で4つの記事、MapReduce編、BigTable編、教訓編、デザイン

          グーグルが構築した大規模システムの現実、そしてデザインパターン(1)~MapReduce編
        • Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった

          Facebookが15日に発表した新しいサービス「Facebook Messages」は、チャットやつぶやき、そして電子メールなど、自分宛のテキストやメッセージをすべて1つのインボックスで管理できると発表されました。 同社が15カ月かけて開発してきたこの新サービスのバックエンドデータベースは、これまで同社が大規模運用してきたMySQLでも、同社が開発したNoSQLデータベースのCassandraでもなく、グーグルのBigTableをモデルとしてオープンソースで開発された分散データベース「HBase」でした。 Facebookのソフトウェアエンジニア、Kannan Muthukkaruppan氏がFacebookにポストした記事「The Underlying Technology of Messages」で、その技術的背景が紹介されています。 MySQLとCassandraが落選した理由 H

            Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった
          • 分散プログラミングモデルおよびデザインパターンの考察

            ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 写真:アフロ データ&サイエンスソリューション統括本部、データインフラ本部、今野です。 早速ですが、今月開催の「Developers Summit 2016 (以下、デブサミ2016)」で当方が登壇する運びとなりました。気がつけば、前回の記事「分散システム処理モデルに関する動向について」から随分と日がたってしまいましたので、今回は、より広範囲な内容を整理してみたいと思います。 デブサミ2016の当方の講演テーマは「温故知新」です。今回は、このテーマにもつながる話題として、クラウド環境の代表的な分散プログラミングモデルやデザインパターンについて、一般的な考察をしてみたいと思います。 古典的なプログラミングモデルによる分類 まず最初に

              分散プログラミングモデルおよびデザインパターンの考察
            • もう「サーバーレスだけどサーバあるじゃん」という話をしたくない - めもおきば

              3年ぐらい同じ事を言い続けてるんだけど、そもそもサーバーレスという言葉の由来はソフトウェアアーキテクチャの話*1。 一つのタスクの実行期間を超えて、ファイルシステムやメモリ上の変数などサーバ固有のリソースに依存しないという、12 Factor Appから死ぬほど言われ続けている制約を満たすプログラミングモデルがサーバーレスの本質です。この制約に視点を置くとサーバーレスとしか言いようがない。 これを真面目にやろうとすると、キューやPub/Subによる非同期タスク(イベント駆動)が必要になってきます。これを整理したのがリアクティブシステム、わかりやすく関数という枠にはめたのがAWS LambdaをはじめとするFaaSです。 その一方で、これを満たしたソフトウェアは、AWSなりAzureなりGCPなりクラウド基盤側が勝手にサーバを増やしたり減らしたりできて、完全従量制にできたりメリットがたくさん

                もう「サーバーレスだけどサーバあるじゃん」という話をしたくない - めもおきば
              • 分散システムについて語らせてくれ。顛末と反省。 - Software Transactional Memo

                8/10のNTT Tech Conference #2 にて発表の時間をもらってこのタイトルで喋ってきた ntt-developers.github.io 発表が決まるまで これはNTTグループ内のソフトウェア・ネットワーク系技術者が集まるコミュニティで、誰が発表者になれるかは投稿されたProposalに対するコミュニティ内での投票によって選考される。 何を話したいか自分の中でも固まりきっていなかった上に、主催者の話をロクに聞いていなかった自分は小さい部屋で僕のことを知る人しか集まらない不人気セッションを勝手に想像しており、abstractを書く欄に「実世界で使われている分散システムを構成する際に理解してほしい議論についてkumagiが一人で滔々と語る。」という漠然とした説明を書いた。初心者にこそ聴いて欲しいという身勝手な理由でレベル設定をBeginnerにし、自己紹介欄に至っては本当は経

                  分散システムについて語らせてくれ。顛末と反省。 - Software Transactional Memo
                • 「キー・バリュー型データストア」開発者が大集合した夜

                  「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授(1973年生)の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア(またはキー・バリュー型データベース)は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー(PFI)最高技術責任者

                    「キー・バリュー型データストア」開発者が大集合した夜
                  • いきあたりばったりのアーキテクチャと教訓

                    スライドの作者であるGleicon Moraesは、これらの図を示した上で、リレーショナルデータベースはガムテープのようにつぎはぎで使えるような万能薬ではない。シャーディングや非正規化などは検討すべきよい選択肢であり、またリレーショナル以外のデータベースも選択肢としていれるとよいだろうと説いています。 そして次のような「リレーショナルデータベースの間違った使い方10項目」を示しているのです(訳は前述の記事「データベースの間違った使い方10項目」から)。 Dynamic table creation(動的なテーブルの作成) Table as cache(テーブルをキャッシュとして使う) Table as queue(テーブルをキューとして使う) Table as log file(テーブルをログとして使う) Distributed Global Locking(分散したグローバルなロック)

                      いきあたりばったりのアーキテクチャと教訓
                    • evolt.org - Browser Archive

                      Pardon our dust! This iteration of browsers.evolt.org is under test, containing content which has not yet been finalized. evolt.org Browser Archive Who archived all these? One of the founding members of evolt.org, Adrian Roselli (or aardvark for those of you who visit the site or are on the mailing list), has provided the archive as well as its support through his company, Algonquin Studios. You c

                      • 分散型金融システムのトラストチェーンにおける 技術リスクに関する研究 研究結果報告書

                        • グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering

                          はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる

                            グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
                          • iptablesでできるDoS/DDoS対策

                            はじめに 今回はDoS/DDoS対策を紹介します。今回はiptablesを使った方法とともに、Linuxのカーネルパラメータを使った方法も紹介します。 関連リンク: →Linuxで作るファイアウォール[パケットフィルタリング設定編] http://www.atmarkit.co.jp/flinux/rensai/security05/security05a.html →連載記事 「習うより慣れろ! iptablesテンプレート集」 http://www.atmarkit.co.jp/flinux/index/indexfiles/iptablesindex.html →連載記事 「習うより慣れろ! iptablesテンプレート集 改訂版」 http://www.atmarkit.co.jp/flinux/index/indexfiles/newiptablesindex.html DoS/

                              iptablesでできるDoS/DDoS対策
                            • 【完全版】図解!わかりやすいブロックチェーン技術の仕組み〜仮想通貨を支える技術

                              ビットコインや仮想通貨を支える技術のブロックチェーン(Blockchain)、聞いたことはあるけど正しく理解できていない人も多いのではないでしょうか。 この記事では、ブロックチェーンの仕組みについて図解を交えて徹底的に解説します。 ブロックチェーン=ビットコインという誤解 というのが正しいです。 ビットコインを発明したサトシナカモト氏は、ビットコインを実現するために革新的なブロックチェーン技術を考案しました。 そのためか、ビットコインとブロックチェーンは同じものと考えられることがまだ多いです。 しかし、ブロックチェーンには色々なタイプがあり、仮想通貨以外の色々な分野に使われる可能性を秘めています。 本記事では、ブロックチェーン技術の中でも、ビットコインで使われているブロックチェーンにフォーカスして、ブロックチェーンの仕組みを徹底的に説明したいと思います。 ブロックチェーンとはみんなで共有す

                                【完全版】図解!わかりやすいブロックチェーン技術の仕組み〜仮想通貨を支える技術
                              • 政府当局が配布した「子どものPCに入っていたら注意すべきソフトウェアリスト」がハイレベル過ぎると話題に

                                イギリスの政府当局が子持ちの親御さん向けに配布した「子どものPCに入っていたら注意すべきソフトウェアリスト」が、あまりにハイレベル過ぎるということでインターネット上で話題になっています。 話題になっているのはTwitterユーザーの@G_IWさんがツイートした以下の画像。 This utter crap is being distributed through schools from the 'local authority' so presume @WalsallCouncil today. The level of disinformation is staggering. I'd be proud to find my kids learning to use any of these. Except Discord but that's nothing to do with ha

                                  政府当局が配布した「子どものPCに入っていたら注意すべきソフトウェアリスト」がハイレベル過ぎると話題に
                                • ウノウラボ Unoh Labs: 国産MySQLストレージエンジン「Spider」の作者、斯波健徳氏に聞く

                                  こんにちは。中村です。 MySQLにはMyISAM、InnoDB、CSVなどのいくつかストレージエンジンがありますが、皆さんはSpiderというストレージエンジンを聞いたことはありますでしょうか。Spider Storage Engineは斯波健徳さんにより作成されたDatabase Shardingを可能にするストレージエンジンでMySQL 5.1で利用可能です。 先日、某集まりで斯波さんとお会いしたときにSpiderを作っているということを教えてもらったので、早速詳しい内容を教えてもらうことにしました。 ※Spiderについての説明資料はMySQLカンファレンス 2009にて斯波さんが発表されたときのスライドがあります。スライドの直リンク(zip) Spider Storage Engine について posted by (C)フォト蔵 Spider Storage Engineとは?

                                  • Best Practices for Speeding Up Your Web Site - Yahoo Developer Network

                                    Best Practices for Speeding Up Your Web Site The Exceptional Performance team has identified a number of best practices for making web pages fast. The list includes 35 best practices divided into 7 categories. Minimize HTTP Requests tag: content 80% of the end-user response time is spent on the front-end. Most of this time is tied up in downloading all the components in the page: images, styleshee

                                    • Linuxサーバ上でホスト間コネクションを集約表示するツール lstf をつくった - ゆううきメモ

                                      概要 netstatやssコマンドにより、あるホストと他のホストとのコネクションを一覧表示できる。しかし、Webシステムの場合、クライアントが並行接続するため、 同一ホストから複数のポートを介してコネクションを確立しているケースが多い。コネクション数が大きい場合は、1万以上のコネクションが表示され、ホスト間のコネクション状況を人間の目で概観することが難しかった。 そこで、同一ホストとのコネクションを集約表示し、コネクション状況を概観する 「lstf」 (「えるえすてぃーえふ」)コマンドをつくった。 github.com lstfの特徴は以下の通り。 コマンド実行ホストを起点に、active openコネクションかpassive openコネクションを判定する。つまり、接続をする側かされる側かを判定する。 各ホストフローごとにコネクション数を表示する Goで実装されているポータビリティ。i3

                                        Linuxサーバ上でホスト間コネクションを集約表示するツール lstf をつくった - ゆううきメモ
                                      • DarwinPorts

                                        The MacPorts Project Official Homepage The MacPorts Project is an open-source community initiative to design an easy-to-use system for compiling, installing, and upgrading either command-line, X11 or Aqua based open-source software on the Mac operating system. To that end we provide the command-line driven MacPorts software package under a 3-Clause BSD License, and through it easy access to thousa

                                        • Good Bye Web APIs

                                          When building a single-page application or a mobile application, we usually need to implement a web API (REST, GraphQL, etc.) to connect the frontend and the backend. Technically, it's not very difficult, but it has some unfortunate consequences. Imagine two planets. The planet "frontend" speaks JavaScript and the planet "backend" also speaks JavaScript or any other advanced language. Now let's sa

                                            Good Bye Web APIs
                                          • Google App Engine - Google Code

                                            Build monolithic server-side rendered websites. App Engine supports popular development languages with a range of developer tools. New customers get $300 in free credits to spend on App Engine. Get 28 F1 instance hours in standard environment free per day, not charged against your credits.

                                              Google App Engine - Google Code
                                            • 4 Top Hacker Groups And What They Want

                                              It's easy to think of hacker groups as some kind of romantic back-room revolutionaries. But who are they really? What do they stand for, and what attacks have they conducted in the past? With Hollywood's glamorisation of hacking, it's easy to think of hacker groups as some kind of romantic back-room revolutionaries. But who are they really, what do they stand for, and what attacks have they conduc

                                                4 Top Hacker Groups And What They Want
                                              • 分散リアルタイムデータベース「SenseiDB」がオープンソースで公開。LinkedInのインフラとして開発

                                                テキストなど非構造化データのデータベース機能とサーチエンジン機能を兼ね備えた分散リアルタイムデータベース「SenseiDB」が、オープンソースとして公開されています。 SenseiDBとは先生DBの意味らしく、「Sensei (先生) means teacher or professor in Japanese」と説明があり、ロゴにも「師」の文字が使われています。なぜ先生なのか、その意味について以下のように説明があるのですが…… This name indicates that the system can be used in place of Oracle database in many applications. この名前が示しているのは、このシステムが多くのアプリケーションにおいてOracleデータベースで使われているところで利用可能だということです。 TeacherやProfe

                                                  分散リアルタイムデータベース「SenseiDB」がオープンソースで公開。LinkedInのインフラとして開発
                                                • クックパッドと分散トレーシング - クックパッド開発者ブログ

                                                  こんにちは、技術部の Taiki (@taiki45) です。 近年の Web サービスの開発ではマイクロサービスに代表されるように分散アーキテクチャが採用されるようになってきました。大規模でも素早いプロダクト開発をするために、クックパッドでもマイクロサービスを採用し分散アーキテクチャへの移行を進めています*1。今回は、そのような分散アーキテクチャを利用したシステム構築において必須のコンポーネントになりつつある分散トレーシングについて、クックパッドでの事例を紹介したいと思います。 分散トレーシングとは マイクロサービスのような分散アーキテクチャでは、個々のサービス同士の通信が複雑になるため、モノリシックアーキテクチャと比較して、システム全体としての振る舞いを把握することが難しくなります。これはプロダクト開発においては、障害発生時の原因究明が難しくなったり、あるいはシステム全体でのパフォーマ

                                                    クックパッドと分散トレーシング - クックパッド開発者ブログ
                                                  • Python at Netflix

                                                    By Pythonistas at Netflix, coordinated by Amjith Ramanujam and edited by Ellen Livengood As many of us prepare to go to PyCon, we wanted to share a sampling of how Python is used at Netflix. We use Python through the full content lifecycle, from deciding which content to fund all the way to operating the CDN that serves the final video to 148 million members. We use and contribute to many open-sou

                                                      Python at Netflix
                                                    • mixiや楽天の「中の人」、インフラエンジニアを語る

                                                      パソナテックは2008年12月6日、「インフラエンジニア討論会2008 ~インフラエンジニア進化論~」を開催した。楽天の和田修一氏、スカイホビットの越川康則氏、ミクシィの長野雅広氏、モトローラの石原篤氏、paperboy&co.の宮下剛輔氏、計5人の「インフラエンジニア(サーバやネットワークなどの設計・管理・運用を担当する技術者全般を指す)」が登壇し、自らの業務や興味関心、インフラエンジニアとして働くことのやりがいなどを語った。 個人のスキルに「依存した」運用の可能性 前半は各自のトークセッションとして、自らの業務、キャリア、興味関心などを5人がそれぞれ講演した。 和田氏は現在「開発部 国際開発室」に所属しており、アプリケーション開発も若干行っているものの、メインは台湾版「楽天市場」の設計・構築・運用の業務を行っている。大学時代は経済学部で、技術を学んだのは就職後。「大学時代はバンドに明け

                                                        mixiや楽天の「中の人」、インフラエンジニアを語る
                                                      • 運用が楽になる分散データベース Riak

                                                        [D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke KuramataInsight Technology, Inc.

                                                          運用が楽になる分散データベース Riak
                                                        • はじめてのgit - IDEA*IDEA 〜 百式管理人のライフハックブログ

                                                          ドットインストール代表のライフハックブログ

                                                            はじめてのgit - IDEA*IDEA 〜 百式管理人のライフハックブログ
                                                          • 分散深層強化学習でロボット制御 - Preferred Networks Research & Development

                                                            新入社員の松元です。はじめまして。 “分散深層強化学習”の技術デモを作成し、公開いたしました。ロボットカーが0から動作を学習していきます! まずはこの動画を御覧ください。 以下で、動画の見どころと、使っている技術を紹介します。 動画の見どころ Car 0(○の付いている車)が右折カーブの手前で減速する様子(右画面の白いバーのところが、ブレーキのところで赤くなっている。ニューラルネットはブレーキが最も多く報酬が得られると推測していることがわかる)。速い速度ほど報酬は大きいが、カーブを曲がりきれず壁にぶつかってしまうので学習が進むとカーブ手前でのみ減速するようになる。 目の前に車がいるときは一時停止して、いなくなってから加速する。 エチオピアには本当にこのような交差点があるらしい。 ぎりぎりですれ違う2台。学習途中ではすれ違いきれずにぶつかって倒れてしまうこともある(早送りシーン中に人が写って

                                                              分散深層強化学習でロボット制御 - Preferred Networks Research & Development
                                                            • Appleを追い出されNeXTを立ち上げたスティーブ・ジョブズを間近に見ていたエンジニアたちの証言

                                                              1985年にAppleを追放されたスティーブ・ジョブズ氏が創業した「NeXT」は教育用・ビジネス用のワークステーションのメーカーで、1996年にAppleに買収され、ジョブズ氏がAppleに返り咲くきっかけとなりました。NeXTが開発したオブジェクト指向型OS「NeXTSTEP」はその後のmacOSやiOSの基盤となっています。さまざまな質問に対して専門家が回答する質疑応答サイト「Quora」に投稿された「NeXTのエンジニアはどんな感じで働いていたのでしょうか?ジョブズ氏は普段から従業員と交流していたのでしょうか?」という質問に対して、当時を知るエンジニアたちが回答しています。 What was it like to be a software engineer at NeXT? Did workers interact with Steve Jobs? - Quora https://

                                                                Appleを追い出されNeXTを立ち上げたスティーブ・ジョブズを間近に見ていたエンジニアたちの証言
                                                              • 5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる

                                                                はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、

                                                                  5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
                                                                • Chaos Engineering やっていく宣言 - クックパッド開発者ブログ

                                                                  技術部のヨシオリです。 Netflix が Chaos Engineering の論文を公開して 2 年ほど経ちました。 クックパッドは最近、 Chaos Engineering を導入する事を決めました。 この記事ではその背景を紹介したいと思います。 そもそも Chaos Engineering とは Netflix では Failure Injection Testing として、営業時間中に意図的に障害を起す事をやっていました。Chaos Monkey というインスタンスとサービスを落すものから Chaos Gorilla、Kong という availability zone や region 単位で障害を発生させるものなどです。 その経験から Chaos Engineering というものが提唱されました。 Principles of Chaos Engineeringによれば C

                                                                    Chaos Engineering やっていく宣言 - クックパッド開発者ブログ
                                                                  • Google、モノリスとマイクロサービスのいいとこ取りをする「Service Weaver」フレームワークをオープンソースで公開

                                                                    Google、モノリスとマイクロサービスのいいとこ取りをする「Service Weaver」フレームワークをオープンソースで公開 Googleは分散アプリケーションの開発とデプロイを容易にするフレームワーク「Service Weaver」をオープンソースで公開しました。 Introducing Service Weaver! Service Weaver is an open source framework for building and deploying distributed applications. It allows you to write your application as a modular monolith and deploy as a set of microservices. Learn more → https://t.co/XmnVALYXNC pic

                                                                      Google、モノリスとマイクロサービスのいいとこ取りをする「Service Weaver」フレームワークをオープンソースで公開
                                                                    • Serf+HAProxyで作るAutomatic Load Balancer - Glide Note

                                                                      hashicorp/serf Serf Serf使ってますか!サーフ! 諸事情というか大人の事情で急遽自前でロードバランサを用意しないといけなくて、それをissueに書いてたら、 あんちぽさんがSerf+HAProxy使ったらいいのでは、 とIRCで助言をくれて、同日のmizzyさんのブログでもSerfに言及していたので、 ちょっとSerfの概要を知るためと、Serf+HAProxyが実際ロードバランサとしてどんな感じに使えるのか検証してみた。 I told @glidenote about a combination of Serf and HAProxy this morning, and he has already implemented the arch. and done investigation… — kentaro (@kentaro) October 29, 2013

                                                                      • 分散プログラミングモデルおよびデザインパターン - kuenishi's blog

                                                                        同名の某記事について。僕がタイトルから想像する期待を、なんだか意外な方向に裏切ってくれた記事であった。批判するだけではよくないので、同じタイトルで僕ならどういう話になるか…という話をしよう。絵のない長文だ覚悟して読め(ΦωΦ)フフフ…。 分散プログラミングモデル プログラミングモデルとはなんであろうか。 …CもJavaもMPIも登場していない1972年の論文を持ってこられてそれがオリジナルだみたいなこと言われてもえー…って感じで、Flynnの1972年の論文は並列計算やHPCの方面へ非常に大きな影響を与えていると思う。ただしそれはCPU内の話であって、時代が進むと共にたとえば牧野先生の日記「並列計算機のプログラミングモデル」で書かれているような議論につながるといえば繋がるには繋がるが、このレベルで計算を並列化する議論にしか応用できない。せいぜい、プログラミングモデルとひとくちにいっても様々

                                                                        • ConsistentHashing - コンシステント・ハッシュ法

                                                                          ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R

                                                                          • Dive Into HTML5

                                                                            by Mark Pilgrim with contributions from the community Dive Into HTML5 elaborates on a hand-picked selection of features from the HTML5 specification and other fine standards. We encourage you to buy the printed work — Mark Pilgrim’s artfully titled “HTML5: Up & Running” — published on paper by O’Reilly, under the Google Press imprint. Your kind and sincere feedback is always welcome, and this work

                                                                            • Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan

                                                                              データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

                                                                                Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
                                                                              • DNS前史:HOSTS.TXTとドメイン名ができるまで

                                                                                こんにちは、技術開発室の滝澤です。 先月(2022年7月)、『Software Design 2022年8月号』の特集記事『WebエンジニアのためのDNS速習講座』に『第2章:DNSの構成要素と名前解決のしくみ』という記事を寄稿しました。第1章でも滝澤が趣味で作成した資料『ドメイン名の歴史』が参考文献として掲載されていました。よい機会なので、ドメイン名ができるまでの歴史について文章としてまとめようと思い、この本ブログ記事を書きました。 なお、筆者自身はインターネットの原型であるARPANETや80年代のインターネットをリアルタイムには体験してはいないため、RFC(Request for Comments)やインターネット上にある当時のホストのアーカイブを元に調査した内容をまとめたものになります。 ARPANETの時代 1969年から1980年代初期にかけてのインターネットの原型となったAR

                                                                                • MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家

                                                                                  HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、(何番煎じか分かりませんが自分の理解のためにも)この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form(足し算で表現できる形)になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時

                                                                                    MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家