通信すら飲み込むAmazon、ルーター用半導体も自社開発と公表
「全世界を100Gビット/秒の専用光ファイバー網で接続」「ルーター/スイッチ用半導体は自社開発」「一つのアベイラビリティゾーンで30万台のサーバーを運用」――。米Amazon Web Services（AWS）でデータセンター（DC）戦略を統括するJames Hamiltonバイスプレジデント（写真1）は2016年11月29日（米国時間）、「AWS re:Invent 2016」の基調講演で同社のクラウドの衝撃的な内部仕様を明らかにした。 Hamilton氏はこれまでもAWSの内部仕様を明らかにしているが（関連記事：「AWSの裏側を数字で教えよう」、上級エンジニアが秘密を公開）、同社の大陸間ネットワークの詳細やネットワーク機器用半導体を開発している事実、自社開発サーバー/ストレージの詳細を明らかにしたのは今回が初めて。ライバルである米Googleも最近、DCや自社開発サーバーの詳細を明らか
「ブロックチェーンの革新性はトラストレスにある」は本当か
「ブロックチェーンの革新性は“トラストレス”にある」、とよく言われる。一般には、銀行のような「信頼（トラスト）のおける第三者」がいなくても、改ざんの心配なく取引を記録できる、といった意味で使われる。 しかし、よくよく考えると、「トラストレス」の意味するところは曖昧だ。そもそも情報システムにおける信用、信頼とは何なのか。実はここに、ブロックチェーンを現実世界に適用する上で、大変に重要なカギがある。連載第6回となる本稿では、「ブロックチェーンはトラストレス」という言葉の意味するところを掘り下げてみることにしたい。 トラストとは「確認しない」こと 日本語では信用、信頼などと訳される「トラスト」だが、その本質は「確認しない」ことにある。確認ができれば、それはもはや「知っている」のであって、「信頼する」といった不確実性のある行為は必要ないからだ*。 *ドイツの社会学者ゲオルク・ジンメルは「信頼とは、
「ブロックチェーンはスケーラブル」という神話と現実の課題
「ブロックチェーンが世界の決済システムを変える」。こうした言説の妥当性はともあれ、その背景には「ブロックチェーンは低コストでスケールアウトできるデータベース」であり、「従来のサーバー集中型システムと比べて低コストで大規模にスケールさせることができる」といった思い込み、一種の“神話”が見え隠れする。 だが、少なくとも現時点でのブロックチェーンの現実は、大きく異なる。現在運用されている最大規模のブロックチェーンであるビットコインを例にとると、処理できるトランザクション（取引）データ量は、約10分ごとに約1Mバイト。1トランザクション当たりのデータ量は取引の性質によって異なるが、これは平均すると毎秒7トランザクションに相当する。これでは、とても世界の決済インフラを担える処理能力とはいえない。 また、その取引処理に要するITコストは、対価が支払われている採掘費用だけを見ても、現在は10分おきに12
ブロックチェーンの「合意」の意味を、我々は合意できているのか？（下）：宮澤 慎一=セコムIS研究所 - 日経FinTech - ITpro
前回は、これまで研究されてきた分散システムにおける「合意」とビットコインの「合意」の意味を比較しながら、ビットコインにおける「合意」の意味にいくつかの解釈の余地があることを説明した。 今回は最初に、「ビットコインが初めて問題を解決した」「いや解決していない」などと議論を呼んだ分散システムの難題、「ビザンチン将軍問題」を紹介する。 次に、ビザンチン将軍問題が、ビットコインのようなP2Pシステムにとってどのような意味があるのか、過去の研究からビットコインに関係する論文として「The Sybil Attack」と「Exposing Computationally-Challenged Byzantine Imporstors」を紹介する。 そして最後に、ビザンチン障害に耐性があるシステムを作れたとしても、プログラム（アルゴリズム）の正しさだけに依存してシステムを運営・維持することには限界があり、
ブロックチェーンの「合意」の意味を、我々は合意できているのか？（上）
ブロックチェーンについて議論がなされるとき、「合意」という言葉がひんぱんに使われる。 たとえばブロックチェーンの機能について、データの正当性を複数のコンピュータが「合意」することで、中央機関に頼らずデータを共有する仕組みだ…などと説明されることがある。 では、ここでいう「合意」とは、そもそも何を指す言葉なのだろうか？ この言葉は「両社は協業することに合意いたしました」など、私たちの日常でも多く使われている言葉である。日常的に使われている「合意」をイメージしたまま、ブロックチェーンの議論をしてしまうと、ブロックチェーンの仕組みについてうまく議論できない。 これに加え、分散システムの学術界/産業界では30年以上前から、分散された複数のコンピュータの間で何らかの合意を形成する「合意問題」という課題に取り組んできた。実際に合意問題を解決するアルゴリズムやプログラムも登場している。 この分散システム
Deep Learningの実力と限界、人工知能のロードマップ
「人工知能が人類を追い越す特異点（Singularity）は来ない」「深層学習（Deep Learning）が大流行しているが、壁に突き当たる」「人工知能は、目先の技法にとらわれることなく、本来の目的に向かって進め。つまり、人工知能は人間のインテリジェンスを目指せ」──ショッキングで考えさせられる内容の講演だった。 人工知能開発への厳しい意見 New York University心理学部教授Gary Marcusは、2015年8月、人工知能学会「SmartData Conference」（上の写真）で、このように講演した。Marcusは心理学者として、頭脳の知覚機能を人工知能に応用する研究を進めている。GoogleやIBMを中心に、IT業界が人工知能開発につき進む中、その手法は正しいのか。厳しい意見が続いた。 Marcusの発言の根底には、人工知能は我々が考えているより“未熟”である、と
サービスの差異化はハードウエアで、ドワンゴの挑戦
「【ニコニコ事業】ハードウェア開発エンジニア （正社員） 日本最大級の動画サイトニコニコ動画を中心とした『niconico』を支える配信システムのハードウェアによる高速化を行っていただきます。」 ドワンゴは2014年11月、こんな職務内容で、ハードウエアエンジニアを募集した(エンジニア募集サイト)。実際、2015年4月時点で既に10数人のハードウエア技術者を採用。今後も採用数を増やすという。 連載第4回は、ニコニコ動画やニコニコ生放送を運営するドワンゴのプラットフォーム事業本部の宮崎賢一氏らに、IT企業がハードウエア開発を手がけることの意義を聞いた（写真）。 写真●ドワンゴ プラットフォーム事業本部 本部長の宮崎賢一氏（左）、同本部 プラットフォーム事業本部 コンテンツ配信基盤開発部 担当部長の谷内崇浩氏（中央）、同本部 コンテンツ配信基盤開発部 コアデバイス開発セクション セクションマネ
Hadoop MapReduceを全置き換え、スペインStratioがSpark採用事例を発表
ビッグデータ分析ソフトを手掛けるスペインのStratioは、インメモリーのビッグデータ分析ソフト「Spark」の採用事例を公開した（発表資料）。同社は7年以上前から、顧客向けのビッグデータ分析にHadoop MapReduceを使ってきたが、2013年からSparkの利用を始め、今ではMapReduceを完全にSparkに置き換えたという。 同社は2013年までの6年間ほど、MapReduceにリアルタイム処理エンジンの「Storm」を組み合わせたラムダアーキテクチャを採用してきたが、「開発やデプロイ、サポートなどの面で、次第に複雑さが増してきたため、より良い技術を探した結果、Sparkを見つけ、採用することにした」（同社）という。 Stratioは、通信事業者のスペインTelefonicaやホテル事業を手掛けるスペインNH Hotelsといった企業に向けて、ビッグデータ分析基盤を提供して
MapReduceは「ゆっくり死んでいく」、Hadoop開発者のカッティング氏
オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」が、大きな変貌を遂げ始めている。バッチ処理だけでなく、SQLクエリーを使ったインタラクティブ分析やインメモリー処理、機械学習処理などへと適用領域を広げているからだ。Hadoopのオリジナル開発者であるダグ・カッティング氏は、「新しい時代が始まった」と語る。 現在のHadoopの状況をどのように見ているか？ 同じような機能を備えたコンポーネントが複数提案されるなど重複はあるが、技術開発は非常に高速に進んでいる。（米Apacheソフトウエア財団が2013年10月に正式版をリリースした）スケジューラーの「YARN」によって、（Hadoopのストレージシステムである）「HDFS」の上に、様々なテクノロジーを共存できるようになったことが大きい。私が特に驚いているのは、（DAG：Directed Acyclic Graph＝有向
交通事故は誰の責任？Google自動運転車登場で、クルマ社会が激変！
Google自動運転車は、シリコンバレーのマウンテンビュー市で集中的に走行試験を展開している。最近は、自動運転車を頻繁に見かけるだけでなく、一緒に道路を走行する機会が増えた。並走してみると、自動運転車は安全であるが風変わりな運転スタイルであることに気が付く。万が一事故を起こした際は、誰が責任を負うのか。そもそも、自動運転車を”運転”するには免許証がいるのか。激変が予想される、カリフォルニア州のクルマ社会を考察する。 生活の中にGoogle自動車が入ってきた Googleは、昨年からマウンテンビュー市で自動運転車の走行試験を重ね、今年夏までに市内全ての道路をカバーすると表明している。最近では自宅周辺で自動運転車を見る機会が急増した。更に、自動運転車と並走する機会が増え、その特性も見えてきた。上の写真はGoogle自動運転車（右側の車両）と並走している様子。ちなみに、Google Glassを
「Hadoopはビッグデータの“OSカーネル”」、Hadoop Conference Japan開催
オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」のユーザー会「Hadoop Conference Japan 2014」が2014年7月8日、東京・汐留で開催された。基調講演には、Hadoopのオリジナル開発者であるダグ・カッティング氏（写真1）などが登壇。カッティング氏は「バッチ処理用の『MapReduce』以外の処理方式に対応した現在のHadoopは、ビッグデータを処理する分散OSのカーネルとも言うべき存在になった」と語った。 基調講演にはカッティング氏のほか、日本Hadoopユーザー会の世話役であるリクルートテクノロジーズの米谷修氏やNTTデータの濱野賢一朗氏、「Spark」の開発元である米データブリックス（Databricks）のパトリック・ウェンデル氏、米トレジャーデータの太田一樹氏が登壇した。 NTTデータの濱野氏（写真2）は基調講演の冒頭、2009年
グーグル、MapReduce後継のビッグデータ処理サービス「Cloud Dataflow」を発表
米グーグルは2014年6月25日（米国時間）、ビッグデータ処理のクラウドサービスである「Google Cloud Dataflow」を発表した。グーグルの並列データ処理技術「MapReduce」の後継技術をベースにしたサービスで、バッチ処理だけでなくストリーム処理やリアルタイム処理を実行できることが特徴。25日から同社が米国サンフランシスコ市で開く開発者会議「Google I/O 2014」で発表した。 今回の発表で最も興味深いのは、基調講演に登壇した同社のウルス・ヘルツル上級副社長が「我々は既に、社内でMapReduceをほとんど使っていない」と明らかにしたことだ。MapReduceはグーグルが2004年に論文発表した技術で、開発からすでに10年以上を経過している。グーグルは近年、並列パイプライン処理技術である「FlumeJava」や大規模ストリーム処理技術である「MillWheel」な
自社DCをOpenStackで全面管理、あらゆるリソースを抽象化へ
■すべての機器を「抽象化」するため、自前基盤からOpenStackへ切り替え ■ロードバランサー機能も、“サービスであるかのように”実装 日本を代表するインターネット企業であるヤフー。同社は2009年から自社データセンター（DC）内に設置した数万台規模のサーバー群の仮想化を進めている。2013年に入り、DC内の運用をより一層効率化するため、仮想サーバーの統合管理基盤として、オープンソースの「OpenStack」を採用した。2014年内には、約5万のVM（仮想マシン）をOpenStackで管理していく計画だ（図1）。
［2］スイッチ用Linuxとは？、Cumulusに聞く
米キュムラスネットワークス（Cumulus Networks）は、ネットワークスイッチ用のLinuxディストリビューション（検証済みパッケージ）である「Cumulus Linux」を販売するベンチャー企業だ。ハードウエアと独立したネットワークOSとはどのようなものか。共同創業者で最高技術責任者（CTO）を務めるノーラン・リーク氏（写真）に話を聞いた。 キュムラスはどのような会社ですか？ 我々は2000年代にサーバー分野で起きたことを、これからネットワーク分野で起こそうとしている。1995年のデータセンターでは、サーバーは米サン・マイクロシステムズ（当時）の「Solaris」や米ヒューレット・パッカード（HP）の「HP-UX」を搭載する大型のUNIXサーバーが主役だった。それが2005年には、米デルやHP、台湾ベンダーのPCサーバーが主役になり、OSとしては「Linux」が使われるようになっ
［1］スイッチの「オープン化」と「スケールアウト」が進む
専用のハードウエアやソフトウエアを搭載する高価なメインフレームやUNIXサーバーが、汎用のOSを搭載する安価なPCサーバーによって駆逐された「ダウンサイジング」。これと同じ現象が、ネットワークの世界でも始まった。キーワードはサーバーのダウンサイジングと同じ。ハードやソフトの「オープン化」と、安価なハードの組み合わせで高性能を目指す「スケールアウト」だ。「ネットワーク・ダウンサイジング」の最新動向を追う。 「我々はネットワークの世界における“RedHat”になる」――。そう語るのは、米キュムラスネットワークス（Cumulus Networks）の共同創業者で最高技術責任者（CTO）を務めるノーラン・リーク氏（写真）だ。キュムラスはネットワークスイッチ用のLinuxディストリビューション（検証済みパッケージ）である「Cumulus Linux」を販売するベンチャー企業だ。 「Cumulus L
ヒーローを否定する“ITムラ社会”の愚
どんな世界にもヒーロー、ヒロインはいる。オリンピックなどで活躍するスポーツ選手は目立つが、ビジネスの世界にも思わず「すごい！」と感嘆するようなプロフェッショナルがいる。情報システムの現場でもそれは同じだろう。大規模開発プロジェクトの修羅場で指揮を執った人、“火消し”のために獅子奮迅の働きをした人は間違いなくヒーロー、ヒロインだ。 ところが、SIerやユーザー企業のIT部門はそうしたヒーロー、ヒロイン、優秀な技術者にスポットライトを当てるのを嫌う。例えばSIerでは、巨額の大型案件の受注に成功したバリバリの営業担当者は、メディアにホイホイ登場してその武勇伝を話してくれるが、技術者だとほとんど表に出てこない。集団での仕事なので個人が目立つことを、組織も本人も嫌うらしい。日本人的な奥ゆかしさだが、そんな“ムラ社会”のような意識でよいのかと、私は思う。 就職活動前の学生にIT業界のイメージを聞いた
「OpenStackはAmazon Web Servicesを超える」、OpenStack Foundation COOが宣言
「世界中のアクティブユーザーが、OpenStackコミュニティーの成長を支えている」──。オープンソースのクラウド基盤構築ソフトウエア「OpenStack」をテーマにしたイベント「OpenStack Days Tokyo 2014」が、東京・御茶ノ水で2014年2月13日と14日の2日間にわたって開催される。OpenStackプロジェクト共同創始者の1人であり、OpenStack FoundationのCOO（最高執行責任者）を務めるMark Collier氏が初日の基調講演に登壇。OpenStackの利用が急拡大し、OpenStackそのものもハイスピードで機能強化が進んでいることを強調した（写真1、写真2）。 Collier氏は講演の冒頭で、「あらゆる企業にとってソフトウエアは戦略そのものになっている。“ありもの”のソフトウエアをボックスで買ってきてもうまくいかないと気付き始めたユーザ
汎用ハード/OSSでスイッチを構築、CTCがソフト「Cumulus Linux」を国内販売
伊藤忠テクノソリューションズ（CTC）は2014年2月13日、コモディティ（汎用）技術で作られているネットワークスイッチのハードウエアである“ベアメタルスイッチ”の上で動作する、LinuxベースのネットワークOSソフト「Cumulus Linux」（写真）を発表、同日販売を開始した。データセンター向けのハードウエアを標準化/オープンソース化するのが狙い。開発会社は米Cumulus Networks。 使用料は、年額制のサブスクリプション（購読）形式をとる。最小構成時の価格は、1スイッチ当たり10万円から。現状ではOSのみのライセンス販売となり、別途スイッチのハードウエアが必要になるが、2014年春にはCTCがスイッチのハードウエア込みでユーザー企業やデータセンターに提供する予定。売上目標は、関連製品や導入支援サービスを含めて、3年間で20億円。 Cumulus Linuxは、Debianベ
NTTがシスコ、ジュニパー、HPと共同でNFVのデモを実施、NFV ISGのコンセプト実証にも採択
NTTは2014年2月13日から14日かけてNTT武蔵野研究開発センタで開催される「NTT R&Dフォーラム2014」において、シスコシステムズ、ジュニパーネットワークス、日本ヒューレット・パッカードと共同で、専用ハードウエアで実現していた通信事業者のネットワーク機能をソフトウエア化し、汎用の仮想化基盤上で構成する「NFV（Network Functions Virtualisation）」のデモを実施する（関連記事：通信事業者がNFVを求める理由、なぜ注目が集まっているのか）。 今回NTTらが構築したデモは、サービスチェイニング（VNF Forwarding Graphs）と呼ばれるNFVのユースケースの一つだ（関連記事：宅内機器が消える？NFVが変える通信サービス）。汎用サーバーの仮想化基盤上に、ファイアウォールやDPI（Deep Packet Inspection）といったネットワー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［第3回］極小のIoTモジュール「Edison」（1）
