Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
簡単なWebサーチエンジンの作り方 - Imagine with 加藤和彦
筑波大学は3学期制で，12月1日から3学期が始まりました．3学期には私が担当している学類生（普通の大学の学部生）3年生向けの実験があります．約3ヶ月を掛けて，ほどほどの規模のプログラム作成を行います．私が作り，担当しているプログラム実験は「Webサーチエンジン」といいまして，テキストはこちらに公開しています． この実験，結構，自信作なんです．Javaの基本的なプログラミングができることだけを仮定して，漏れのない全文検索を行うWebサーエンジンを作ります．Webデータ収集を自動的に行うクローラー付き．Googleのようなページランキング機能はありませんが，一応，サーチエンジンの基本機能を備えます．自慢は，このテキストが実質A4で印刷して2ページくらいであること．数学の小問を解いていくように，順番に小問を解いていくと，最後にはWebサーチエンジンができます． ミソはサフィックス・アレイ(suf
JavaVM向けの新言語「Noop」リリース 複数人のチームで行う開発をよりスムーズに
Javaの仮想マシンで動く新言語「Noop」が、Google Code上で公開された。Noopは「JVM Language Summit」にて、Googleの開発者であるAlex Eagle氏とJeremie Lenfant-Engelmann氏によって発表されたもので、新旧の開発言語から良い部分を取り出して作り出されたと説明されている。 Javaの仮想マシンで動く新言語「Noop」が、Google Code上で公開された。Noopは、現在開催中の「JVM Language Summit」にて、Googleの開発者であるAlex Eagle氏とJeremie Lenfant-Engelmann氏によって発表されたもので、新旧の開発言語から良い部分を取り出して作り出されたと説明されている。 この新言語では、複数人のチームで行う開発をよりスムーズにするため、メンテナンスしやすく、理解しやすいコ
サン、RIA用開発プラットフォーム「JavaFX」のプレビュー版をリリース
Sun Microsystemsは米国時間7月31日、リッチインターネットアプリケーション（RIA）向けソフトウェアプラットフォーム「JavaFX」のプレビュー版をリリースした。Sunは、このJavaFXが、見栄えのする素晴らしいインターネットアプリケーションの基盤となることを期待している。 JavaFXには、これまでのJavaと同様、プログラムを実行するためのソフトウェアと、それらのプログラムを書くためのプログラミング言語「JavaFX Script」が含まれている。 Javaはプログラミング業界では強力なブランドだが、主にサーバや携帯電話向けとして人気がある。Sunは、JavaFXをデスクトップPC上でソフトウェアを実行するための手段として売り込もうとしている。JavaFXは、二次元（2D）および三次元（3D）グラフィックス、音声および映像、アニメーションをサポートしている。 しかし、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
