TechCrunch | Startup and Technology NewsHello, lovelies, and welcome to Week in Review (WiR), TechCrunch’s regular newsletter that recaps the week in tech. For many folks, this workweek was a day shorter, thanks to the Juneteenth obse
「Apache Hive 1.1」リリース、データ加工ツールの追加などが行われる | OSDN Magazine
Apache Hive開発チームは3月9日、Apache Hadoopベースのデータウェアハウス構築ソフトウェア「Apache Hive」の最新版「Apache Hive 1.1.0」をリリースした。プロジェクトのWebサイトより入手できる。 Apache Hiveは米FacebookがApache Software Foundation（ASF）に寄贈したデータウェアハウスソフトウェア。分散ストレージ環境にある大規模なデータセットのクエリや管理が可能で、SQLライクな言語「HiveQL」でデータクエリが可能。Map/Reduce開発車がカスタム構築したマッパーに組み込むこともできる。HBase、RCFileなども利用できる。 1.1は2015年2月に公開された初の正式版「Apache Hive 1.0」に続くもので、Hadoopは1系と2系に対応する。データの抽出や加工、ロード（ETL）
HadoopによるApacheのログ解析の実際
こんにちは、ミツバチワークス stoneです。 今日は、DECOLOGで行われている、Apacheのログ解析について、 ご紹介してみようかと思います。 現在、DECOLOGでは、リバースプロキシが8台あって、 その8台の1日のApacheのログは、全部で、200Gバイト以上になっています。 これを、13台のHadoopのスレーブノードで解析を行っています。 全体の流れとしては、 1) リバースプロキシからHDFSにログを転送 2) 解析用のサーバーで、HDFSにログの転送が終わるのを監視 3) ログの転送が終わったら、Hadoopを起動、解析 4) Hadoopの解析結果をデータベースに保存 以下では、各々のステップを個別に見て行くことにしますね。 1. リバースプロキシからHDFSにログを転送 当初、Hadoopのプロセスが立ち上がっていないと、HDFSにはアクセスできない、 と思い込ん
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
