はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介したいと思います。 はじめに 分散処理基盤 Hadoop / CDH とは Hadoop エコシステム データストレージ (HDFS) と リソース管理 (YARN) HDFS (Hadoop Distributed File System) YARN (Yet Another Resource Negotiator) ノードの役割 分散処理エンジン (MapReduce, Tez, Spark) MapReduce Apache Tez Apache Spark クエリエンジ
Hewlett Packerd Enterprise（HPE）は、主要なHadoopディストリビューションベンダの1つであったMapR Technologiesの持つ技術や知財などのビジネス資産を買収すると発表しました（HPEの発表、MapRの発表）。 MapR is now part of @HPE! Exciting things ahead! Find out more in this new blog post: "HPE Welcomes MapR Community" https://t.co/CwWmIs9Fv1 pic.twitter.com/Thxd78o5PU — MapR Technologies (@mapr) August 5, 2019 MapRは今年の6月に大規模なリストラを行ったことが明らかになり、身売りの交渉をしているのではないかとされていました。 Map
Visiteurs depuis le 26/01/2019 : 6765 Connectés : 1 Record de connectés : 15 Simba’s Apache Hive Drivers efficiently transform an application’s SQL query into the equivalent form in HiveQL. The Hive Query Language, a subset of SQL-92, allows Simba’s solutions to interrogate Hive to obtain schema information to present to a SQL-based application. Odbc For MacHive Odbc Driver For WindowsODBC driver
HPEがKubernetes対応のコンテナプラットフォーム「HPE Container Platform」を国内で提供開始。大規模なデータ統合基盤の構築が狙い
ヒューレット・パッカード エンタープライズ（HPE）は、KubernetesやDockerコンテナなどを統合したパッケージソフトウェアとして「HPE Container Platform」の国内提供を開始したと発表しました。 HPE Container Platformは、ベアメタルもしくは仮想マシン上のRed Hat Enterprise LinuxもしくはCentOSに対応し、その上にKubernetes、Dockerコンテナ環境を構築します。オンプレミスやAWSなどさまざまなシステム基盤上に展開可能です。 最大の特徴は、マルチテナントなクラスタ管理のためのBlueDataと、ストレージ機能としてMapRを統合している点です。 BlueDataを用いることで、おもにHadoopやSparkといったビッグデータ処理のためのミドルウェアを部門ごとなどにセキュアに分離したマルチテナントを構築
Visiteurs depuis le 26/01/2019 : 3191 Connectés : 1 Record de connectés : 11 Microsoft Hive ODBC Driver is a connector to Apache Hadoop Hive available as part of HDInsight clusters. Microsoft Hive ODBC Driver enables Business Intelligence, Analytics and Reporting on data in Apache Hive. ODBC is one of the most established APIs for connecting to and working with databases. Jul 12, 2016 - This propr
渡部です。Oracle Database関連のレプリケーション技術について整理します。 Oracle Database本体のレプリケーション機能の多くが、サポートが終了していることに注意してください。 物理レプリケーションと論理レプリケーション データベースのレプリケーション技術は、物理レプリケーションと論理レプリケーションに大別されます。 物理レプリケーションは、データベース全体に対する物理的な更新を伝搬することで、 データベースを複製します。レプリケーション元のデータベース（プライマリDB）と レプリケーション先のデータベース（スタンバイDB）の物理的な構造が同じになります。 メカニズムがシンプルで運用しやすいため、災害対策に向けたDR構成／HA構成によく使用されます。 論理レプリケーションは、指定したテーブル群に対する論理的な更新を伝搬することで、 データベース内の指定したテーブル群
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Hewlett Packard Enterprise（HPE）は、MapRの資産を買収したと発表した。同社の技術、知的財産、アナリティクスや人工知能（AI）、機械学習（ML）用ツールなどが含まれる。 HPEは、MapRが現在展開しているサービスや進行中の刷新を支援すると発表した。また、MapRのパートナーエコシステムも引き続き支援するという。 買収の条件は明らかにされていない。 HPEに対して、MapRはより多くのビッグデータのノウハウやAI展開とMLのワークフローを提供できる。HPEの最高経営責任者（CEO）Antonio Neri氏は、MapRのファイルシステム技術によってHPEはエッジからクラウドまで統合されたアナリティクスを実現
In this post we'll cover new hardware additions to tonari and some of the work and research that went into powering that hardware. We're big fans of the Rust programming language but before this project we hadn't ever used it for embedded hardware. We'll go over our hardware requirements, some possible solutions, some reasons (excuses) for choosing Rust for the job, and provide a primer for gettin
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日本ヒューレット・パッカード（HPE）は、9月に「HPE HPC＆AIフォーラム 2019」を開催した。「HP-CAST（Consortium for Advanced Scientific and Technocal）Japan」という学術研究機関などのユーザーを中心とするグループのイベントとして企画されたもので、ハイパフォーマンスコンピューティング（HPC）と人工知能（AI）に関するソリューションの先端動向を取り上げた。講演者として登壇した米Hewlett Packard LabでAI Chief Technologistを務めるSorin Cristian Cheran氏に、AIに関する取り組みや現在の研究開発の方向性、将来展望な
SSMセッションマネージャーのセッションログの出力先をS3バケットにすると、ログが出力されないことがあるかも え! セッションログがS3バケットに出力されていない! こんにちは、のんピ(@non____97)です。 皆さんはSSMセッションマネージャーのセッションログがS3バケットに出力されていないと経験をしたことはありますか? 私はあります。 SSMセッションマネージャーのセッションログはS3バケットやCloudWatch Logsに出力することが可能です。具体的な出力方法は以下記事をご覧ください。 CloudWatch Logsにログ出力をすると、以下のようにJSON形式のログが出力されます。 { "eventVersion": "1.0", "eventTime": "2023-07-18T10:24:19Z", "awsRegion": "us-east-1", "target":
DeepLearning.AI, Coursera, and AWS launch the new Practical Data Science Specialization with Amazon SageMaker | Amazon Web Services
AWS Machine Learning Blog DeepLearning.AI, Coursera, and AWS launch the new Practical Data Science Specialization with Amazon SageMaker Amazon Web Services (AWS), Coursera, and DeepLearning.AI are excited to announce Practical Data Science, a three-course, 10-week, hands-on specialization designed for data professionals to quickly learn the essentials of machine learning (ML) in the AWS Cloud. Dee
HPE、「Kubernetes」ベースのコンテナプラットフォーム「HPE Container Platform」発表
Hewlett Packard Enterprise（HPE）が、クラウドアプリケーションもオンプレミスアプリケーションも実行できる「Kubernetes」ベースのコンテナプラットフォーム「HPE Container Platform」を発表した。HPE Container Platformによって、顧客はどのパブリッククラウドでも、エッジでも、ベアメタルあるいは仮想化されたインフラで動く新規、既存のアプリ向けのアプリケーションの開発を加速させることができる。 主要なクラウドプロバイダーの多くは、Kubernetes管理ツールやインスタンスを保有している。また、Red Hatを買収したIBMがハイブリッドクラウドのデプロイメントとそれに伴うコンテナ管理で強力な足場を築いていることなどから、表面的に見れば、HPE Container Platformは困難に直面するかもしれない。 HPEは1
Jean-Yves Stephan Senior Product Manager, Ocean for Apache Spark Reading Time: 7 minutesApache Spark is an open-source distributed computing framework. In a few lines of code (in Scala, Python, SQL, or R), data scientists or engineers define applications that can process large amounts of data, Spark taking care of parallelizing the work across a cluster of machines. Spark itself doesn’t manage th
With the rapidly changing business and technology landscape of today, developers, data scientists, and IT operations are working together to build intelligent applications with new technologies and dynamic architectures because of the flexibility, speed of delivery, and maintainability that they make possible. This post will go over the technologies that are facilitating evolutionary architectures
主演女優は香港警察を支持 「ムーラン」とは古代中国の伝説のヒロインで、家族や国を守るために戦い、そのストーリーはディズニー映画となって知られている。 また実写版の映画『ムーラン』も完成していたが（現在、まだ公開はされていない）、主演を務めた女優のリウ・イーフェイさんは以前、激化していた香港デモに関して、「香港警察を支持する」とウェイボに投稿して物議を醸した。 実際、これにより映画は政治的なシンボルとなってしまい、中国本土の市民はイーフェイさんを支持する一方、香港民主派の人々は映画のボイコットを呼び掛けた。 「彼女は私のムーラン」 そして今回、周庭さんの支援者は、彼女とイーフェイさんを比べて「周庭こそ、戦うために立ち上がった真のヒロインの代表者だ」と語り始めたという。 実際、ツイッターにも「アグネス（周庭）は、本当の勇気がどんなものかを教えてくれた」や「アグネスは私のムーラン」「アグネス・チ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CDH (Hadoop) 入門 - MicroAd Developers Blog
MapRのビジネス資産をHPEが買収すると発表。企業としてのMapRは終了か
Hive Odbc Driver For Mac
Hive Odbc Driver For Mac
Oracle Databaseレプリケーションとサポート状況／対応製品 | コーソルDatabaseエンジニアのBlog
HPE、MapRの資産買収--AIやML、アナリティクスのポートフォリオ拡充へ
Using Rust for a simple hardware project | tonari blog
5～10年後はエクサ級コンピューティングをエッジに--HPCとAIの近未来
SSMセッションマネージャーのセッションログの出力先は用途によって使い分けよう | DevelopersIO
The Pros and Cons of Running Apache Spark on Kubernetes - Spot.io
Kubernetes, Kafka Event Sourcing Architecture Patterns, and Use Case Examples - DZone
【海外ITトピックス】 MapRがHPEに技術資産を売却 再編続くビッグデータ技術ベンダー
「周庭こそ、真のムーランだ！」彼女の勇気を称え、ネット上に称賛の声