ヤフー社内のデータ連携を爆速で構築する方法 #ApacheNiFi
Yahoo! JAPAN Advent Calendar 2019の24日目の記事です。一覧はこちら（外部リンク） こんにちは。寺田晃太朗 (@kotarotrd) です。 2018年4月に新卒でヤフーに入社し、データエンジニアとして働いています。 2019年10月に Apache NiFi Committer になりました。 私は昨年のAdvent Calendarで、注目するデータソリューション技術として「量子アニーリングがチョットワカルようになる記事」を書きました。 今年のAdvent Calendarの記事では、例えばそんなデータサイエンスを最大限に活用するために、データプラットフォームとしてデータ連携をどのように効率化できるかというテーマについて記事を書きます。 この記事では、Yahoo! JAPANのデータフロープラットフォームの役割とどのように活用されているかをご紹介します。
Apache NiFi + Tensorflow + Hadoop：�Big Data AI サンドイッチの作り方
Data at Scales and the Values of Starting Small with Apache NiFi & MiNiFi
HDFハンズオン 0: NiFi, Kafka, Stormを組み合わせて利用する
本チュートリアルではHortonworks DataFlow(HDF)で利用可能なOSSプロダクトを少しずつ触りながら、HDFを利用するとどんなシステムが構築できるのかを学習していきます。 0-1: Hortonworks DataFlow (HDF)とは Hortonworks DataFlow (HDF)とは、高速なストリーミング分析を容易に実現し、データ収集、キュレーション、分析、デリバリをリアルタイムで、オンプレミスでもクラウドでも実行可能な、Apache NiFi、Kafka、Stormが統合されたソリューションです。 0-2: Ambariをさわってみよう 0-2-1: Ambariにログイン 早速手を動かしながらチュートリアルを進めていきましょう。まずはAmbariにログインします。 本ハンズオンではシングルノードのHDFクラスタを使用します。1台のサーバ上でAmbari S
Integrating Apache NiFi with AWS S3 and SQS - Cloudera Community
Introduction Hortonworks Dataflow (HDF) powered by Apache NiFi, kafka and Storm, collects, curates, analyzes and delivers real-time data from the IoAT to data stores both on-premises and in the cloud. Apache NiFi automates and manages the flow of information between systems. NiFi data flows are made of series of processors each with specific task. NiFi provides hundreds of general purpose processo
Apache NiFiのそもそものコンセプトは？ - Qiita
一度NiFiで基本のデータフローを通すことが出来たので、そもそもNiFiは何ぞや、というのをOvewviewのページを読むことで確認してみます。 尚、全訳ではなく、流れや意味が大体わかればいい、というレベルの荒い訳になります。 下記のページのOverviewから確認しました。 参照： http://nifi.apache.org/docs.html Apache NiFiとは？ NiFiはシステム間のデータフロー自動化を行うために構築された。 データフローは様々なコンテキストで使用されるが、NiFiでは自動化され管理されたシステム間の情報やり取りフローを指す。 この問題領域はある企業でシステム間でデータの出力／入力が発生する場合には常時おこる。 解決方法は今まで継続して議論されてきており、そのながれはEnterprise Integration Patterns(EIP)にもみられる。 N
Apache NiFiでSQLを投げてみる - Qiita
Apache NiFiでRDBにSQLを投げて、結果をテキスト出力してみました。 インストール 本番サイトから、tar.gzかzipファイルをダウンロードして解凍します。 起動 binディレクトリ内のシェルを実行します。 Macな人の例 $ nifi-0.4.1/bin/nifi.sh start 詳しくは他の方が書かれているこのページが参考になります。 データフローオーケストレーションツールApache NiFiとは？ JDBCコネクションを設定 画面左上のController SettingsアイコンからNiFi Flow Settingsダイアログを開いて、DBCPConnecitonPoolを追加します。 Controller Settingsアイコン NiFi Flow Settingsダイアログ DBCPConnecitonPoolダイアログ DBCPConnecitonPoo
データフローオーケストレーションツールApache NiFiとは？ - Qiita
最近データフローオーケストレーションツールであるApache NiFiが面白いため、実際どういうものなのか、の概要をまとめてみます。 一言で言うと、データフローオーケストレーションツール、となります。 元々は米国家安全保障局（NSA）が開発していた「Niagrafiles」というプロダクトで、2014年11月にオープンソースとして寄贈されました。 下記の画像のように、画面上でストリーム処理を行うデータフローを定義し、動作させることが出来ます。 参照：https://nifi.apache.org/ 2015年7月にApacheのTopレベルプロジェクトになり、開発が進められています。 また、2015年8月下旬には、NiFiを手がける企業Onyaraが、Hortonworksによって買収され、HortonWorksからNiFiの独自ディストリビューションである「HortonWorks Dat
NiFi/HDF Dataflow Optimization (Part 2 of 2) - Cloudera Community
This is part 2 of the Dataflow Optimization tutorial. Part 1 can be found here: NiFi/HDF Dataflow Optimization part 1 ----------------------------------------------------------------------------------------------------------------------------------------- How do I prevent my system/processors from becoming overwhelmed?Another aspect of optimization is preventing the dataflows from overwhelming the
HDF/CFM NIFI Best practices for setting up a high performance NiFi installation.
HDF or CFM best practices guide to configuring your system and NiFi for high performance dataflows. Note: The recommendation outlined in this article are for the NiFi service and apply whether the NiFi service is being deployed/managed via Ambari, Cloudera Manager, or neither. NiFi is pre-configured to run with very minimal configuration needed out of the box. Simply edit the nifi.properties file
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
nifi-stuff/nifi-docker-compose at main · asdaraujo/nifi-stuff
Integrating Apache NiFi and Apache Kafka
Hortonworks Data in Motion Webinar Series Part 7 Apache Kafka Nifi Better Together
Integrating Apache NiFi and Apache Flink
HDF/CFM NIFI Best practices for setting up a high performance NiFi installation.