Apache NiFi
An easy to use, powerful, and reliable system to process and distribute data. Features Apache NiFi supports powerful and scalable directed graphs of data routing, transformation, and system mediation logic. Apache NiFi includes the following capabilities: Browser-based user interface Seamless experience for design, control, feedback, and monitoring Data provenance tracking Complete lineage of info
最近データフローオーケストレーションツールであるApache NiFiが面白いため、実際どういうものなのか、の概要をまとめてみます。 一言で言うと、データフローオーケストレーションツール、となります。 元々は米国家安全保障局（NSA）が開発していた「Niagrafiles」というプロダクトで、2014年11月にオープンソースとして寄贈されました。 下記の画像のように、画面上でストリーム処理を行うデータフローを定義し、動作させることが出来ます。 参照：https://nifi.apache.org/ 2015年7月にApacheのTopレベルプロジェクトになり、開発が進められています。 また、2015年8月下旬には、NiFiを手がける企業Onyaraが、Hortonworksによって買収され、HortonWorksからNiFiの独自ディストリビューションである「HortonWorks Dat
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米国家安全保障局（NSA）は2014年11月、データフローオーケストレーションソフトウェアである「Niagrafiles」（NiFi）をオープンソースとして提供した。 NSAらしからぬその行動をいぶかしむ者もいたが、公正を期して言えば、NSAがオープンソースコミュニティにテクノロジを寄贈するのはこれが初めてのことではない。その3年前にも、データベース「Accumulo」をApacheに寄贈している。 また、米国時間2015年8月下旬には、NSAのプロジェクトから生まれたApache NiFiを手がける企業Onyaraが、Hadoop関連企業として有名なHortonworksによって買収されたことで、この技術は再び脚光を浴びた。 データフ
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
Yahoo! Pipesの代替を探していた人に朗報です。Yahoo! Pipesのようなデータフロー管理システム「Apache nifi」が登場しました。 Apache nifiとはデータフロー管理システムというと難しいですが、「データを取ってきて形式変換・フィルタして出力する」ということを「Webベースで」できるというものなのでYahoo! Pipesに近しいものになります。 ライセンスはApache License 2です。オープンソースソフトウェアなのでサーバにセットアップする必要があります。発音はニーフィーのようですが、動画を聞く限り「ナイファイ」と発音しているように聞こえます。ASFのトップレベルプロジェクトに名前から分かるようにApache Software Foundationの開発で進められています。昨日トップレベルプロジェクトに昇格しました。 前身は米国家安全保障局（NS
データの流れを制御するツール『Apache Nifi』をCentOS 7にインストールする | 俺的備忘録 〜なんかいろいろ〜
データの流れを制御するためのツール『Apache Nifi』というものがあって、前々から興味を持っていたのでインストールをしてみることにした。 データフローを制御するってなんじゃいと最初思ったのだが、データ(ログとかセンサーのデータ)をApacheNifiに投げてやることで、Nifi側でこのログはこっちのシステム、あのログはあっち、このセンサーデータはそっちというようにデータの連携先を定義してやることができるらしい。ろ過装置のように流れているデータを少し加工して連携先に投げることもできるようで、まさにデータフローを制御することができるシステムのようだ。 その他『Apache Nifi』についての情報は、いろいろなとこに情報が記載されているので、そちらを参考にしてもらいたい。 データフローオーケストレーションツールApache NiFiとは？ - Qiita Apache NiFiのそもそも
はじめに 皆さん、こんにちは。 この記事はドワンゴ Advent Calendar 2015の13日目の記事です。 注目される可能性も高い機会ですので、Apache NiFiを紹介させていただきます。 日本だと扱っている方が（おそらく）少ない関係上、日本語情報も乏しく、ほぼ全て英語情報というのは寂しい状況ですので。 ですので、もし見て興味がある方が増えればいいなぁと。そんなわけで、お付き合いください。 Apache NiFiとは？ Apache NiFiとは、一言で言うとGUIからフローが定義可能なデータフロー構築ツールです。 下記のようなデータフロー1をGUIから定義し、稼働させることが出来ます。 ローカルファイルをHDFSに投入 HTTPリクエストを待ちうけ、結果をファイルに出力 Syslogを待ちうけ、結果をデータベースに投入 Twitterからツイートを取得し、Kafkaのようなメ
Apache NiFi
An easy to use, powerful, and reliable system to process and distribute data. Features Apache NiFi supports powerful and scalable directed graphs of data routing, transformation, and system mediation logic. Apache NiFi includes the following capabilities: Browser-based user interface Seamless experience for design, control, feedback, and monitoring Data provenance tracking Complete lineage of info
Apache NiFi: latest developments for flow management at scaleAbdelkrim Hadjidj
データフローオーケストレーションツール「Apache NiFi」開発チームは6月9日、最新版「Apache NiFi 1.3.0」を発表した。バグの修正が中心となり、安定性を強化している。 Apache NiFiはデータフロー向けのデータの処理と分散のためのツール。元々は米国家安全保障局（NSA）で「Niagarafiles」として開発されていたもので、2015年7月にApache Software Foundationのトップレベルプロジェクト（TLP）に昇格している。データのルーティング、変換、システム仲介ロジックで構成される拡張性のある有向グラフアーキテクチャを備えており、豊富な設定、拡張性、SSL/SSH/HTTPのサポートをはじめ、コンテンツ暗号化などの安全性などの特徴を持つ。操作や管理はWebベースのユーザーインターフェイスで行える。 Apache NiFi 1.3は、5月に公
この記事はなに？ Apache NiFiは，システム間のデータフローを管理するために作られたデータフローオーケストレーションツールです． GUI（Web画面）によって，データフローの設定，制御，監視ができることが大きな特徴です． Project page: https://nifi.apache.org/index.html Github: https://github.com/apache/nifi 現在，NiFiを使うプロジェクトにアサインされ，調査をしており，調べたことを少しづつメモしておこうと思います． 環境 Mac OS X 10.11.6 Apache NiFi 1.4.0 Java version 1.8.0_92 NiFiのインストール 上記instructionに従い，Homebrewを使ってインストールする． $ nifi status NiFi home: /usr/
Big Data Day LA 2016/ Big Data Track - Building scalable enterprise data flows and IoT apps using Apache NiFi - Dhruv Kumar, Senior Solutions Architect - Hortonworks
Connecting enterprise systems has always been a tough task. Modern IoT applications have exacerbated the issue by the need to integrate legacy systems with novel high velocity data streams. Various patterns like messaging, REST, etc. have been proposed, but they necessitate rearchitecting the integration layer which is extremely arduous. In this talk we will show you how to use Apache NiFi to solv
Apache NiFi MiNiFi
A subproject of Apache NiFi to collect data from the point of origin. Features MiNiFi - a subproject of Apache NiFi - is a complementary data collection approach that supplements the core tenets of NiFi in dataflow management, focusing on the collection of data at the source of its creation. Apache NiFi MiNiFi provides the following features: Small size and low resource consumption Central managem
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーで Apache NiFi を利用したデータ連携用プラットフォームの開発運用を担当している寺田です。 本記事では、ヤフーでの Apache NiFi の活用スタイルと OSS コミュニティとの関わり方、プロダクトの最新動向を紹介します。アドベントカレンダーらしく2021年のまとめを意識して今年の動向を中心にまとめました。 ヤフーでの Apache NiFi の活用 Apache NiFi とは Apache NiFi とは、データを扱う多種多様なシステム間でデータ連携するためのデータフローをグラフィカルに作成・管理し、実行を自動化できるソフトウェアです。Apache Software Foundation (ASF) で O
Summarizes new capabilities added to Apache NiFi 1.2.0 (soon to be released). Disclaimer: - The contents in this slide deck are derived from Apache NiFi JIRA issues which is labeled with next release target 1.2.0 and source code available at Github (already merged into master branch), however it does NOT mean these are guaranteed to be released and still are subjects to change. - The motivation of
Integrating Apache NiFi with Apache Kafka Mark Payne - markap14@hotmail.com A couple of weeks ago, Joey Echeverria wrote a fantastic blog post about how to get started with Apache NiFi (Incubating), available at http://ingest.tips/2014/12/22/getting-started-with-apache-nifi/ . In it, Joey outlines how to quickly build a simple dataflow that automatically picks up any data from the /dropbox directo
一度NiFiで基本のデータフローを通すことが出来たので、そもそもNiFiは何ぞや、というのをOvewviewのページを読むことで確認してみます。 尚、全訳ではなく、流れや意味が大体わかればいい、というレベルの荒い訳になります。 下記のページのOverviewから確認しました。 参照： http://nifi.apache.org/docs.html Apache NiFiとは？ NiFiはシステム間のデータフロー自動化を行うために構築された。 データフローは様々なコンテキストで使用されるが、NiFiでは自動化され管理されたシステム間の情報やり取りフローを指す。 この問題領域はある企業でシステム間でデータの出力／入力が発生する場合には常時おこる。 解決方法は今まで継続して議論されてきており、そのながれはEnterprise Integration Patterns(EIP)にもみられる。 N
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データフローオーケストレーションツールApache NiFiとは？ - Qiita
HortonworksのCTOが語る「Apache NiFi」--IoT分野で重視される理由
Apache、データフローオーケストレーションツール「Apache NiFi 1.0.0」をリリース
Yahoo! Pipesクローンのような「Apache nifi」が登場
Apache NiFiでデータフローをGUIから定義 - Qiita
Apache NiFi 1.0 in Nutshell
データフロー管理「Apache NiFi 1.3」リリース | OSDN Magazine
Apache NiFiについて調べてみた - Qiita
Apache NiFi 2021年の最新動向とヤフーでの活用スタイル
What will be new in Apache NiFi 1.2.0
Integrating Apache NiFi with Kafka
Apache NiFiのそもそものコンセプトは？ - Qiita