Apache Kafka & Google Cloud Pub/Sub 主要機能の比較
執筆者: 秋葉原ラボ sitotkfm&rshtykh はじめに 秋葉原ラボでは大規模データ処理基盤の研究・開発・運用を行っており、データの転送や解析システムのHubとしてPubsubシステムの重要性が高まっている。 Pubsubメッセージングモデルは、非同期メッセージングパラダイムの一種であり、メッセージの送信者（出版側）が特定の受信者（購読側）を想定せずにメッセージを送るようプログラムされたものである（wikipedia）。Pubsubモデルを用いることでシステムアーキテクチャにおいてコンポーネント同士を疎結合にし、高スケーラビリティを実現するメッセージングパターンである。このモデルに基づいたソリューションは既に複数存在するが、今回は特に注目されているApache KafkaやGoogle Cloud Pub/Subを紹介し、システム面で重要と思われる機能を比較する。 Kafkaは、
分散ストリーム処理エンジンあれこれ - Qiita
分散ストリーム処理エンジンの群雄割拠の時代 ストリーム処理を実現する分散プラットフォームが、大分増えました。 何が良いか／悪いかは、プラットフォームに求める内容や、関連するエコシステムにも影響するため、一概には言えないですが、Apacheで提供されているOSSとして、情報をまとめたものがあったので、ポイントをまとめたいと思います。 AN OVERVIEW OF APACHE STREAMING TECHNOLOGIES https://databaseline.wordpress.com/2016/03/12/an-overview-of-apache-streaming-technologies/ 特長 ストリーム処理といっても、位置づけが異なるものも一緒くたに書かれているので、位置づけを分類しながら、特長を整理してみます。 データ収集系 ログやイベントを収集するようなタイプ。 Flum
An Overview of Apache Streaming Technologies | Databaseline
There are many technologies for streaming data: simple event processors, stream processors, and complex event processors. Even within the open-source community there is a bewildering amount of options with sometimes few major differences that are not well documented or easy to find. That’s why I’ve decided to create an overview of Apache streaming technologies, including Flume , NiFi , Apex , Spa
Apache Kafka について | ギャップロ
Kafka と ZooKeeper ZooKeeper の詳細 ZooKeeper は、分散アプリケーションのためのオープンソースの分散コーディネーションサービスです。ZooKeeper は Java で動作し、Java と C のためのバインディングが用意されています。 クラスタ (マルチサーバー) セットアップ ZooKeeper は奇数単位でアンサンブルと呼ぶクラスタを組みます。アンサンブルの過半数が動作している必要があるので、奇数台のマシンを使うのがベストです。たとえば 4 台のマシンを使う場合、ZooKeeper が対応できるのはマシン 1 台の障害までです。2 台のマシンに障害が発生すると、残りの 2 台では過半数にならないためです。5 台のマシンを使えば、ZooKeeper はマシン 2 台までの障害に対応できます。 その中の 1 台がリーダー選挙を通して全ての書き込みを調停
Apache Kafkaに入門した
Apache kafka 最近仕事でApache Kafkaの導入を進めている．Kafkaとは何か? どこで使われているのか? どのような理由で作られたのか? どのように動作するのか（特にメッセージの読み出しについて）? を簡単にまとめておく（メッセージングはまだまだ勉強中なのでおかしなところがあればツッコミをいただければ幸いです）． バージョンは 0.8.2 を対象に書いている． Apache Kafkaとは? 2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムである．Kafkaはウェブサービスなどから発せられる大容量のデータ（e.g., ログやイベント）を高スループット/低レイテンシに収集/配信することを目的に開発されている．公式のトップページに掲載されているセールスポイントは以下の4つ． Fast とにかく大量のメッセージを扱うことができる Scal
Running RStudio Workbench / RStudio Server Pro with a Proxy – RStudio Support
Overview If you are running RStudio Workbench (previously RStudio Server Pro) behind a proxy server, you need be sure to configure the proxy server so that it correctly handles all traffic to and from RStudio Workbench. Beyond the normal reverse proxy configuration you'd apply for any HTTP server application, you also need to to ensure that websockets are forwarded correctly between the proxy serv
ローカル環境（XAMPP）でサブドメインを使用 | Web Design Leaves
XAMPP でサブドメインを使用する方法のメモ。 C:\xampp\apache\conf\extra\httpd-vhosts.conf を開き、「##NameVirtualHost *:80」 の前についている#を外す。 最初の<VirtualHost>ブロックとして、従来の localhost を追加。1番目の VirtualHost セクションがデフォルトになる。（説明と書き方の見本がコメントアウトされて載っている） <VirtualHost *:80> DocumentRoot "C:/xampp/htdocs" ServerName localhost </VirtualHost> C:\xampp\htdocs\xxxx を http://xxxx.localhost/ というサブドメインとする場合は、以下を追加して上書き保存。htdocs 以下に置く場合は、<Directo
AWSにApache+PHP+MySQLとphpMyAdmin,vsftpdを導入する手順 ｜https://wp.yat-net.com/name
インスタンスが立ち上がったらSSHでサーバーにログインし、パッケージをインストールしていきます。SSHでログインするにはMacなら標準で搭載のターミナル、WindowsならTeraTermのようなフリーソフトを利用します。 まずはサーバーへ接続しましょう ssh -i （鍵のパス) ec2-user@(Public DNS) 鍵のパスは、KeyPairsを作成した際に保存した***.pemというファイルです。それが保存されている場所を指定します。 ec2-userはユーザーIDで、AWSにてSSH接続する際は大体このIDで接続します。 Public DNSはインスタンスを立ち上げた際に割り当てられる言わばURLに当たります。 もし接続した際に下記のようなエラーが出た場合は鍵のパーミッションを変更しないと行けません。 chmod 600 (鍵のパス) 接続できたらsuを利用してroot権限に
超簡単 Mac OS XのローカルでCGI (SSIもPHPも)
全世界に公開するにしても同じように設定しますが、たぶんローカルテストのために使いたい人が大多数じゃないでしょうか。というわけで「ローカル」です。 OS Xの基礎はUNIXです。Web共有のためのサーバはApacheですし、PerlもUNIX用のものが標準で入っています。テスト環境としては理想的ですね。 そして、なんと、特に設定を変えずとも最初から CGIが使えるんですよ。ほんのちょっと、UNIX的なコマンドラインの操作も必要ですが。 (OS 9までの方法は別ページで) Perlのパスを合わせる 改行コードはLF /Library/WebServer/CGI-Executables/ にCGIファイルを置く パーミッションを設定 Web共有を起動 ブラウザから呼び出して実行 さらに 設置サーバとPerlのパスを同じにする ユーザのSitesディレクトリ内で実行 (SSIも) .htacces
Mac OS X Darwin Tips
※Macintosh OSX正式版DarwinのTipsページです。ここに書いてある情報はオウンリスクでお願いします。このページの情報をもとに損害を被っても、いっさい補償されません。 また、既にこの文章自体が古く、リンク切れも多数あります。 [このページの改定日： 08/05/12 11:44 ] あなたはここへ来た、 228403 番目の人です。（2001/4/21から） ・NAMAZUなど全文検索ソフトに関しては「マニュアルに書いてない掲示板」でお願いします。 ・UNIXの基礎知識などは、下のリンクを参照してください。 ・僕の目的はCGIのテストをローカルサーバ（手元のマシン）で行いたい、ということです。そのための環境をOSXで作ろうというわけです。自宅サーバを立ててそれを公開したいという向きには、別のノウハウが必要でしょうからこのページは役に立たないでしょう。 ・以下の情報
XAMPP - 開発環境一括インストール - phpspot
Apache HTTPD 2.0.52 MySQL 4.1.8 PHP 5.0.3 + 4.3.10 + PEAR + Switch MiniPerl 5.8.3 mod_ssl 2.0.51 Openssl 0.9.7e PHPMyAdmin 2.6.0 pl3, Webalizer 2.01-10 Mercury Mail Transport System fur Win32 und NetWare Systems v4.01a FileZilla FTP Server 0.9.4d SQLite 2.8.15 ADODB 4.52 Zend Optimizer 2.5.7 XAMPP Security ※青字はPHP開発に関わってくるものです XAMPPはApacheFriendsによって開発＆提供されています。 (MacOS/Linux/Solarisにも対応していますが、当サイト
自宅サーバーで行こう - Windows XP & ADSL編
０円で自宅にインターネットサーバーを作ろう！フリーソフトとWindows XPとADSL常時接続回線で作る高機能サーバーのノウハウ全公開！ADSL回線とWindowsパソコンで自宅サーバーを作る方法を解説しています。 全部フリーソフトを使い、０円で作る欲張りインターネットサーバーのノウハウ全公開！ 家のパソコンをサーバー化すれば、ウェブやメールの拠点を自宅に持てて超便利、方法は簡単！レッツ、自宅（マイ）サーバー！ Yahoo Japan に掲載されました。 サイト全体で１日あたり10,000PV、いただいております。 長らく更新できませんでしたが、またページ制作を再開しようと思います。とうとうレンタルサーバー会社まで作ってしまい、相変わらず忙しいのですが…。（2006/08/22） 現在メールによる質問への対応は行なっていません。 あまりにたくさんメールが来るのと、文
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An introduction to Apache Hadoop for big data
IBM SPSS Modeler - ODBC Configuration Best Practices and Troubleshooting
いぬごやねっと