Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで
Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューをリリースしました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。 KSQLは、このKafkaに対応したSQLエンジン。これによりJavaやPythonで複雑な処理を記述しなくとも、ストリームデータを柔軟に加工できるようになります。 SQLとKSQLの違いとは？ 一般的
Apache2.4からはデフォルトでEvent MPMになってるのに気付かなかった話 - blog::wnotes.net
ちょっと間が空いてしまいましたが、久々にメモを残しておきます。 Apacheが遅い/止まると言われてしまいまして 現在進めているプロジェクトで、やや大きめのサーバ構築をしてたんですが、ちょくちょく「レスポンスが遅い/Apacheが止まる」と言われてしまい、うーんなんでだろうと色々試行錯誤していたメモ書きです。 ちなみにDBはMySQL-Cluster、サーバサイドはPHPです。 （本当はPound側とかMySQL側にもいくばくかの問題があったのですが、主な問題はここだったのでほかは省略） MPMの話だった 原因に気づいたのはパフォーマンスチューニングの最中でした。Apache Benchでもそもそ検証してたんですが、
Apache HTTPD: `Options -FollowSymLinks` は不完全 - ダメ出し Blog
シンボリックリンク攻撃を防ぐための Apache HTTPD モジュールの解説はこちら: Apache HTTPD: mod_allowfileowner https://fumiyas.github.io/apache/mod-allowfileowner.html 背景 ロリポップの共有 Web サービス下のサイト改ざん事件で、 攻撃手法の一つとして 「他ユーザー所有のファイルへのシンボリックリンクを自分のコンテンツディレクトリ下に作り、Apache HTTPD 経由でアクセスする」手順が利用されたらしい。 参考: http://blog.tokumaru.org/2013/09/symlink-attack.html 当社サービス「ロリポップ！レンタルサーバー」ユーザーサイトへの第三者による大規模攻撃について http://lolipop.jp/info/news/4149/#090
ロリポップのサイト改ざん事件に学ぶシンボリックリンク攻撃の脅威と対策
既に報道されているように、ロリポップ！レンタルサーバーに対する改ざん攻撃により、被害を受けたユーザー数は8428件にのぼるということです。ここまで影響が大きくなった原因は、報道によると、(1)「WordPressのプラグインやテーマの脆弱性を利用」し、不正なファイルがアップロードされた、(2)パーミッション設定の不備を悪用されて被害が拡大した、ということのようです。 29日夜の時点では、攻撃者の改ざん手法について「WordPressのプラグインやテーマの脆弱性を利用」し、不正なファイルがアップロードされて「wp-config.phpの」の設定情報が抜き出されたと説明していたが、30日午後7時過ぎの説明で、この脆弱性が侵入経路となって同社のパーミッション設定の不備を悪用されたことが原因だったことを明らかにした。 「ロリポップ」のWordPressサイト改ざん被害、原因はパーミッション設定不備
小悪魔女子大生ブログサイト、シマンテックの「ECC対応版SSLサーバ証明書」導入第1号に
シマンテックは2013年6月6日、新暗号アルゴリズムのECC（Elliptic Curve Cryptography：楕円曲線暗号）に対応した「ECC対応版SSLサーバ証明書」が、ディレクターズに採用されたと発表した。シマンテックは、2013年2月に商用のECC対応版SSLサーバ証明書の提供を開始したばかりで、ディレクターズの導入は世界初となる。 ECCとは、楕円曲線を用いた暗号技術。シマンテック SSL製品本部 SSLプロダクトマーケティング部 上席部長の安達徹也氏（写真1）によると、「楕円曲線上での離散対数問題を効率的に解析する手法は発見されていないため、ECCは暗号強度が強い。また、鍵が短いことも特徴で、署名によるサーバーへの負担が少なく、トラフィック集中時にはレスポンスタイムが優位だ」という。 ディレクターズがECC対応版SSLサーバ証明書を導入したのは、同社が運営する上場企業情報
『セキュリティ診断ツール「Nikto」を使ってサイトをチェックしよう』
昨今、個人情報漏洩やらサイト改ざんなどセキュリティ関連の話題を耳にしない日がないといっても言いぐらい多くなりましたが、サイト運営側にとってはその問題について特に気を使う領域になっています。 セキュリティと一言で言っても、様々な要因があってのセキュリティですので問題のないサイト作りというのは、なかなか容易なことではありません。 例えば、XSS（クロスサイト・スクリプティング）やSQLインジェクションは主にアプリ側に要因があったりしますし、アプリ側に問題がなくともミドルウェアに問題があり、サイト全体が脅威にさらされる事もあります。 今回紹介するNiktoは、そんなサイト上の様々な危険性を多角的にチェックしてくれるツールです。 Nikto （ニクトと読むらしい）は、オープンソースのセキュリティ診断ツールで、XSSなどのアプリ上に潜む問題から、ミドルウェアの設定など、多くのセキュリティ上問題となる
アプリからの情報を秘密裏にApacheのログに書き出す方法
Response Header の値を任意の環境変数にコピーして、Header から削除する patch
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
Big Sky :: 突然の死に備える Apache モジュール書いた。
サーバを運用していらっしゃる方であれば、サービスの停止は死に値します。 大事な事なのでもう一度言います。 サーバを運用していらっしゃる方であれば、サービスの停止は死に値します。 サーバ管理者は皆、突然の死に備えるべきです。 そんな過酷な場面に立ち向かうサーバ管理者の皆さんの苦労を少しでも軽減する為に、apache モジュールを書きました。 mattn/mod_suddendeath - GitHub 突然の死! https://github.com/mattn/mod_suddendeath まずコンパイルしてインストールします。 apxs -ci mod_suddendeath.c -lhttpd -lapr-1 そして apache を再起動します。 サービスが動作しているディレクトリの .htaccess に以下を書き込みます。 SetHandler suddendeath すると
Webサーバの性能を測る | IIJの技術 | インターネットイニシアティブ（IIJ）
UNIX系のOSで利用できるWebサーバの性能測定ツールといえば、Apache Benchやhttperfを思い浮かべる人が多いのではないでしょうか。これらの計測ツールは、残念ながら最近の高速なWebサーバを計測するには非力です。この記事では、高速なWebサーバにも負けないweighttpの使い方を紹介します。 weighttpとは何か weighttpは、Webサーバlighttpdの開発者が実装したWebサーバの性能測定ツールです。以下のような特徴を持ちます。 Webサーバのスループット（リクエスト毎秒）を測定できる ネイティブスレッドを複数起動し測定性能を向上できる libevを利用することで、モダンなポール・システムコールを利用する Apache Benchによく似たコマンドラインオプションを持つ 2.は Apache Benchやhttperfにはない機能です。ここが決定的に異な
ApacheがGoogleのリアルタイムビッグデータツールDremelのオープンソースクローンDrillを
When Alex Ewing was a kid growing up in Purcell, Oklahoma, he knew how close he was to home based on which billboards he could see out the car window.…
make-ssl-cert でSSL証明書を一発作成 | プラスター業務日記
Ubuntu でSSL証明書を作成ではかなりの手順を踏んでSSL証明書を作成しまいたが、煩わしい作業一切無いでSSL証明書を作ってくれる便利な make-ssl-cert コマンドが用意されています。 通常の作業の流れ 認証局(CA)作成 サーバ秘密鍵の作成 証明書署名要求(CSR)の作成 認証局(CA)による署名 ホスト名を入力して を押すとSSL証明書が発行されます。 SSL証明書の確認 SSL証明書の中を確認すると証明書と秘密鍵が同梱されています。 少なくとも公開サーバで使用できるSSL証明書ではありません。 $ sudo openssl x509 -in ssl-cert-plustar.pem -text Certificate: Data: Version: 1 (0x0) Serial Number: 92:26:78:2a:ba:e6:e4:d9 Signature A
Webサーバ勉強会#5に参加してきましたよ - What I’ve found has never been enough@Hatena
@oranieさん主催の Webサーバ勉強会#5に参加してきましたよ。聴くだけの人は参加NG、参加者は Apache2.4 か Varnish か Fluentd の話をするべし、というルールなので、自分も発表してきました。得意なSSLまわりの話で。とりあえずここにスライド貼っておきますね: Apache 2.4 新機能 “SSL編” View more PowerPoint from nappa_zzz (いただいた質問も含めてもういちどちゃんとまとめようと思います。そのうち。) 今回参加してみて、ほんとうに……なんというか……参加者のみなさまが、眩しかったです。なんというか「大規模Webサイトやってるぜ」感が。発表の内容そのものよりも、その空気を吸収できたのが今回いちばんの収穫だったと思います。主催者のoranieさん、参加者のみなさん、ありがとうございました。またチャンスがあれば参加
大量の接続がやってきた!ヤァ!ヤァ!ヤァ! - 元RX-7乗りの適当な日々
※ 以下、フィクションです。 はじめに： こんなサーバ(↓dstat) (裏バッチによりiowaitとLAが高いのは一時的な仕様とする) 気付けばログに・・・ Mar 29 18:08:02 hostname kernel: printk: 48843 messages suppressed. Mar 29 18:08:02 hostname kernel: TCP: time wait bucket table overflow Mar 29 18:08:07 hostname kernel: printk: 54962 messages suppressed. Mar 29 18:08:07 hostname kernel: TCP: time wait bucket table overflow Mar 29 18:08:12 hostname kernel: printk: 648
TRACEメソッドって怖いんです - カイワレの大冒険 Third
※2013/01/24 add: 徳丸先生の書かれた実はそんなに怖くないTRACEメソッド | 徳丸浩の日記を先に見ておくをオススメします。深く追求できていないまま記事にしてしまい申し訳ありません。 タイトルの通りです。HTTPのメソッドには、よく使うものとしてGETやPOSTというものがありますが、TRACEメソッドというものがありまして、これを有効にしておくと危ないよという話しです。 TRACEメソッドについて 百聞は一見にしかず、どんな挙動をするか見ていきましょう。 $ telnet example.org 80 Trying example.org... Connected to example.org. Escape character is '\^]'. TRACE / HTTP/1.1 #ここと HOST: example.org #ここを手で入力して、エンターキー二回このよ
Apacheのデフォルトconfigを見る時に効率を上げる。 - oranie's blog
id:akuwanoさんが http://d.hatena.ne.jp/akuwano/20120221#1329791289 でブクマを稼いで悔しいので、僕もなんとか無い知恵ひねり出してみて とりあえず今更感満載なコマンドを書いてみる。 基本的に運用するconfigをデフォルト状態から追記するというのは うちのメンバーにはやらないようにお願いしているんですが、 そうは言っても他の会社さんが設定したサーバとかを見る機会もあって、 そういう時にデフォルトのconfigをそのまま追記して使っている状態があるんですよね。 で、そういう時ってコメント行が一杯あるので、見づらい訳ですよ。 そういう時は以下のコマンドを使って見ています。 egrep -v ^\#\|^$ /etc/httpd/conf/httpd.confこうすると、先頭行に#でコメントアウトしている行と空白行は取り除かれるので楽です
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
共用サーバにおけるSymlink Attacksによる攻撃とその対策について - さくらインターネット創業日記
http://onlineconsultant.jp/pukiwiki/?Apache%20%E5%85%A8I%2FO%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E3%83%AD%E3%82%B0%E3%81%99%E3%82%8B
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ
GitHub - fuchcz/apache-autoindex-theme: Theme for Apache directory & file listings.
