Apache Flink とは？ - Qiita
「Apache Flink」は、分散ストリーム処理プラットフォームのひとつのOSSです。 同類のモノとしては、「Apache Storm」や「Apache Spark Streaming」などがあります（同じApacheで、さすがに同類のモノを出し過ぎだろう、と私も思っています）。 他のプラットフォームとして異なる特長は、以下になります。 高パフォーマンス＆低レイテンシ（真のストリーム処理が可能） 耐障害性に優れる（自動でイベント処理継続） ストリーム処理、バッチ処理の両方をサポートし、高レベルのAPIが提供されるAll-in-One構成 Flink Stack Flinkの全体像です。 ストリーム処理だけでなく、バッチ処理も可能であり、CEP（複合イベント処理）やML（機械学習）、SQLライクなAPIも提供しています。 この辺りは、Sparkと似ていますね。ただ、Sparkはバッチ処理か
Apache Beam Capability Matrix
Beam Capability MatrixApache Beam provides a portable API layer for building sophisticated data-parallel processing pipelines that may be executed across a diversity of execution engines, or runners. The core concepts of this layer are based upon the Beam Model (formerly referred to as the Dataflow Model), and implemented to varying degrees in each Beam runner. To help clarify the capabilities of
Apache Beam (Dataflow) 実践入門【Python】 - Qiita
はじめに この記事は、Apache Beam Documentation の内容をベースとしています。 Apache Beam Python SDK でバッチ処理が可能なプログラムを実装し、Cloud Dataflow で実行する手順や方法をまとめています。また、Apache Beam の基本概念、テストや設計などについても少し触れています。 Apache Beam SDK 入門 Apache Beam SDK は、Java, Python, Go の中から選択することができ、以下のような分散処理の仕組みを単純化する機能を提供しています。 Pipeline：処理タスク全体（パイプライン）をカプセル化します。処理タスクには、入力データの読み取り、変換処理、および出力データの書き込み等が含まれます。 PCollection：分散処理対象のデータセットを表すオブジェクトです。通常は、外部のデータ
ApacheでOCSP Staplingを有効にしてみた
Apache では設定を二行加えるだけで OCSP Stapling を有効にできた。 OCSP stapling を有効にする Apache の設定 OCSP stapling が有効か確認 HTTPS によるアクセスでは、通信を暗号化するためにサイトの証明書が必要です。 この証明書には有効期間が有りますが、有効期間内であっても証明書が失効している可能性が有ります。そのため証明書が失効していないか確認する必要が有ります。 証明書が有効か確認するには、CRL と OCSP という二種類が有ります(注1)。この二種類の方法の内、現在はレスポンスのが速いという利点(注2)から主に OCSP が使用されています。 ただし OCSP にも次のような問題点が有ります(注3)。 OCSP 応答が得られない場合にサーバ証明書の失効検証を正しく行わないまま SSL 通信を許可してしまう可能性がある。 OC
SSL/TLSについてまとめ2018 - Qiita
はじめに SSL/TLSについて改めて理解を深めたい思い、関連する技術についてまとめました。 本記事はTLSに関すること主題として、HTTPS、暗号化、Apache、OpenSSL等について記載しています。 SSL/TLSの通信は色々なプロトコルや暗号化方式が組み合わされ補いあってできています。暗号化の仕組みはパズルのようで面白いです。一つ一つを読み取り理解が深まるごとで、SSL/TLSって本当によくできると思いました。フレームワークの意味について考えさられます。 HTTPSの通信 HTTPSの通信はTCP/IPプロトコルスイートとして、TCPの上層にSSL/TLSがあり、アプリケーションプロトコルのHTTPプロトコルが載って通信をしています。 コネクションとセッションは通信の概念として別になります。TCPでクライアントからWebサーバに対してコネクション(経路)が確立され、その上でセッシ
ApacheのTLS設定を2020年向けに更新する｜TechRacho by BPS株式会社
BPSの福岡拠点として一緒にお仕事をさせていただいています、株式会社ウイングドアのモリヤマです。 今回のテーマはTLS対応（触れるのはHTTPS化の設定に関するお話）です！ ネットワーク/インフラエンジニアの方々の領域に、ちょっとだけ学習の手を伸ばしてみました。 本記事はTLSへの理解度が下記の様な方々が対象です❗️ とりあえず通信を暗号化するやつって事は知ってる SSL/TLS対応は行った事あるが、詳しく考えたことがない セキュリティ関連にちょっとでも強くなりたい意志のある方 背景 ずいぶん前にAmazonLinux2で構築したサーバー(趣味関連ブログ用)がふと気になり、 SSL/TLSの設定ってデフォルトのままいじってないなーどうなってんだろう🤔 そして軽い気持ちでQualys SSL Labs SSL Server Test で脆弱性スキャンしたのがきっかけでした。 結果は『B』所
サーバーのSSL/TLS設定のツボ - Internet Week 2014 セッションS14
Internet Week 2014 セッションS14 サーバーのSSL/TLS設定のツボ (配布資料) 2014年11月20日(木) 13:45-14:15 於：富士ソフトアキバプラザ 漆嶌 賢二 本文中の登録商標および商標はそれぞれの所有者に帰属します。 富士ゼロックス株式会社 SkyDeskサービスセンター 漆嶌賢二 © 2014 Fuji Xerox Co., Ltd. All rights reserved. © 2014 Fuji Xerox Co., Ltd. All rights reserved. 1 時期 問題・事件 対策 2005.11 OpenSSL SSLv2バージョンロールバック アップデート 2009.01 RapidSSL MD5衝突偽造中間CA アップデートやPinning 2009.07 NULL終端による証明書ホスト名一致不備 アップデートやPinni
Apache httpd で接続を許すSSL/TLSのバージョンを制限する方法 |
WEBサービスを提供する側としては、できるだけ安全なサービスを提供したいですので、脆弱性が発見されている SSL や TLS 1.0, 1.1 でのサービスは極力避けたいところです。 しかし TLS 1.2 だけの接続を許可すると、今度は古いブラウザがアクセスできなくなってしまいますから、ご自身が提供しているサービスへの利用者が、どのような割合で古いブラウザを利用しているかを調査した上で TLS プロトコルのバージョンを制限することが望ましいでしょう。 Apache httpd での SSL/TLS バージョンの制限方法 それでは本題の Apache httpd で SSL/TLS のバージョンを制限する方法について解説します。 Apache httpd での SSL/TLS のバージョン指定は SSLProtocol ディレクティブで行います。 SSL/TLSの全てのバージョンの接続を許
Apacheセキュリティ設定 - Qiita
概要 Apache の設定について共通化できるセキュリティ設定とその各項目についてまとめた。 設定例 必須設定 cat << _EOF_ > /etc/httpd/conf.d/security.conf # バージョン情報の隠蔽 ServerTokens Prod Header unset "X-Powered-By" # httpoxy 対策 RequestHeader unset Proxy # クリックジャッキング対策 Header append X-Frame-Options SAMEORIGIN # XSS対策 Header set X-XSS-Protection "1; mode=block" Header set X-Content-Type-Options nosniff # XST対策 TraceEnable Off <Directory /var/www/html>
A.63 MaxKeepAliveRequests
名前 MaxKeepAliveRequests 形式 MaxKeepAliveRequests リクエスト数 機能概要 Keep-Alive接続が有効である（KeepAliveディレクティブが“On”と設定されている）場合、1つの接続ごとに許可されたリクエスト数(数値)を制限します。リクエスト数には、0から2147483647までを指定できます。リクエスト数に“0”を指定した場合、無制限のリクエストが許可されます。 なお、サーバの機能を最大にする場合には、“0”を設定することを推奨します。“1”以上の値を指定した場合は、指定したリクエスト数に1を加算した数のリクエストを処理したあと、コネクションを切断します。 指定位置 グローバルコンテキスト 省略値 100 初期値
Apacheチューニング · GitHub
忙しいサイトなら1-5は全て同じ値に設定してしまいましょう どうせ忙しいサイトならMaxClientには達するんだと思います。であれば、変にメモリをケチらずに最初からMaxClientまで子プロセスを起動してしまったほうがレスポンスが良いです 急激なトラフィック増の際に多くの子プロセスが一気に起動することでシステムのロードがスパイクし、レスポンスを返せなくなることがあるからです mod_wsgiとかmod_perlとか読み込んでいる場合は特に子プロセス起動時のオーバーヘッドは馬鹿にできません かといって、MaxRequestsPerChildを"0"にして子プロセスを殺さないようにするのはやめたほうが良いです。子プロセスのメモリ使用量が肥大化し、システムでスワップが発生する可能性があります。 MaxClient数の算出方法 サーバの物理メモリを消費し尽くしてスワップさせないことが重要です
AWS ELB+HTTPS+ApacheでWordPressを運用する勘所 | システムガーディアン株式会社
タグ 保湿CentOS7linux 入門VagrantVirtualBoxAnsibleLarabelClamAVRTX1210atomSWX2200RTX1100MySQLPlesk12おりょりょんNFSPostfixゆるいハッキング大会windows10SSHFSGitWindows AzureVisual Studio 2017RabbitMQMVCAsteriskベンチマークBINDDrupalH2OMastodonGeoIPApacheAWS S3AWS CLIFuelPHPVuls基板修理ゆるいハッキングYAMAHA RTXCybozu Office10ALBELBロードバランサsshバックアップ負荷分散AWS EBSRDPDNSElasticsearchLogstashKibanaLaravelKubernetes仕事猫現場猫SWX2300RTX1200AWS EFSPerc
PythonのBottleを初めて触ってから３０分で本番環境にデプロイ - Qiita
開発環境 OS：CentOS release 6.8 Apache：2.2.15 (Unix) Python 3.5.2 mod_wsgi 4.5.6 環境構築（１０分） ここからはサーバー上で作業していきます。 はじめに、CentOSで必要なパッケージをインストールします。 $ sudo yum groupinstall "development tools" $ sudo yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel $ sudo yum install httpd-devel python-devel $ sudo su # rootで操作していきます $ cd /usr/local/src $ wget https://www.p
Let’s encryptでUbuntu 16.04のApacheをhttps化するには - hrendoh's tech memo
Let’s encryptとは 無料で使えるSSL認証局で、Internet Security Research Group (ISRG)という団体が提供しています。 ISRGには、Current Sponsors – Let’s Encrypt – Free SSL/TLS Certificatesを見ると、しっかりスポンサーがついているので安心して使えそうです。 SAKURA Internetなど日本の企業もスポンサーも居ます。 証明書の発行とセットアップは、公式に提供されている Certbot コマンドで行います。 証明書の期限は90日で、エージェントが自動更新を行ってくれます。 ということは、AWSのELBのように、Let’s encrypt非対応のミドルウェアを利用している場合は、更新の仕組みを自分で用意する必要があります。 また、さくらのレンタルサーバなどLet’s encry
StormとKafkaによるリアルタイムデータ処理
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、鈴木カズです。 社内向けの監視システム構築のため、StormやKafkaを利用して開発を行っていました。 そのときの経験をもとに、まずStormによる実際のシステムがどんなものかということを紹介し、KafkaSpoutの処理内容、カスタマイズ方法、Stormのメッセージ処理などを説明したいと思います。 読者としては、StormやKafkaについて興味があり記事を読んだりしたことがあるがもう少し具体的な話を知りたい方、これから開発予定があるような方を想定しています。 StormとKafka Stormは簡単に言うと、リアルタイムに流れてくる大量のデータを処理するための分散システムです。Twitterのメッセージの分析など
ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio
ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、 私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。 以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。 テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたい ログ収集ツールFluentdを使ってリアルタイム集計などを行いたい 落とし穴 その１「request_first_line」 一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PayPalは、次世代のデータ移動プラットフォームとしてApache AirflowとApache Gobblinを標準化
CentOS7のApacheのインストール・アップデート設定 - CentOSinstall.com
オープンソース全文検索サーバー Fess
中規模サイトのApacheチューニング - Qiita
