https://developer.hatenastaff.com/entry/2019/01/15/120431
LTSVログをパースする最強のワンライナー集 · DQNEO日記
最初に結論 これ最強 cat accesslog | perl -F'\t' -nale '%h=map{split/:/,$_,2}@F;print"$h{time}\t$h{ua}"' なぜPerlワンライナーなのか？ LTSVログを解析するには、Perlのワンライナーに限る。 なぜならPerlはほとんどのサーバにデフォルトで入ってるから。 Perl 5.8で動くワンライナーを覚えておけばどの環境でも使える。 「何にも依存しない」 これ最強。 基本中のキホン まずは基本形です。 これだけは絶対覚えてしまいましょう。 perl -nale 'print' % cat access_log | perl -nale 'print ' time:[22/Feb/2014:15:13:07 +0900] host:10.10.200.102 ident:- user:- method:GET
CentOS7で/etc/init.d/iptables saveする - Qiita
$ sudo yum install iptables-services $ sudo /usr/libexec/iptables/iptables.init save 経緯 Amazon Linux 2を使うとiptablesは入っているけど/etc/init.d/iptablesがなくて/etc/init.d/iptables saveができなかった。というか/etc/init.d以下にほとんどスクリプトがない。 で、/etc/init.d/READMEってファイルがあったので見てみたらsystemctl使え（意訳）って書いてある。systemctlでiptablesを使うにはiptables-servicesをインストールする必要があるっぽい。インストールする。 しかしsystemctlにはsaveなんてコマンドはない。 systemdのサービス化したとはいえ、どうせ/etc/ini
ssl_access_logのフォーマット変更 | technote
Apacheにおいて表題の通り。今までSSLなんてほとんどやってこなかったので、、ちょっと触ってみたのでメモ。 ■ 環境 Apache 2.4.25 AmazonLinux ■ mod_ssl 下記のversionが入っている。 $ rpm -qa | grep mod : mod24_ssl-2.4.25-1.68.amzn1.x86_64 : $ yum info mod24_ssl Loaded plugins: priorities, update-motd, upgrade-helper 981 packages excluded due to repository priority protections Installed Packages Name : mod24_ssl Arch : x86_64 Epoch : 1 Version : 2.4.25 Release :
10年モノのインフラを3年がかりでカイゼンした - Qiita
CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと
DNSのレコードをTTLを5分で設定した場合は、5分で浸透期間が終わると考えてよいか。 | WebARENA 共用サーバー
キーワードの間に半角スペースを入れるとAND検索になります。 キーワードの間に"｜"を入れるとOR検索になります。 キーワードの間に" -"を入れるとハイフンの後ろのキーワードを除外して検索します。
hostsとタブの落とし穴！[Squid] - Qiita
追記 [ 2018-09-13 ] 結論 squid使用時にhostsの行頭にブランク入れるな (@n-soda さん調べ) 一応念のためと思って squid のソースを読んでみたら、 なんと squid は libc を使わず独自に /etc/hosts を parse していて、 そこでは行頭にスペースやタブがあると、アドレスが書いてないものとみなされてしまうコードになっていました。 この辺です: https://github.com/squid-cache/squid/blob/d429cbd0e4d86d4af54ed50e499da14039ff7429/src/tools.cc#L954 これはビックリ。 というわけで、行頭のスペースないしTABが squid 限定で犯人でした。 環境 Vagrant for Windows Virtual Box CentOS 7.2 [ht
![hostsとタブの落とし穴！[Squid] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/064d6d45c1b7897935e93707228f6a88306a5069/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9aG9zdHMlRTMlODElQTglRTMlODIlQkYlRTMlODMlOTYlRTMlODElQUUlRTglOTAlQkQlRTMlODElQTglRTMlODElOTclRTclQTklQjQlRUYlQkMlODElNUJTcXVpZCU1RCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmVkMGU3YjQxZmE1MDM0Y2Y5NzA1YTE3YzQ2NzU5NGU%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbm9uejI1MCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YTQ0YTUzNWU0ZThjMTVhZjA5NmY4N2Y4MjI4OWM3NGI%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D7b9cc8da8582878ca06d013ad45db8fb)
１億6500万円賠償 ＮＴＴに請求へ 不正アクセスで前橋市教委
▼板金加工やレーザー加工、メッキ製品の見本が並ぶ。館林金属工業団地協同組合が館林市近藤町の事務所内に開...
デプロイの度に障害が起きるシステムを安全にした話 - エムスリーテックブログ
鉄道では個人の注意力だけでなくシステムにより安全を確保している。 写真は「タブレット閉塞式」のタブレットを交換する様子。１つの区間にはタブレットを持った列車しか進入できないため、衝突事故を防ぐことができる。（作者 Spbear [CC BY-SA 3.0 ], ウィキメディア・コモンズより） こんにちは、エムスリーでソフトウェアエンジニアとして働いている小本です。 私は基盤開発チームという、エムスリーの複数のサービスにまたがって使われるシステムを開発・運用するチームに所属しています。 基盤開発チームが担当するシステムの１つに、会員向けメルマガの配信システム「メールコンシェルジュ」があります1。 エムスリーはメールコンシェルジュで１日数十万通のメルマガを配信しており、機械学習でメルマガを最適化する施策2などもメールコンシェルジュの存在が前提になっています。 このようにエムスリーにとって重要な
Linuxネットワークコマンド新旧まとめ
ipコマンドの実行例 / Ubuntu 18.04 LTS これまでLinuxディストリビューションではUNIX系オペレーティングシステムでよく使われているコマンドと、Linux独自のネットワーク系コマンドが混在したような状態になっていた。最近のLinuxディストリビューションではこうしたコマンドをipコマンドに一本化する取り組みを続けている。 ipコマンドにはいくつものサブコマンドが用意されており、これまで個別のコマンドで実行していた処理をipコマンドのもとに集約するような作りになっている。なお、ipコマンドはLinux系に特有のコマンドで、他のUNIX系オペレーティングシステムでは使うことができない。記事では、非推奨になったコマンドを今後使うことはお薦めできないとしている。
Zenlogic障害報告書から考察する分散ストレージCeph - orangeitems’s diary
Zenlogic障害報告書がリリースされる 本日、2018年7月17日（月）に、かなりの世間の関心ごととなった、Zenlogic高付加障害についての報告が出稿されています。 報告書（全文） Web https://zenlogic.jp/news/status/syogai/cause/ PDF https://zenlogic.jp/pdf/report/20180717.pdf 障害の原因（転記） ストレージシステムを含む、クラウド基盤を提供・管理するヤフー株式会社から、高負荷状態に陥った原因として、以下の報告を受けております。 [概要] 事象A：ストレージシステムのキャパシティプランでの想定を上回る負荷上昇による一時的な高負荷状態 事象B：事象Aへの対応に伴い、二次的に生じた長期間にわたる高負荷状態 [原因] 事象Aに対する原因 （1）2018年6月からストレージシステムに対する負荷
ファーストサーバの「Zenlogic」、7月9日夜10時20分に高負荷緩和でサービス一時再開。ただし障害は未解決のまま。利用者はいまのうちにバックアップなど自衛手段を
ファーストサーバの「Zenlogic」、7月9日夜10時20分に高負荷緩和でサービス一時再開。ただし障害は未解決のまま。利用者はいまのうちにバックアップなど自衛手段を ストレージ障害に対するメンテナンスによって7月6日夜からメンテナンスによるサービス停止をしていたファーストサーバのレンタルサーバサービスZenlogicは、7月9日夜22時20分に状況を報告し、「一時的に高負荷状態の緩和を確認しましたので、メンテナンスを終了し、サービスをご利用いただける状態にさせていただきました。」と、サービスの再開を発表しています。 （追記： 2018年7月10日 16:25 メンテナンス完了が報告されました） ファーストサーバの「Zenlogic」、メンテナンス完了。稼働状態は安定していると報告、引き続き経過観察へ － Publickey ただし「再び高負荷状態になった場合には、サービスのご利用を停止さ
契約してはいけない Zenlogic #Zenlogic #zenlogic #ゼンロジック - Eriane ver 0.8.3
ホーム » 契約してはいけない Zenlogic #Zenlogic #zenlogic #ゼンロジック契約してはいけない Zenlogic #Zenlogic #zenlogic #ゼンロジック2016/09/06 火曜日2021/01/03 日曜日4件のコメントLinux,freebsd, Review ある機会があって使う事になった、Zenlogic ファーストサーバと言えば、業界人なら「あぁ…」と言うはず。歴史に残る大事件を引き起こした会社です。あれから早4年。どうやら自社サーバはやめて、全てYahooプラットホームベースに乗せたクラウドサービスを初めたようです。 さて、その使い勝手ですが…正直良くありません。 Zenlogic 障害・メンテナンス情報 月1か2回起こる接続障害。サービスが停止するレベルの障害です。ぶっちゃけ、ありえない。自分は自社で7年運用実績がありますが、一度も
ファーストサーバの「Zenlogic」全面停止3日間続く 再開は「未定」に
ファーストサーバのレンタルサーバ「Zenlogic」で6月19日から断続的に障害が起きたため、7月6日からサービスを全面停止し、メンテナンスが行われている。メンテナンスは9日午前8時までに終了し、サービス再開予定だったが延長されており、再開のめどは立っていない。 ソフトバンク傘下のファーストサーバが展開しているレンタルサーバサービス「Zenlogic」で6月19日から断続的に障害が起きたため、7月6日からサービスを全面停止し、メンテナンスを続けている。メンテナンスは9日午前8時までに終了し、サービス再開予定だったが、「再開処理後、再度の高負荷発生を確認した」としてメンテナンスを延長しており、再開のめどは立っていない。 Zenlogicは、ヤフー（Yahoo!JAPAN）のインフラを活用したクラウド型レンタルサーバ。今年2月時点で、中小企業・官公庁など約2万社が利用しているという。 6月19
インフラエンジニアの独り言、ストレージは盲点になりがち - orangeitems’s diary
インフラエンジニアの世界 IT技術者というと世間から見たら、要件定義やシステム設計をおこなうシステムエンジニアと、それを実装するプログラマーしか見えてないと思うんですよね。でもその基盤を動かすインフラエンジニアという人たちが全体の10パーセント弱（肌感）存在しています。 インフラエンジニアと言ってもまたそこから役割分担があって、物理サーバーやOSに強いサーバーエンジニアと、ネットワークに強いネットワークエンジニアがいます。大昔は物理サーバーとネットワークしかインフラに無かったので、大体はこの二極化でした。ネットワークエンジニアはスイッチやファイアウォール、ロードバランサーくらいまでは自分の領域としてくれていますが、OSやミドルウェアのことになると、それは私の領域ではない発言が出てサーバーエンジニアをブチ切れさせること請け合い。逆にネットワークエンジニアはサーバーエンジニアがなんでもネットワ
レンタルサーバのペナルティで強制的に「410 Gone」が返される事例に驚いた
2017年5月 3日(水) 13時49分23秒 [Web関連] レンタルサーバのペナルティで強制的に「410 Gone」が返される事例に驚いた とある企業サイトに関して、「数ヶ月前からGoogleの検索結果に一切ヒットしなくなった」という相談を受けました。 いろいろ調べてみたところ、ウェブサーバにアクセスした際に返されるHTTPレスポンスヘッダが以下のような条件で分岐されていることに気付きました。 PCやモバイル端末で使われる一般的なブラウザのユーザエージェント名でアクセスすると、HTTPステータスコードには「200 OK」が返されていて普通に閲覧できる。 それ以外のユーザエージェント名でアクセスすると、HTTPステータスコードには「410 Gone」が返されて、一切閲覧できない。 なかなか謎の現象でした。 上記のようになっているので、Google Botなどが使っているユーザエージェント
Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel お知らせ #mackerelio
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ubuntu:lucid apt repo was moved to old-releases · Issue #1902 · docker-library/official-images · GitHub
Zenlogicサポートサイト［IDCフロンティア］
DNSトラブル解決の定番、nslookupの基本的な使い方（社内ネットワーク編）
