毎日生まれ変わるセキュアな踏み台サーバ - Hatena Developer Blog
こんにちは。 はてなインターン2019 システム基盤開発コースでやったことをお話していきます。 今年のシステム基盤開発コースでは、コードネームphoenixと題して、「毎日生まれ変わるセキュアな踏み台サーバ」の作成に取り組みました。 なぜつくったのか 踏み台サーバ なぜ毎日生まれ変わるのか なぜコンテナを使ったのか 踏み台サーバを更新する仕組み SSMセッションを用いたログイン CloudFormationによる自動デプロイ（未完） Terraformによる自動デプロイ 感想など なぜつくったのか まずはじめに、なぜこのような踏み台サーバの構築を行うことになったのかについて説明します。 多くの現場でもそうであると想像されるように、現状のはてなでは様々な社内サービスや、稼働中のサーバー・データベースにアクセスするために踏み台サーバを経由する必要があります。はてなには種々のサービスが存在してい
CoreDNS: DNS and Service Discovery
What is it? CoreDNS is a DNS server. It is written in Go. It can be used in a multitude of environments because of its flexibility. CoreDNS is licensed under the Apache License Version 2, and completely open source. Development takes place on Github. Some devs hang out on Slack on the #coredns channel. Plugins CoreDNS chains plugins. Each plugin performs a DNS function, such as Kubernetes service
Serveo: expose local servers to the internet using SSH
ManualBasic usessh -R 80:localhost:3000 serveo.netThe -R option instructs your SSH client to request port forwarding from the server and proxy requests to the specified host and port (usually localhost). A subdomain of serveo.net will be assigned to forward HTTP traffic. Request multiple tunnels at oncessh -R 80:localhost:8888 -R 80:localhost:9999 serveo.netThe target server doesn't have to be on
Kazuho@Cybozu Labs: TCP通信ではデータの送信をまとめて行うべき、もうひとつの理由（＆ サーバのベンチマーク手法の話）
TCP通信をするプログラムを書く際に「データの送信はまとめて１回で」行うべき、というのは鉄則と言っていい、と思います。その理由としては、パケット数を最小限に抑えることでオーバーヘッドを少なくするためだと一般に説明されますが、自分はもうひとつポイントがあると考えています。次のグラフを見てください。 グラフは、一定量のデータを転送するのにかかる時間と使用するブロックサイズ（１回のwrite(2)で書き込むサイズ）の関係を表したものです注1。 ホスト間のTCP通信を行っている場合は、TCPのバッファが有効に機能するので、ブロックサイズ（＝パケット数の逆数）による速度の変化は、ほぼありません。一方、同一ホスト上で通信を行うと、ブロックサイズと反比例して所要時間が反比例の関係にあることがわかります。 原因は、同一ホスト上の通信では、送信プロセスがwrite(2)を呼ぶたびにコンテクストスイッチが発生
監視ソフトをNagiosからSensuに切り替えて2ヶ月経ったのでまとめた - Glide Note
新規サービス用の監視をNagiosからsensuに切り替えて2ヶ月経ったので、 導入時の調査で社内で公開してたissueと、投入して2ヶ月間運用した記録を公開しておこうと思う。 というか以前Sensuの事を書くと公言していたのに、すっかりサボっていて 昨日@ma0eさんのブログを見て下記のやり取りを思い出して急いで書いた… @ma0e We started using it. @glidenote will report the detail soon, I think. — kentaro (@kentaro) 2013, 10月 30 @kentaro @glidenote that would be nice — Mitsutoshi Aoe/maoe (@ma0e) 2013, 10月 30 導入環境はCentOS 6.4で、利用しているsensuのバージョンは0.12.1-1にな
Nagios × boundioを使った鬱陶しいアラートの作り方 β
fujya.shです。はじめての人は、はじめまして！そうじゃない人はお久しぶりです。 最近暑いですね。サーバールームの温度も少し上がってきたので、あぁ本当の夏がやってきたんだなと実感できる今日この頃です。 今回はboundioというKDDIウェブコミュニケーションズが提供している電話APIサービスを使って少しもにょもにょしてみたいと思います。 ■アラートメールがジャンジャン来るとむしろ気づかない。じゃあ電話じゃない？ 運用しているサービスが増えてきたり、サーバーの台数が増えてくるとアラートメールがジャンジャンきたりしますよね？本来ならばそういった場合にアラートの原因をすぐさま対策するか、しきい値の変更を実施すれば良いのですが時間的な制約で次週へ持ち越し・・・なんて事も稀にある話です。 そんな時にメールボックスがパンクしてしまい、ほんとうに大事なアラートに気付けない事もあるって話を聞いたり聞
cgroupsによるIO帯域の制限 - めもめも
Kernel 2.6.37で導入された表題の機能が、RHEL6.1にバックポートされています。非常に分かりやすい機能ですので、実験結果を書き残しておきます。（RHEL6.0には入っていませんのでご注意を。） パラメータの説明 ・blkio.throttle.read_bps_device ・blkio.throttle.write_bps_device 特定のデバイスに対するアクセス速度の上限をByte/Sec単位で指定。0を指定すると制限を解除。 指定方法は"Major:Minor 設定値"（例"8:0 1048576"） ・blkio.throttle.read_iops_device ・blkio.throttle.write_iops_device 特定のデバイスに対するアクセス速度の上限をIO/Sec単位で指定。0を指定すると制限を解除。 指定方法は"Major:Minor 設定
０円の広域負荷分散システムCloudFlareが素晴らしい件 | fladdict
fladdictの非公式プロジェクト（いわゆる裏dicct）に、posemaniacs.com というサービスがある。 絵のデッサン素材を無料配信するサイトだけど、いつのまにやら老舗サイトに。気がついたら1日の転送量が30〜40GBまで膨れ上がっていた。あまりの負荷にホスト元のhetemlさんでアクセス規制、あわや閉鎖の危機の大ピンチ。わりと本気で、Pixivとか星海社とかマール社にサービス譲渡とかしようか悩んだ今日この頃でした。 そんな折、@ku_suke さんのご了解で導入してみた、CloudFlareというサービスが、全ての危機を救ってくれた。マジ多謝です。 どういうサービス？ CloudFlareはCDN（広域負荷分散システム）。世界5カ所にデータセンターを有し、データをキャッシュして各地に配信するこで負荷分散してくれる。いわゆるAkamaiの同類だけど、ものすごい特徴が１つある。
米Yahoo!がシステムダウンしない5つの理由
昨年の10月14日、米Yahoo!のトップページがダウンしたと、米Huffington Postが記事「Yahoo DOWN: Yahoo.com Outage Reported」で伝えました。米Yahoo!にとってトップページがダウンすることはきわめてまれなことで、この件が発生するまでほぼ10年にわたりトップページのダウンは起きていなかったと言われています。 その米Yahoo!はシステムダウンを防ぐためにどのような取り組みをしているのか？ 米オライリーが主催したイベント「Velocity 2011」で、Yahoo!サービスエンジニアリング部門のVice President、Jake Loomisが行ったセッション「Why the Yahoo FrontPage Went Down and Why It Didn't Go Down For up to a Decade before Th
データセンターを進化させるためにeBayが行っていること
ほぼ同じ処理性能を発揮する3つのクラスタ、2.9GHzのCPUを積んだサーバ2000台と、1.6GHzのサーバ3663台、3.46GHzのサーバ1694台。どれが最もトータルコストが安いのか？ eBayのDean Nelson氏は、こうした緻密な試算を積み重ねてデータセンターの構成を決定していることを、スイスで開催された「2011 European Data Centre Summit」のセッションで解説しています。 最新のデータセンターはどのような設計思想の上に成り立っているのか。公開されているセッションのビデオから紹介します。 What have we learnd in our Data Centers eBayのDean Nelson氏。 まずはeBayの基本的なデータを紹介しよう。eBayは1日に2ビリオンページビューのWebサイトで、23ミリオン行のソースコード、1日に75ビリ
scale out の技術 (in UNIX magazine, April 2009)
scale outの技術 首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は以下の記事の元原稿です。 首藤一幸, "スケールアウトの技術", クラウドの技術, pp.88-101, (株)アスキー・メディアワークス, ISBN978-4-04-868064-6, 2009年 11月 6日 アスキー・メディアワークス社の 書籍紹介ページ Amazon.co.jp の ページ 首藤一幸, "スケールアウトの技術", UNIX magazine 2009年 4月号, pp.78-91, (株)アスキー・メディアワークス, 2009年 3月 18日 データベースに求められる性能を試算したところ、 十台、百台…数万台のサーバが必要になった。 クラウドを構築する側はこういう問題に直面し、解決しようとしてきた。 台数に比例した性能を引き出すこと、つまりsca
suicaは実はたまに落ちている - 紅茶屋くいっぱのあれこれ日記
suicaのサーバーはみんなの知らないところで、実はたまに落ちているそうだ。 だがシステムが止まることはない、計算上センターは3日ぐらいは止まっていても大丈夫だそうだ。 だからサーバーが落ちたなどとニュース沙汰になることは殆ど無い。 suica開発陣頭指揮をされていたかたが、その実績をまとめてと頼まれ、博士論文にしたそうだ。 suicaの実例を述べるだけだと技術論文になってしまうので、一般化して論文を書きあげたそうなのだが、審査に携わった専門家の人達はそんなものが動くわけないだろうといったらしい。しかし現実問題としてsuicaは動いてしまっている。 本人いわく、だってそれで動いちゃってるんだもん。だそうだ。 実装は時として奇妙に見えるかもしれない。 フィールドには神がいる。 …その意や、なんで落ちても大丈夫かなどはまた後ほど。 スイカのセミナー 昨日はスイカのセミナーだった。 JR東でスイ
オライリー・ジャパン『Make』にはてな自社サーバー開発記掲載＆id:marqsのサーバ開発こぼれ話 - はてな広報ブログ
オライリー・ジャパンから出版されているMake: Technology on Your Time Volume 08という自作/DIY系の季刊誌に、インフラ担当のid:marqsがはてな自社開発サーバーの記事を書きました。 今日は、本誌では書ききれなかったはてなサーバー開発のこぼれ話をご紹介します。 自社サーバー開発までの道のり はじめまして、はてなでエンジニアとして働いているid:marqsです。 2008年5月にはてなに入社して以来、東京オフィスにあるインフラチームに所属しています。インフラチームの中でも、データベースのメンテナンスや、ログ解析、ハードウェアの購買/投入プランニングなどを主に担当しています。 はてなでは、今年5月に新たにサーバーを開発したのですが、実は初期から自作サーバーでサービスを運用していました。旧自作サーバーはid:jkondoが京都の板金工場に依頼して作ったサー
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
1Uラックマウント可能なサーバを自作する - marqs blog
はてなでは以前から自社製サーバを使用しているのですが、今年の春に、新たに自社製1Uハーフサーバを開発しました。 最近、タワー型だとメーカー製でもかなり安価なサーバがあるのですが、データセンターでの運用を考えると1ラックへの集積度が問題になってくるので、必然的にラックマウント可能なサーバが求められます。1Uサーバの中で価格対性能比のよいものを探すと、まだまだはてな的に使いやすいサーバが少ないので、今回このような1Uラックマウント可能なサーバを自社開発しました。 さてこのサーバの特徴としては、 ケーブル類がフロントアクセス 組み立て簡単 いけてるインフラアルバイトのid:hxmasakiが組み立てると15分 1ラックに60台以上搭載可能 もちろん、電源容量との兼ね合いもあります ディスクのホットスワップが可能 低消費電力 お値段据え置き 以前の自社製サーバとほぼ同価格 といったところがあげられ
さくらインターネット×はてな、自作サーバを語り合う - はてなニュース
株式会社はてなでは創業以来、ある一定数のサーバは自作のものを使ってきました。例えば、これまで主に活躍していたサーバの「金森」（愛称）は社長の近藤が設計したもの。そして、このたび新型の「marqs-60(マルクス60)」（愛称）がデビュー、無事稼動を始めました。 1Uラックマウント可能なサーバを自作する この新しいサーバ、例えてみるなら長身でスリム、おしゃれも気遣うイケメンだぜ……？とにかく今すぐどこかに自慢しにいきたい。そういえば、データセンターをお借りしているさくらインターネットさんとはお互いに勉強会を開く仲。さくらインターネットさんも「自前主義」を掲げサーバを自社で作っていらっしゃるとか。そこで、お互いの自作サーバを持ち合い、お披露目と情報交換をすることとなりました。 さくらインターネットさん側の参加者は、田中邦裕社長(写真右端）、技術部主任の加藤直人さん（写真右から二番目）。 はてな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - typicode/json-server: Get a full fake REST API with zero coding in less than 30 seconds (seriously)
グーグル「Spanner」：世界中のサーヴァーをGPS利用で同期
損傷したデータを修復する
scale out の技術 〜 consistent hashing 編 (cloud 研究会, December 19, 2008)