Dockerホストのパフォーマンスを引き出すTCPカーネルパラメータチューニング - tehepero note(・ω<)
2016 - 08 - 12 Dockerホストのパフォーマンスを引き出すTCPカーネルパラメータチューニング Docker Linux もう半年くらいフルDockerでmicroservicesなサービスを運用してるんですが、イマイチパフォーマンスを出し切れていないなという面がありまして、今回Dockerホストの TCP カーネル パラメータを抜本的に見直しました。 そしたら劇的に症状が改善して、 インスタンス 数も削減できた上に安定して メシウマ状態 になったので紹介します。実際効果があったのでチューニングポイントとしてはある程度正解であったと考えていますが、もちろん扱ってるアプリケーションの特性にもよるはずなので一つの ケーススタディ であることをご了承頂ければと。 前提 まずは今回のお話の前提を。こんな環境です。 EC2 c3.xlarge ホストは Ubuntu （EC2 Opt
『ネットワーク初心者の新卒がDockerでネットワークの勉強をしてみた』
こんにちは！サイバーエジェント アドテクスタジオ新卒の黒崎 (@kuro_m88) と申します。 Dynalystというチームに配属され、一人前のサーバサイドエンジニアになるべく修行をしています(｀・ω・´)最近はScalaを書くことが多くて、Sparkで大量のログを集計するバッチの開発をしています。ほぼ100%AWSで構成されているプロダクトなので業務でネットワークの運用もしませんし、構成の事を意識する事はあまりありません。 そんな中でネットワークの事が知りたくなったのは、広告の配信に関わる開発をしてみて、広告の配信の仕組み自体も技術的にめちゃくちゃ面白いんですが、それと同時に自分たちのサーバから広告が表示される端末までの間がどうなってるのか気になってしまったのがきっかけです。学んでいくにはやはり手を動かすのが一番ですよねo(((^^)))o
Docker 1.8 に Fluentd logging driver が入りました - たごもりすメモ
以前に書いた話の続きなんだけど、Docker 1.8が出た。 blog.docker.com で、それに Fluentd logging driver が入っている。これで Docker container で起動したプロセスのSTDOUTやSTDERRを直接Fluentdに向けて投げることが可能になった。Dockerにpull-reqを送ったのは初めてだったんだけど、無事マージされてリリースまでこぎつけたので、本当に出たときはほっとした。途中だいぶ大変だったので……。 Collecting All Docker Logs with Fluentd | Treasure Data Blog 5 Use Cases Enabled by Docker 1.8’s Fluentd Logging Driver | Treasure Data Blog Treasure Data blogで既に
Enterprise Container Platform | Docker
Build Spin up new environments quickly Develop your own unique applications with Docker images and create multiple containers using Docker Compose. Integrate with your existing tools Docker works with all development tools such as VS Code, CircleCI, and GitHub. Containerize applications for consistency Run in any environment consistently from on-premises Kubernetes to AWS ECS, Azure ACI, Google GK
Dockerの諸問題とRocket登場の経緯
2014年の後半あたりからDocker，Docker Inc.への批判を多く見かけるようになった（もちろんもともと懸念や嫌悪を表明するひとはいた）．それを象徴する出来事としてCoreOSチームによる新しいコンテナのRuntimeであるRocketのリリースと，オープンなアプリケーションコンテナの仕様の策定を目指したApp Containerプロジェクトの開始があった． CoreOS is building a container runtime, Rocket 批判は，セキュリティであったり，ドキュメントされていない謎の仕様やバグだったり，コミュニティの運営だったり，と多方面にわたる．これらは具体的にどういうことなのか？なぜRocketが必要なのか？は具体的に整理されていないと思う．これらは，今後コンテナ技術を使っていく上で，オーケストレーションとかと同じくらい重要な部分だと思うので，ここ
Docker 1.5の変更点
Docker 1.5の変更点 Docker 1.5.0-rc1 Docker 1.5: IPv6 support, read-only containers, stats, “named Dockerfiles” and more | Docker Blog Docker 1.5が出た．IPv6のサポートやstatsコマンドによるコンテナのメトリクス表示などが追加された．ユーザ的に一番嬉しいのはDockerfileの名前を自由に決められるようになったことだろうと思う． 今までDockerfileはDockefileという名前しか受け付けなかった，というかまともに動かなかった．やりようはあって，標準入力からぶっ込むことはできた．例えばbaseとう名前のDockerfileを作って以下のようにbuildを実行することができた． $ docker build -t tcnksm/test - <
h2o と server_starter で graceful restart with Docker - blog.nomadscafe.jp
h2o はserver_starter経由のgraceful restartをサポートしているので試してみた。ついでにdockerで動かしてみた。 h2o/h2o 実際にwrkでベンチマークしながらコンテナにHUPシグナルを送り、graceful restartを行ってみたのが次の動画 左上がh2oをdocker経由で起動しているウィンドウ、HUPを受けてh2oのプロセスを入れ替えている様子がわかります。。左下はwrkの実行、右側はコンテナにHUPを送ってます。 HUPシグナルはdocker killを使って送ります。 $ docker kill --signal="HUP" $(docker ps |grep kazeburo/h2o|awk '{print $1}') wrkの結果はこんな感じ。エラーは出ていません vagrant@vagrant-ubuntu-trusty-64:~/
Docker Meetup Tokyo 第4回に参加しました #dockerjp - めも帖
1月17日に「Docker Meetup Tokyo #4」に参加してきました。ここ1〜2年ぐらいで、Dockerなどのインフラに関する技術が変化してきたことをキャッチアップ出来ないでいたので、コミュニティーも含めて知りたかったので助かりました。 CoreOSの基礎/CoreOSに期待すること @deeeet 楽天 GHR go で作られたツール 資料 Docker が与えたくれたもの Googleなど、インフラの選択肢を与えてくれたもの Docker が与えてくれないもの オーケストレーション サービスディスカバリー スケジューリング デプロイ 死活監視 Dockrホストの統一 DevとProductionは同じ？ CoreOS 特徴 minimal RAMの使用量は114MB 機能をそぎ落とし Update System 安全かつ容易なOSアップデート機能 設定値etcd Chefとか
Docker and Phoenix: How to Make Your Continuous Integration More Awesome · ariya.io
Docker and Phoenix: How to Make Your Continuous Integration More Awesome Dec 25, 2014 7 min read #coding #craftsmanship #docker While a build system is always critical to the success of a software project, maintaining such a system is not always fun. Hence, we tend to investigate many different ways to reduce the maintenance effort. Thanks to Docker, there is a possibility to have the build agent
Docker と SO_REUSEPORT を組み合わせてコンテナのHot Deployにチャレンジ - blog.nomadscafe.jp
「Docker と SO_REUSEPORT を組み合わせてみる。おそらくその1」のその2です。 結論から言うと、「単体ではリクエストの取りこぼしが若干あるけど、Reverse Proxyを工夫すればコンテナのHot Deployを実現できるかも」という感じです。 Rhebok の SO_REUSEPORT 対応 前回は簡単に検証するためにmemcachedを使いましたが、今回はアプリケーションサーバが対象ということで、 unicornの2倍ぐらい速いRackサーバであるRhebokに手をいれてSO_REUSEPORT対応しました。version 0.2.3〜です。 rhebok | RubyGems.org | your community gem host 起動時に ReusePort オプションを追加します。 $ bundle exec rackup -Ilib -s Rhebok
Automating peco releases via Docker : D-7 <altijd in beweging>
「なんか外部CIサービスだるいなー」「リリースとかもうローカルの環境でやりたいなー」「マシン取っ替えてもすぐ環境作れるようにしたいなー」などなどの欲求があったのと、go1.4がリリースされたのもあってDockerで全部自動化してみた。 戦略としては Travis CIとかの連携は残すけど、手元でいつでも同様のテストを走らせられるようにしておくリリースは手元でバージョン指定すれば基本的に一発で通るようにしておく実装は単純で、ubuntuベースのイメージに必要なgoのバージョンとツール類（goxcとghr）を展開しておいて、pecoのディレクトリは後からdocker run -vでマウントできるようにしておく。 使う時は先にイメージを作成しておく（キャッシュ使ってるから当然素早く走りますね！）
PaaSエンジニアになった
今まではモバイルアプリ向けのAPIの開発に携わりつつ，CIやデプロイ自動化といったDeveloper Productivity的なことをメインとしていたが，PaaSチームにジョインした．後に自分がどういうことを考えて舵を取ったかを見返すために簡単に今思っていることを綴ってみる． PaaSという選択 “実践Heroku入門”の’はじめに’にしつこく書かれているようにPaaSの大きな目標は「アプリケーション開発者の効率を最大化」することにある．もともとDeveloper Productivity的なことが好きでいろいろやってきたが，その究極的な形がPaaSではないかと思う． PaaSといってもプライベートPaaSだが，素晴らしいアイディアがあり，それを簡単にリリースでき，かつスケールもできる，そういうプラットフォームを社内にもっているのは大きな強みになると思う．どうすれば開発者にとって使いやす
Docker Do's And Don'ts | devo.ps
Vincent Viallet on August 26, 2014 I gave a short (last minute) presentation at the Shanghai Docker meetup last Saturday at VMware's office. We talked about how experience using Docker while building devo.ps and gave some basic advices as to what to do (and what not to). Why we chose Docker? Separation of concerns and Scalability: devo.ps is a complex system. We want to isolate features as micro-s
Deploying Go servers with Docker - The Go Programming Language
Andrew Gerrand 26 September 2014 Introduction This week Docker announced official base images for Go and other major languages, giving programmers a trusted and easy way to build containers for their Go programs. In this article we’ll walk through a recipe for creating a Docker container for a simple Go web application and deploying that container to Google Compute Engine. If you’re not familiar w
Dockerで非エンジニアでも開発環境を上げ下げできる、mirageというツールを作りました - KAYAC engineers' blog
いやー今年もISUCONの予選参加募集がはじまりましたね! 昨年は出題側だったので胃が痛かったですが、今年は参加側ですので大変楽しみにしております。@acidlemonです。 Docker使ってますか? さてみなさん、Docker使ってますか? 使ってる? 使ってない? ぼくは使ってませんでした。えー今どきBlue-Green Deploymentやってないの? Immutable Infrastuctureじゃないの? と言われそうですが、世の中にはいろんなしがらみとかもあってなかなか簡単にエイヤーでコンテナに移行できるわけでもないのは皆さんなんとなく感じているのではないでしょうか。 とはいえ、最近これだけ話題になっているDockerですので、そろそろ使ってみたいなぁ…ということで、まずは開発環境をDockerで上げられるようにしました。 Dockerでコンテナを作るときには2つのアプロ
［速報］VMwareがDockerと協業発表。エンタープライズにおけるコンテナ環境の実現へ。Kubernetesにも参加を表明。VMworld 2014
Software-Defined Data Centerは、あらゆるアプリケーションのためのプラットフォームになる。 VMware環境上でのDockerの対応、Kubernetesへの参加 VMwareとDockerは協力して以下のことなどに取り組むとしています。 VMware Fusion、vSphere、VMwareのクラウドサービスvCloud Airなどが、Docker Engingにとって優れた稼働環境になるようにする Docker関連のオープンソースプロジェクト、libswarm、libcontainer、libchanの開発 Docker Hubと、VMwareのクラウドサービスvCloud Air、vCenter Server、vCloud Automation Centerなどとの相互運用性向上 またVMwareはGoogleとの協業も発表。VMwareはすでにvSphe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［速報］Docker、最新バージョンでDocker Engineにオーケストレーション機能を内蔵。外部ツール不要でクラスタ運用を実現。DockerCon 16
CoreOSクラスタにDockerコンテナをデプロイ #dockerjp
'D'evelopment and 'D'eployment with 'D'ocker at 'D'wango // Speaker Deck
The Walt Disney Company
