Apache Mesos だよ〜 - kuenishi's blog
これは、 Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016 - Qiita の13日目の記事である。 AMPLab発のなかでも屈指の地味さを誇る、データセンタースケジューラとかデータセンターOSと言われるソフトウェア、 Apache Mesos を紹介しよう。この記事も5分ほどで読めるはずだが、その5分が惜しい人は 忙しい人の5分で分かるMesos入門 - Mesos って何だ？ をご覧いただきたい。はい、なんというか、非常にわかりやすい。要するに、Mesosを利用するプログラムはMesos APIを叩いていろんなタスクを分散環境で起動、管理できるようになっているわけだ。これ以上のMesosそのものの紹介はもうあちこちでされているので、ここでは違った角度から紹介したい。 他製品との比較 個人の感想
Apache Mesos
Mesos 1.0 release is finally here for download! As most of you know, Apache Mesos has been running in production at some of the largest Internet companies like Twitter, Netflix, Uber and NASA JPL for many years now. It has been proven to scale to tens of thousands of nodes, running hundreds of thousands of containers serving live traffic without interruption for months at a time. Given its track r
Google Omegaとは何か? Kubernetesとの関連は? 論文著者とのQA（翻訳） | SOTA
エンタープライズ向けのKubernetesサポートを行っているkismatic Inc.による“Omega, and what it means for Kubernetes: a Q&A about cluster scheduling”が非常に良いインタビュー記事だった．Google Omegaとは何か? 今までのスケジューリングと何が違うのか? 何を解決しようとしているのか? 今後クラスタのスケジューリングにはどうなっていくのか? をとてもクリアに理解することができた． 自分にとってスケジューリングは今後大事になる分野であるし，勉強していきたい分野であるのでKismaticの@asynchio氏と論文の共著者であるMalte Schwarzkopf氏に許可をもらい翻訳させてもらった． TL;DR 2013年に発表されたOmega論文の共著者であるMalte SchwarzkopfがG
MesosとCephのクラスタをAWSに構築するTerraformのmoduleを書いた - As a Futurist...
冬休みの宿題として、Mesos+Docker でアプリちゃんと動かしたい！→Shared Filesystem が欲しい →Ceph やりたい！→AWS の orchestration が必要 →Terraform 面白い！という yak shaving を経て、なぜかずっと Terraform をいじってました。とりあえずちゃんと動くのができたので公開。 riywo/mesos-ceph Terraform module for Mesos + Ceph cluster and Packer template – As a SW/Ops/DB Engineer 細かい話は 1 年ぶりの英語で適当に書きなぐったつもりなので、こちらにはポエムでも。 Terraform 面白い このブログとかを移行しようと考えてて、AWS を遊びじゃなくて運用しようとしたら、VPC とかサーバ以外に管理しなき
Apache Sparkメモ(Hishidama's Apache Spark Memo)
概要 [/2017-01-14] Hadoopとの比較 [/2014-09-12] サンプル [/2017-01-22] インストール 開発環境の構築 [2017-01-22] インストール [/2017-01-14] Sparkシェル [/2014-09-19] 実行方法 [/2017-01-18] API（RDD系） SparkContext [/2014-09-15] RDD [/2017-07-26] パーティション [2014-09-07] Kryo（シリアライズ） [/2015-01-15] Spark SQL [/2014-09-02] Hive操作 [2014-09-01] Streaming [2014-09-02] API（Dataset系） SparkSession [2017-01-14] Dataset [/2020-10-08] Encoder [2017-01
Use Go for your next Apache Mesos framework - Mesosphere
Frameworks are important pieces of the Apache Mesos eco-system, and they relate to the Mesos core in ways similar to how applications relate to traditional operating system kernels. Mesos manages the resource offers presented to frameworks, which in turn perform useful work with those resources. Today you can already use Java (and other JVM languages), Python, and C++ to write frameworks and execu
Private PaaS - As a SW/Ops/DB Engineer
作りたいなーと漠然と思ってるアイデア。自分用メモなので色々省略してますので、興味ある人がいれば詳しく話します。 基本コンセプト Herokuライクなデプロイ 壊れにくい 開発が運用コスト管理 技術トピック 12factor Docker Mesos 基本コンセプト よくある話で、開発者が自由にサーバを足し引きできたら楽だよね、という発想をもうちょっと現実的に意味のあるものにしてみた。単にgit pushでアプリ起動、くらいだったらdokkuとかDeisとか使えばなんもせんでもできる。けどそれだけだと、じゃあそのサーバの面倒は？とかリソースの割り当ては？とか、本質的に面倒な問題は片付かない。 ので、自由に計算機資源を使える代わりに、使う分のお金は自分で払ってね、というアイデアを考えた。普通にPaaS使うなら当たり前なんだけど、社内とかになると、余ってるサーバ使おう、共有部門の負担で、運用は誰
Chronos: A Replacement for Cron
Chronos is our replacement for cron. It is a distributed and fault-tolerant scheduler which runs on top of Mesos. It’s a framework and supports custom mesos executors as well as the default command executor. Thus by default, Chronos executes SH (on most systems BASH) scripts. Chronos can be used to interact with systems such as Hadoop (incl. EMR), even if the mesos slaves on which execution happen
Apache Mesos vs Kubernetes vs Docker | D2iQ | D2iQ
We’ve evaluated D2iQ against other platforms, so you can choose the best Kubernetes solution to meet your enterprise requirements.
Mesos アーキテクチャ #1
こんにちは。@jedipunkz です。 今回はクラスタマネージャである Mesos について書こうと思います。 Mesos は Apache Software Foundation によって管理されるソフトウェアで分散アプリ ケーションをクラスタ化することが出来るマネージャです。Twitter が採用しているこ とで有名だそうで、開発にも積極的に参加しているそうです。 http://mesos.apache.org/ @riywo さんが既に Mesos + Marathon + Zookeper + Docker な構成を組む手順をブロ グで紹介されていますので是非試してみると面白いと思います。 http://tech.riywo.com/blog/2013/09/27/mesos-introduction-1/ 私は理解した Mesos のアーキテクチャについて少し書いていきたいと思
Methos アーキテクチャ #2 (Docker on Mesos)
こんにちは。@jedipunkz です。 Mesos アーキテクチャについて2つめの記事です。 http://jedipunkz.github.io/blog/2013/09/28/mesos-architecture-number-1/ 上記の前回の記事で Mesos 自体のアーキテクチャについて触れましたが、今回は Mesos + Marathon + Docker の構成について理解したことを書いていこうと思います。 mesos クラスタは 幾つかの mesos masters と沢山の mesos slaves から成っており、 mesos slaves の上では docker を操作する executor が稼働している。marathon は mesos master の上で稼働する mesos framework である。init や upstart の様な存在 であることが言
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散スケジューラMesosの紹介
Mesosを使ったImmutable Infra 管理システムを作ってみた
https://github.com/mesosphere/marathon/blob/master/src/main/resources/mesosphere/marathon/api/v2/AppsResource_create.md
GitHub - everpeace/vagrant-mesos: Spin up your Mesos Cluster with Vagrant! (VirtualBox and AWS)
Docker ♥ Mesos
TechCrunch | Startup and Technology News