Meet Michelangelo: Uber’s Machine Learning Platform
Data / MLMeet Michelangelo: Uber’s Machine Learning PlatformSeptember 5, 2017 / Global Uber Engineering is committed to developing technologies that create seamless, impactful experiences for our customers. We are increasingly investing in artificial intelligence (AI) and machine learning (ML) to fulfill this vision. At Uber, our contribution to this space is Michelangelo, an internal ML-as-a-serv
Infrastructure for Deep Learning | OpenAI Blog
In this post, we’ll share how deep learning research usually proceeds, describe the infrastructure choices we’ve made to support it, and open-source kubernetes-ec2-autoscaler, a batch-optimized scaling manager for Kubernetes. We hope you find this post useful in building your own deep learning infrastructure. A typical deep learning advance starts out as an idea, which you test on a small problem.
Infrastructure as Code 再考 - Gosuke Miyashita
Infrastructure as Code という言葉が現れてから少なくとも8年ほど経過しており、この言葉もすっかり定着したように見えるが、Martin Fowler 氏が最近自身のブログで Infrastructure as Code について触れており 、また、氏の同僚である Kief Morris 氏が O'Reilly Media から Infrastructure as Code という本を出す（現在 Early Relase 版や Free Chapters が入手できる）ようなので、このタイミングで改めて Infrastructure as Code について、その歴史を振り返るとともに、現在の状況について整理してみようと思い、このエントリを書くことにした。 内容的には、以前書いた インフラ系技術の流れ と若干重複してる部分もある。 そういえば日本でも最近、サーバ/インフラ
Introducing Lemur
Netflix is pleased to announce the open source release of our x.509 certificate orchestration framework: Lemur! The Challenge of Certificate ManagementPublic Key Infrastructure is a set of hardware, software, people, policies, and procedures needed to create, manage, distribute, use, store, and revoke digital certificates and manage public-key encryption. PKI allows for secure communication by est
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
グリーのインフラに Chef を導入した話 | GREE Engineering
類似のソフトウェアとして、Puppet や Ansible といったものもあります。こういったインフラ自動化まわりのソフトウェアについてはペパボの宮下さんの インフラ系技術の流れ が参考になります。 Chef in グリー さて、グリーでのChefまわりの構成をご紹介します。下図が全体の構成です。 開発環境 開発は各個人のマシン上で仮想マシンを立ち上げて行なっています。クックブックの開発では、クックブックを開発する人が serverspec でテストを書くようにしていて、構築後のサーバが期待通り動くことをテストしています。一つのクックブックでも設定値などの条件によって動作が変わってくるため、test-kitchen を用いて複数の条件（ランリストやノードのアトリビュート（以下、「アトリビュート」）などの組み合わせ）でテストを行っています。 また、一部仮想マシンを使う必要がないテスト（att
ポータブルなWebアプリケーション - naoyaのはてなダイアリー
140文字で書ききれなかったのでブログに殴り書き。 Heroku のアプリケーションを人に渡す 昨日、「naoyaさんが作ってるiOSアプリのバックエンドサーバーに相乗りさせてもらえないか」という話をいただいた。自分でも同じようなAndroidアプリを作っているけど、サーバーサイドは作ってないからということらしい。 対して「githubにコードあるからgit cloneしてheroku pushすれば動くし、自分で heroku にデプロイしてよ」と応えた。相乗りしてもらってもよかったのだけど、こちらでコードを書き換えたりメンテしたときに先方のアプリが停止することを考えると同じコードベースでサーバーは自分で立ててもらう方が何かと良い。 対象になったソフトウェアは Heroku で動かしていたので、Heroku Ready な形、つまり、必要な外部パッケージの一覧やサーバーの起動手順なんかは
Trash Your Servers and Burn Your Code: Immutable Infrastructure and Disposable Components - Chad Fowler
As a developer and sometimes system administrator, one of the scariest things I ever encounter is a server that’s been running for ages which has seen multiple upgrades of system and application software. Why? Because an old system inevitably grows warts. They start as one-time hacks during outages. A quick edit to a config file saves the day. “We’ll put it back into Chef later,” we say, as we fin
Kageを使う時にやっておくと便利なこと - まめ畑
先ほど、Kageというgemが公開されました。 https://rubygems.org/gems/kage https://github.com/cookpad/kage このgemは、クライアントからのリクエストを複製し、バックエンドの複数のサーバに同じリクエストを送る事が出来ます。これを使うことで、これから本番に適用するコードの負荷試験や、書き込みをDummyDBに逃がして、slaveを本番に接続するなどして本番データを使用した負荷テスト、ミドルウェアのバージョンアップのテストを行うことが出来ます。 実際にクライアントに返されるレスポンスデータはproductionサーバとして指定されたサーバから返却されるため、本番のリクエストを使用してテストが簡単に行えるようになります。 実際に本番のアクセスを流す方法にはいくつかあると思います。Kageが導入されたサーバに直でトラフィックを流す方
アジャイルなインフラのつくり方とデータマネジメント - メソッド屋のブログ
さて、今日２発目のブログは、多くの人に書いてくれ〜と言われて約束していたネタです。 目下最近の私の２大関心毎は「Lean Startup/UX」と「Continuous Delivery」です。Lean Startupは書きましたので、何で「Continuous Delivery」か？というのは、理由があります。 最近実は企画フェーズのコンサルの中でプログラムを書いています。JQuery Mobile + Ruby on Rails on EC2 という感じです。インフラからアプリケーション、そしてUX的な要求開発なんかもやっています。チームは企画フェーズのアジャイルなので小さいですが、今回のアプリケーションを作っていて思っていることですが、Agileに加えてRailsやJQuery Mobileを使うとかなり開発って加速するのですが、どうしてもめんどくさい事があります。１つはインフラ構築
グーグル、マイクロソフト、Yahoo!、Facebookらが新しいネットワーキング技術の実現へ「Open Networking Foundation」を結成
グーグル、マイクロソフト、Yahoo!、Facebookらが新しいネットワーキング技術の実現へ「Open Networking Foundation」を結成 サーバの仮想化やクラウドが普及したことで、「サーバを用意すること」の意味が、物理的なサーバを調達することから、サーバのインスタンスを立ち上げることへと変わろうとしています。いまではAPIを叩けば、CPUの性能やメモリ容量を指定し、いくつインスタンスを立ち上げ、いつシャットダウンするのか、すべてAPIから指定できる環境が広まっています。 同じことがネットワークでも起ころうとしています。現在のところ「ネットワークを構築する」こととは、ケーブルを引いてルータやスイッチの設定画面からルーティングやVLANを設定することです。設定されたネットワークは基本的にスタティックなものであり、構成を変えるには再びルータやスイッチの設定画面を開いて設定をや
OpenFlowによるネットワーク分離
近年、ソフトウェアやハードウェアなどのリソースをネットワーク経由で利用する形態である「クラウドコンピューティング」が流行っている。クラウドコンピューティングには、SaaS（Software as a Service）やPaaS（Platform as a Service）、IaaS（Infrastructure as a Service）などの「パブリッククラウド」や、企業毎に自社のデータセンタ上でサーバ仮想化技術を使用して、社内の部門に対して仮想サーバの貸し出しサービスを行う「プライベートクラウド」などが存在するが、複数の企業のプライベートクラウドを物理的に同じインフラ上で実現することでコスト削減を実現する「仮想プライベートクラウド」が注目されてきている。仮想プライベートクライドでは、サーバの論理分割だけでなく、ネットワークの論理分割を行い、各社のプライベートクラウド間のセキュリティを確
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドの機械学習を支える基盤のつくりかた / Machine Learning ops at Cookpad
エンジニアtype 技術者のキャリアを考えるWebマガジン - 転職＠type
クックパッドとインフラとバレンタインと
https://www.rfc-editor.org/rfc/rfc6217.txt
Ruby を全面的に採用した東京ガスの地震防災システム