本番/ステージング環境GPUぼくめつ大作戦 - クックパッド開発者ブログ
機械学習チームの林田(@chie8842)です。好きなスポーツはテニスとスノボです。 システムは、その当時の最新の技術で作ったとしても必ずレガシー化します。 機械学習システムも他システムと同様、一度デプロイしたら終わりではなく、継続的なメンテナンスが必要です。昨今機械学習は、特に技術の進歩が目覚ましいため、レガシー化するのも早い分野といえます。本稿ではレガシー化した機械学習アプリケーションのメンテナンスと、それに伴うGPU環境からCPU環境への移行によって、大幅にシステムの運用コストを削減した例をご紹介します。 機械学習アプリケーションにおけるコスト課題 クックパッドにおける最初の大きな機械学習プロジェクトである料理きろくがリリースされたのは、2年前のことです。それ以来、様々な機械学習アプリケーションがデプロイされ、現在では大小含めて30を超える機械学習アプリケーションが運用されています。
15分で分かる NoOps
Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）
実はHerokuで充分なのでは問題｜こんぴゅ
Herokuはwebアプリをインターネット上にデプロイする場所として広く使われている。web業界の人は誰もが一度は触った事があると思う。 何が便利なのかというと、デプロイ作業が極めて簡単なことだ。コマンド一発でサーバーが用意され、これまたコマンド一発でデプロイが出来る。一般に、webアプリは依存するライブラリが多種多様あり、それらを漏れなくインストールしないとデプロイ出来ないのだが、代表的なwebアプリケーションの作り方に添って作っている限り、後は構成を検知してよしなにやってくれるのだ。noteのリリース時の検証にも大活躍してくれた。 別にHerokuの回し者ではないのだが、一旦これを経験すると、VPSを借りてLinuxのセットアップをしてミドルウェアいれて....といった一般的な構築作業が気の遠くなる工程に思えてくる。 しかし、HerokuはUSとヨーロッパにサーバーがあり、日本からの通
VISAカードのインフラがDocker採用。数秒でプロビジョニング、パッチやメンテにさよなら、消えるインフラ。DockerCon 2017
VISAカードのインフラがDocker採用。数秒でプロビジョニング、パッチやメンテにさよなら、消えるインフラ。DockerCon 2017 4月に米テキサス州オースチンで開催されたDockerのイベント「DockerCon 2017」では、コンテナランタイムのためのLinuxコンポーネント「LinuxKit」の発表や、コンテナランタイムを組み立てる「Moby Project」の発表など、同社の新しい方向性を示す発表が相次いで行われました。 そのなかでもう1つ、DockerCon 2017ではグローバルな決済サービスを提供しているVisaが、同社のインフラにDockerを採用したという事例が発表されました。これまでDockerは開発環境やテスト環境への採用が進んでいましたが、Visaのような著名な企業が本番環境でDockerを採用した事例の発表は、Dockerの本番環境への導入を市場に説得す
デブサミ2017「グランブルーファンタジーを支えるインフラの技術」講演メモ #devsumi - 元RX-7乗りの適当な日々
CAを離れて1年半。最近はどんな感じか知りたかったので聞いてきました。面白かったです。 グランブルーファンタジーを支えるインフラの技術 (株)Cygames 佐藤太志 氏 グランブルーファンタジーについて 特徴 スマホのRPG ブラウザゲーム 協力プレイ、マルチプレイ システム規模 登録ユーザ数1400万人 月間300億PV 100万query/sec 8万req/sec トラフィック12Gbps (CDN除く) システム構成 LBはBIG-IP CDNはAkamai HTTP/WebSocketがフロントインターフェース Web: Apache + mod_php + mysqli Node: Node.js + twemproxy DB: MySQL + MHA オンプレミス、仮想化環境は使っていない ネットワーク通信量が非常に多い 低レイテンシを求められている ハイパフォーマンスを実
インフラエンジニアのいない会社で働いて 1 年半 - Diary
インフラエンジニアのいない会社で働いて 1 年半 が経った。 iOS で動く POS レジアプリとその管理インターフェイスの Web アプリケーションを作ってます。 iOS 側のことはほとんど分からなくて、データ同期用 API と Web アプリをずっと作っている。 ところで、 「NoOps」の時代がこない理由という記事が前にあったのですが、この点ぼくが働いている会社は NoOps です。アプリケーションは Heroku に乗っていて、 RDBMS が Amazon RDS で一部分析系に Google BigQuery を使っていること以外は全て Heroku 系の何かで動いています。 CI は Travis と circleCI を使っていて、 circleCI については来年初頭にも利用をやめて Travis に一本化する予定、というかんじ。 本当に自分達でなにもサーバーを管理してい
heroku to hashicorp
TechLT忘年会でのLT資料です http://connpass.com/event/23740/
dstatの万能感がハンパない - （ひ）メモ
サーバーのリソースを見るにはグラフ化は重要ですが、推移ではなくリアルタイムな状況、例えば秒単位のスパイキーな負荷を見るには、サーバー上でvmstatやiostatなどの*statファミリーを叩く必要があります。 さて、vmstatはメモリの状況やブロック数単位のI/O状況は見られますが、バイト単位のI/O状況やネットワークの送信、受信バイト数を見ることはできません。 # vmstat 1 procs -----------memory---------- ---swap--- -----io----- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 3 1 0 4724956 355452 726532 0 0 54 484 3 3 1 0 99 0 0 2 0 0 47
ある PHP 案件の振り返り | Carpe Diem
2015 年、僕がメインで担当したとある PHP 案件の振り返りを行ってみようと思います。おもに技術面から、設計前に想定したこと、実際に導入してうまくいったこと・いかなかったことを振り返ってみたいと思います。 技術的な環境は、次のとおりです。 インフラ環境: オンプレミス（だいだい６台くらい、このときのためにほぼハードウェアを新規に調達しました） OS: CentOS 7.0 言語: PHP 5.6 フレームワーク: FluelPHP 1.7.x データベース: Postgresql 9.3 ミドルウェア ロードバランサー冗長化: Keepalived（新規） ウェブサーバ: Apache から Nginx に変更、PHP は FPM キャッシュ: Redis（新規） 検索: Elasticsearch（新規） ログ: Fluentd（新規） 監視: Nagios & Cacti & Mu
はてなで新しくWebサービスを作るときのインフラの作り方 - Hatena Developer Blog
この記事ははてなデベロッパーアドベントカレンダーを始めます - Hatena Developer Blogの17日目の記事です．昨日は id:yashigani_w の Promiseを学ぶためにSwiftでPromiseを実装してみた話 - yashigani?.days でした． こんにちは、はてなの id:wtatsuru です。はてなのインフラ全般をみています。 はてなでは、しばしば新サービスを構築する機会があります。正式サービスもあれば、はてラボ のような実験的サービス、内部の Microserviceの一部になっているものなど多種多様なものがあります。新規サービスのインフラを構築する際は、最小構成でありつつ後のスケールやメンテナンスを考えた仕組みを作っていくことになります。この記事では、2015年12月現在のはてなでの標準的な構成を紹介していきます。 新サービスの最小構成 こち
大規模Node.jsを支えるロードバランスとオートスケールの独自実装（FRPもあるよ） - Qiita
というテーマで東京Node学園祭2015でセッションさせて頂くことになったので、先に整理/メモ的ななにかを。 （追記）以下資料で発表しました。 大規模Node.jsを支える ロードバランスとオートスケールの独自実装 http://www.slideshare.net/kidach1/nodejs-54841327 作ったもの ・スマホゲーム（マルチプレイアクション） 【公式】メザマシフェスティバル(メザフェス) | 株式会社アカツキ https://mezamashi-festival.aktsk.jp ・2D横スクロール ・マルチプレイ ・4人同時対戦 ・座標同期型 ・全国マッチング システム概要 Client： Cocos2d-x (c++) Server： API Server：Rails Websocket Server：Node.js 詳しくは スマホアプリにおけるマルチプレイア
chef + fabricを用いたクラウドサービス管理 | SmartNews開発者ブログ
ゴクロの大平と申します。はじめまして。 ４月からjoinさせていただいた、特に特記事項の無い平凡なプログラマです。さだまさしが好きです。 SmartNews開発者ブログをご覧になる方々は、サービスの裏側で動作するクローラーや多種多様な機械学習のロジックであったり、フロントエンドのUIの話であったり、サービス固有の話に興味が有る方が多いと存じますが、都合上（原稿の担当順番の都合上）、今回は一般的な話をさせていただきます。 ※先掲の話題については次回以降取り上げられますので、お楽しみに。 一般的な話題とはいえ、大企業とスタートアップでは取り巻く環境や解決すべき課題も異なっていますので、その辺もあわせてお伝え出来ればなと思います。 なお、今回のテーマは、サーバー/ミドルウェアの構成管理ツールとして最近有名になってきた「chef」と「fabric」です。 かなり長文のエントリーになってしまい
インストールするだけ! お手軽サイト高速化ツールGoogle mod_pagespeedはスゴかった | 初代編集長ブログ―安田英久
どれぐらいスゴいかというと、「サーバーにインストールするだけで、あとは設定ファイルをちょちょっといじれば、かなり高速化できちゃう」というぐらいスゴいのです。しかも、どんなサイトでも、どんなCMSを使っていても「インストールするだけ」。 Webサイトを高速化すると、ユーザーに優しいし、場合によっては検索結果での順位にも良い影響が出るかもしれない……それはわかっていても、なかなか本格的にサイトを高速化するのは難しいものです。 サーバー側の高速化に加えて、HTMLのつくりや画像のファイルサイズ最適化、さらにはCSSを調整しての画像スプライト化やCSS/JSファイルの結合・最適化によるブラウザとサーバーの通信本数削減などなど、実はやらなきゃいけないことがたくさん。 グーグルの提供するmod_pagespeedは、そうしたことの、かなりの部分を自動的に行うものです。 mod_pagespeedはこん
月315円から使えるインフラサービス Gehirn Web Services がステキで恋に落ちるレベル。 - このブログは証明できない。
あと1ヶ月もすればもうクリスマスだ。そしてまた1年と1ヶ月もすれば来年のクリスマスだ。アレも欲しい、コレも欲しい。でも、本当に欲しいモノって何だっけ？欲しいモノを聞かれて、すぐに答えていた子供の頃。歳をとるほどに、自分の欲しいモノがわからなくなる。そしてプレッシャーがかかると、思わず「からあげ」と答えてしまう。僕の欲しいモノは何なんだろう。 そうだ。サーバーだ。サーバーが欲しかったんだ。僕はずっとサーバーを探していた。昔はRailsが動くレンタルサーバーなんてなかった。専有サーバーを借りるお金などなく、ロリポップの525円の共用サーバーは当時としては珍しくRubyのCGIが動いたので、妻名義で申し込んで（ごめんなさい！）、RailsをCGIモードで動かしては画面遷移するたびに10秒くらい動かない画面を見つめたりしていた。最近は、ServersMan@VPSが490円で使えて安いんだけど、や
さくらVPSでスタートダッシュ決めた後はこーすりゃいいの?
前回、さくらVPSに常時接続できる最低限のセキュリティを施した後、今日まで放置したままでした。今日はホームページが公開できるようにApacheとPHPのインストール。そして不必要なサービスを停止します。 前回のようにドットインストールをお手本に進めていきますが、独自ドメインは必要ないのでVirtualHost設定をとばします。あと予定していたFTPとMySQLも見送ることにしました。 FTPを入れれば、いつも使ってるfilezillaが使えるので運用がラクになりますが、後述するファイル転送ソフトのWinSCPの出来があまりにも良かったので様子見します。MySQLもすぐ使う予定がないので見送ります。 使わないサービスは極力外すのが理想。こんな感じのカスタマイズこそVPSの魅力ですね。 一番大事なWebサーバー ドットインストールの該当範囲 Webサーバーの設定をしよう Webページを設定して
さくらVPSでスタートダッシュ決めるには結局どーすりゃいいの?
WinでVPSするのに必要なソフト 何はともあれPuTTY。PuTTYはVPSと通信する為のソフト。他にもTeraTermなどあるけど、よく分かんないならPuTTY。 Windowsのsshクライアント三強の個人的な比較 | 全自動ねじまき機 さくらのコンパネでサーバーを起動したらWinでPuTTYを起動してVPSを操作する。コンパネにある「リモートコンソール」は基本的に緊急時に使うもの。ちなみに私はサーバー起動後にさらに一回再起動しないとPuTTYで入れませんでした。 PuTTYでVPSのコンソールを表示するのが、Macにおける「ssh root@IP.ADD.RE.SS」と同じです。これでドットインストールをガシガシ進めます。 ドットインストールの該当範囲 さくらのVPSへ接続してみよう 作業用ユーザーを設定しよう 日本語確認で化けます。PuTTYの文字コードをEUCからUTF-8に変
YourAVHost その後 - ゆーすけべー日記
去年の12月26日未明にリリースし、年末の下半身に衝撃をもたらしたらしいという YourAVHost 。 現在はてなブックマークしたユーザー数はエロサイトとして驚異的な「738Users」。 1月6日には動ナビという日本最大の裏ポータルサイトにも取り上げられ、ピーク時にはサイト内合計で 12万PV / 1day 。 友達にも何故か「おめでとう」という電話が深夜にかかってきて、サイトを作ったことを褒めてもらいました。 そんなYourAVHost、公開してから地味にいくつかの新機能の実装、アクセス対策、また広告の変更などを行ってきました。ようやくアクセスが落ち着いた段階なのでこのようなYourAVHostの変更点や俺が学んだことなどを簡単に紹介していきたいと思います。 12万PV / 1day のアクセス ある程度予想はしていましたが、さすがにエロサイトなので、これほどのアクセスが来るとは思っ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
共通言語「Ansible」
Amazon.co.jp: Amazon Web Services クラウドデザインパターン 設計ガイド: 玉川憲, 片山暁雄, 鈴木宏康: 本
独学のプログラムでエロ動画検索を作ってみた！