Etsukata blog: FreakOut DSP 入札サーバの CPU 使用率を 30% 削減する Performance Tuning
はじめに 勤務先の FreakOut 社では RTB で広告枠を買い付ける DSP の開発・運用を行っています。RTB とは、インターネット広告のインプレッションが生じる毎に、広告枠の競争入札を行う仕組みです。 DSP とは、 RTB において、競争入札をする側のシステムになります。広告枠/広告を見ている人 に対し、最適な広告を、最適なタイミングで届ける機能を広告主に提供する仕組みです。 FreakOut DSP は最適な広告探索・入札価格調整のため、非常に多くのデータを参照し、沢山の演算処理を行います。広告を見ている人が過去にアクセスした Web ページの情報や検索ワード、さらに 広告がクリックされる予測確率(過去のログから機械学習で算出) などを参照し、入札価格を決定するのです。そのため、DSP で入札を担当するサーバは CPU がボトルネックになっており、台数も数百台に嵩んでいます。
ニコニコ技術部と中国の工場を見にいったら凄すぎて絶望した件:伊予柑ブロマガ - ブロマガ
初めて秋葉原に来たときの興奮を覚えているだろうか？ 愛知の片田舎でパソコン通信で遊んでいた筆者が初めて秋葉原にいったのは、確か16のときだ。青春18切符を使って大垣発の深夜電車に飛び乗りコミケのついでに秋葉原を見に行った。 「秋葉原にはなんでもある！！！！！！！」 そのときの衝撃は今でも忘れられない。celeronのCPUも、最新のPD(光磁気)ドライブも、怪しい裏ソフトも、同人誌の専門店もある！ 雑誌やネットでしか見たことないものが、ここにはすべてそろってるんだ！ 「シンセンにはなんでもある！！！！！！」 先日、中国のシンセンに旅行にいき、全く同じ興奮を思い出した。 人生の角度をねじ曲げるほどの強烈なインパクトを味わい、少しでもブログに残そうとおもった次第だ。 本レポートは2014年8月5日～10日に、"世界の工場"である中国のシンセンに旅行にいってきたときのものだ。DMM.makeを担
Sensuの監視の設定 · さよならインターネット
May 3, 2014 Sensu導入と初期設定についての続きのエントリーになります。 pluginの書き方 http://sensuapp.org/docs/0.12/checks http://sensuapp.org/docs/0.12/adding_a_check 上記ドキュメントを参考にして頂くとわかる通り status code が0であればOK status code が1であればWARNING status code が2であればCRITICAL status code が3であればUNKNOWN という方法で監視を行います。 コミュニティプラグインを確認すると、そのほとんどが require 'sensu-plugin/check/cli'を呼び出していることがわかります。 https://github.com/sensu/sensu-plugin check用のメソッド
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
マルチコアプログラミングで遊ぼう！ : DSAS開発者の部屋
マルチコアプログラミングで遊ぼう！Part 1 Introduction この50年間はムーアの法則のお陰で 回路の速度が上がりました。(MHz -> GHz) 利用可能なトランジスター数が増えた事によって、バスの幅、CPUのレジスタ数も増えた 8 -> 16 -> 32 -> 64bit（bitレベルの並列化とも表現できる） 利用可能なトランジスタ数が増えた事によって、新しいアーキテクチャが可能になりました。 実行速度自体のチューニング パイプライン化 [1] アウト・オブ・オーダー実行[2] 分岐予測 [3] などなど 並列化 スーパースカラー化（命令レベルの並列化）[4] SIMDによる並列計算化（データレベルの並列化） しかし、数年前から動作クロック引き上げの限界が現実化し[5,p.14-24]、そしてCPUアーキテクチャ自体も すでにかなり複雑化しており、このレベルでのチューニン
「ロボダンボー」を調教していろいろな動きをさせてみました
やっとこさ完成したロボダンボーに、いろいろな動きを学習させ実演してみることにしました。 ロボダンボー（Danboard the Robot） | ヴイストン株式会社 http://www.vstone.co.jp/products/danboard/ 今回、ロボダンボーに仕込む動きは以下のムービーのような感じです。 首をふりふりするロボダンボー - YouTube ◆ソフトウェアインストール ロボダンボーは、各関節に搭載された11個のサーボモーターでさまざまな動きが可能です。ロボダンボーのアクションは、専用ソフト「RobovieMaker2」でモーションプログラムを作成することで設定・実演できるとのこと。さっそくモーションプログラムを作成してみます。 PCとロボダンボーを付属のUSBケーブルで接続。自動的にドライバーがインストールされます。 ドライバーが正しくインストールされているか確認し
Top 25 Best Linux Performance Monitoring and Debugging Tools
I’ve compiled 25 performance monitoring and debugging tools that will be helpful when you are working on Linux environment. This list is not comprehensive or authoritative by any means. However this list has enough tools for you to play around and pick the one that is suitable your specific debugging and monitoring scenario. 1. SAR Using sar utility you can do two things: 1) Monitor system real ti
マルチコア時代のプログラマは関数脳になろう〜Java8のススメ〜 - Tech-Sketch
CPUのクロックアップに限界が訪れ、マルチコア化することで処理性能向上を目指す時代になりました。これからのプログラマには、マルチコアで処理性能が向上するプログラム＝マルチスレッドで並列処理が可能なプログラムを書く能力が必要になります。今回は「関数型」でプログラムを書くことによって、いとも簡単に並列化ができることを実例を元に解説します。 関数型プログラミングと並列処理 「関数型でプログラムを書くことで簡単に並列化できる」と書きましたが、そもそもここで言う「関数」とは何なのでしょうか？ 関数型プログラミングの特徴 関数型プログラミングの「関数」を理解するためには、数学における「関数」を想像するとわかりやすいでしょう。 例えば三角関数を用いた y=cos(x) という式を考えてみます。この式に入力値 x=0 を与えた場合、いつでも必ず結果は y=1 になります。x= π/3 の場合は y =
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
Mac Proモドキを例のゴミ箱で自作してみた by元店員M - 週刊アスキー
どうも、はじめまして、元PCパーツショップ店員のMこと元店員Mです。 WWDC2013でちら見せして、その斬新な形状が話題になった新型Mac Pro。に、そっくり（Amazonが商品を間違わぬよう注意を促したほど）なideacoのゴミ箱『Tubelor』にパーツを詰め込んでなんちゃって新型Mac Proを作ってみました。サイズを見たら、高さ30センチ、幅と奥行きが20センチだったのでこれなら「イケるな」と思いポチっと注文したのがきっかけです。 まずは今回使ったパーツからご紹介。 CPU:Core i3-2100T（2.5GHz） メモリー:DDR3-1333（2GB）×2 マザーボード:Intel DH67CF（ミニITX） SSD:Intel SSD520（120GB）×2 と、メインはこんな感じです。「オイ、世代が古いぞ」と突っ込まれそうですが……、家に余っているパーツを使ったので中身
おそらくはそれさえも平凡な日々: サーバーマシンのコア数に応じてworker数を調整する方法
PSGI/Plackアプリケーションの起動方法いろいろと本番環境アレコレ 便乗ポスト。最近は、上記内の「シェルスクリプトでラップする方法」で運用していることが多いです。その場合のone more tips. appサーバーごとにマシンスペックが違う場合がたまにあって、その場合マシンごとに worker数を調整したいけど、deployの都合上サーバー起動スクリプトは同じやつを使いた いってことがあります。 そこでおすすめなのが、CPUコア数に応じてworker数を計算する方法です。 シェルスクリプトの場合、 % cat app.sh #/bin/sh NCPU=`getconf _NPROCESSORS_ONLN` WORKERS=$(expr $NCPU \* 5) exec plackup -E production -s Starlet --max-workers=$WORKERS と
Fluentd Meetup #2 発表資料 | 外道父の匠
このブログやTwitterをご縁に、Fluentd meetup in Japan #2 で登壇させていただくことになり、張り切って発表してきました。 発表資料はアニメーションを多様していたのでSlideShareだとわかりづらいかもですが、アップロードしましたので御覧くださいませ。 内容の補足 いくつか質問を受けて答えたりTwitterで見た点について、資料の補足をしておきます。 Agent -> Collector通信経路について Q. なぜVPNにしなかったのか A. VPNは可用性／負荷分散性の点で弱いため。また、VPNサーバや他にもGatewayなど余計な経路を通ることになり無駄である。Agentの増加に対してボトルネックができない構成にしたかったため。政治的な理由で、ある環境だけVPNをはれないといった場合もあり、総合するとGlobal＋暗号化 が良い落とし所だった。 圧縮／暗
[dup] Androidの超速エミュレータを導入する - Qiita
重複した記事があるとの指摘がありました。 下記のほうが図とかステップが充実しています！ http://qiita.com/items/8bc1a11f1382409f1d2a 【もはやエミュレータとは言わせない】 そもそも超速エミュレータが必要な理由 AndroidアプリやWebアプリを作る際、OSバージョンが多すぎて実機とか全部揃えていられないので、エミュレータを使ってデバッグすることになると思います。しかしこのエミュレータが非常に重たくて、MacBook Airなんかで使えたものではありません。これはスマホのARMアーキテクチャのCPUを、PCのx86アーキテクチャのCPU上でエミュレートしているためです。 この問題の解決策として、Intelがx86 CPUで直接動作可能なAndroidを配布しています。Androidの各種アプリは基本的にJava製なので、「Java（Dalvik）仮
![[dup] Androidの超速エミュレータを導入する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b80dd09dd981d98c41bbb0b6fead2432b8625a1c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCZHVwJTVEJTIwQW5kcm9pZCVFMyU4MSVBRSVFOCVCNiU4NSVFOSU4MCU5RiVFMyU4MiVBOCVFMyU4MyU5RiVFMyU4MyVBNSVFMyU4MyVBQyVFMyU4MyVCQyVFMyU4MiVCRiVFMyU4MiU5MiVFNSVCMCU4RSVFNSU4NSVBNSVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZGE4MGUyMGVmYjNmMTUzMzMxY2VhZWU1ZDAzNWFjNzc%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweXV5YV9wcmVzdG8mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWJlYTI1MTkyZTM4MDNmOTNlNzA4Yzk4ZmIwNjAzZGM3%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D418d65cdbbfc6e3aec34783ae42517df)
13.3インチの巨大タブレットが登場、存在感抜群、さらに大型のモデルも存在？ （Impress Watch） - Yahoo!ニュース
13.3インチの巨大タブレットが登場、存在感抜群、さらに大型のモデルも存在？ Impress Watch 2月2日(土)23時0分配信 なんと13.3インチという大判のタブレットが登場、中国ColorfulのAndroid 4.1タブレット「COLORFLY CT131 Dual Tiny」が直輸入で発売された。 【拡大画像や他の画像】 実売価格は29,999円（詳細は「今週見つけた新製品」参照のこと）。イオシス アキバ中央通店では動作デモも実施中だ。 13.3インチ、1kgの巨大タブレット いわゆる中華パッドも7インチクラスが主流になりつつある中で、今回のような大画面の製品は貴重。解像度は1,280×800ドットで、アイコンや文字などの視認性も7インチクラスに比べて高く、表示はノートPCに近い印象だ。 ただし、ショップでも「持って外出するのはまっぴらごめん」（イオシス アキバ中
sarの統計情報をグラフ化 - （ひ）メモ
isag sysstatのcontribにも含まれている sarvant Sar2gp sarplot kSar (yoshiさんに教えていただきましたー) 拡大縮小とかもできるんで、データ突っ込んでながめるときにはいいかも。グラフはPNGとかで保存可能。Java製。 あとなんかあるかな。どれがよさげかな。 追記 sar2gpを使ってみたす。 e --> Error: data file incorrect: unknown table: とか怒られるのは、「00:00:01 CPU i000/s...」なIRQのデータの形式がsar2gpの期待した形式(sar2gp.xml)と違っているためでした。 IRQの情報は要らないので、 $ sar -A -f /var/log/sysstat/sa10 > sa10.sar ではなくて、 $ sar -bBcdqrRuvwWy -n FULL
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【後藤弘茂のWeekly海外ニュース】 ARMがIoT向けにOSを無償提供開始
【ARM Technology Symposium 2013 Japan】「IoTからサーバーまでカバーできるARMより優れたプラットフォームはない」
CPUの創りかた
【後藤弘茂のWeekly海外ニュース】 Appleが新言語「Swift」とAPI「Metal」を発表して「iPhone 6」を発表しなかった背景
プロセスとかスレッドとかプロセス間通信とかについて書く場所
