MySQL で使用するメモリサイズの見積もり - 元RX-7乗りの適当な日々
最近、MySQLのパラメータの調整をする機会があったのですが、特定のパラメータを変更した際に、メモリの消費量にどう影響するのか、というのを調査する際に、インターネッツを彷徨ったところ、サイトによって書いてあることにバラつきがあったので、自分でもまとめてみることにした。 結論から書くと、参考にしたのは以下のオライリーの書籍「MySQLトラブルシューティング」で、記述が一番わかりやすく書かれていた。 このエントリは、この書籍の 「3.9.3 オプションの安全値を計算する」 にて記載がある内容をまとめたものになる。 MySQLトラブルシューティング 作者:Sveta SmirnovaオライリージャパンAmazon 著者について Sveta Smirnova(スヴェータ・スミルノヴァ): Oracle社MySQLサポートグループ・バグ検証グループの主席テクニカルサポートエンジニアとして毎日MySQ
デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々
sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜4000core 分岐処理は苦手 行列演算に向いている GPU製品 NVIDIA Tesla HPC向けにGPUシリーズ NVIDIA GeForce GRID クラウドゲーミング向け AMD FirePro NVIDIA Tesla API CUDA OpenCL DirectCompute CUDAのアーキテクチャ CPU(ホスト)からGPU(デバイス)にデータを転送 GPUで処理 GPUから
AWS Command Line Interface(awscli)を使ってみた - 元RX-7乗りの適当な日々
今更な話題ではありますが、Pythonで作られたAWS Command Line Interface(aws-cli: 従来のJavaで動いていたEC2 API Toolsとは別物)を入れて動かしてみました。メモ的な感じで残しておきます。 aws-cliは、pipで管理できるし、これ1つで複数のAWSサービスを扱うことが出来て、かつレスポンスもJSONとかで返ってくるので、なかなか便利です。 $ aws autoscaling ec2 importexport sns cloudformation elasticache opsworks sqs cloudsearch elasticbeanstalk rds storagegateway cloudwatch elastictranscoder redshift sts datapipeline elb route53 support
AWSの上位ネットワークまわりについて - 元RX-7乗りの適当な日々
昨日から、色々調べ始めています。今日はAWSの上位ネットワークまわり。特に東京リージョン(Asia Pacific (Tokyo) Region)。 現時点の情報のスナップショットとしてログがわりに残しておきます。 ASN (AS番号) まず、以下のサイトで調べてみると、、、 http://bgp.he.net/search?search[search]=Amazon&commit=Search この通り、Amazonが取得しているASNは10個ほど見受けられますが、中身を見ていくと、このうちAS16509にほぼ集約されていることがわかります。 AS16509に接続されているBGPのPeerの数は現時点で、v4が158、v6が10となっています。(公開情報のみ) Peerの内訳は以下のリンク先から確認できます。 http://bgp.he.net/AS16509#_peers ざっくり確認
「AWS Summit Tokyo 2013」 1日目の講演メモ #awssummit - 元RX-7乗りの適当な日々
今日は午後から、表題のカンファレンスに行ってきました。 AWS Summit Tokyo 2013 久しぶりに行くAWS系のビッグカンファレンス。AWSの中の方(ソリューションアーキテクト)が話してくれる「上級者向け」と題されるテクノロジーセッション3つに参加して、メモ書きをとったのでここに残しておきます。 (個人的には、3つ目の大谷さんの話が面白かったです。) ハイブリッド構成を支えるAWSテクノロジー AWS荒木さん プリンシパルソリューションアーキテクト @ar1 なぜハイブリッド環境なのか 既存のアセットを最大限に活かして、AWSのメリットを享受する 開発での利用パターン(dev,stgで使っている) データをどう持ち運ぶか ディザスタリカバリでの利用パターン データをどうやって同期するか 複数のシステムがハイブリッドでやりとり 監視・制御を複数プラットフォームで システム間連携を
最新のSSD5機種とRAIDカードのパフォーマンス検証 - 元RX-7乗りの適当な日々
少し時間が経ってしまったのですが、今年の夏頃に書いた検証レポートを公開します。 最新の機種と書きつつ、昨年のモデルのSSDが1つ混じっていたりなど、突っ込みどころはあるのですが、何かの参考になれば幸いです。 はじめに 昨今、記憶媒体装置の1つであるSSD(Solid State Drive)は、コンシューマー/エンタープライズを問わず、かなり普及してきている。 価格対容量のコストパフォーマンスや容量そのものに関しては、ハードディスクにかなわないものの、SSDの高いI/O性能(特にランダムアクセス)は非常に魅力的であることと、特に、低容量のもの(120GB以下等)であれば1万円以下で購入できる時代となってきており、コスト面に関しても手を出しやすくなってきている。 ところで、弊社のサービスで利用されているディスクの多くは、SATA/SASのハードディスクを利用しているケースが多い。 中には、F
噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた - 元RX-7乗りの適当な日々
先日、Amazon EC2で使える、2TB分のSSDを積んだ新しいインスタンスタイプ(High I/O Instances / High I/O Quadruple Extra Large Instance)が発表されました。 ディスクI/O性能が高速なインスタンスは初登場なので、I/Oがシビアに要求されるデータベース等の利用においては、期待を寄せちゃいますよねー。 http://aws.typepad.com/aws_japan/2012/07/aws%E7%99%BA%E8%A1%A8-new-high-io-ec2-instance-type-hi14xlarge-2-tb-of-ssd-backed-storage.html というわけで、このSSDのディスクI/Oパフォーマンスがどのくらい速いのかを試してみちゃいました。厳密なベンチマークではないですが、参考になれば幸いです。 ・
DeNAさん著の「Mobageを支える技術」を読んだ - 元RX-7乗りの適当な日々
もはや説明する必要もないソーシャルゲーム・プラットフォームサービスとなったMobage。そんなサービスを支えるDeNA社のエンジニア陣が執筆した書籍が明日発売とのこと。 この本は発売前から気になっていたのですが、大変ありがたいことにDeNAの方々からご献本いただきました。この場を借りて御礼申し上げます。 Mobageを支える技術 ~ソーシャルゲームの舞台裏~ (WEB+DB PRESS plus) 作者: DeNA出版社/メーカー: 技術評論社発売日: 2012/06/13メディア: 単行本（ソフトカバー）購入: 31人 クリック: 737回この商品を含むブログを見る さて、すっかり大規模Webサービスとなったモバゲーですが、本書によると2012年3月末時点で、ユーザ数は約4000万人に到達し、35億PV/dayを捌くインフラアーキテクチャは意外にもWeb/APサーバ＋DBサーバの基本2層
Linuxのメモリ上のキャッシュを解放する - 元RX-7乗りの適当な日々
いつも思いだすのに時間がかかるというか、ググるのでメモ。 例えば、ベンチマークとかをとっていて、残ったキャッシュを奇麗さっぱりに消したい時とかに使う。 Linuxのメモリで保持しているキャッシュをクリアするには、以下を実行する。 # sync # echo 3 > /proc/sys/vm/drop_caches 値の意味としては、、、 1： ページキャッシュを解放 2： dentry、inode を解放 3： ページキャッシュ、dentry、inode を解放 以下を参考に。 /proc/sys/vm/drop_caches (Linux 2.6.16 以降) このファイルに書き込みを行うことで、クリーンなキャッシュ、dentry、 inode をメモリ上から外し、そのメモリを解放する。 ページキャッシュを解放するには、 echo 1 > /proc/sys/vm/drop_caches
「MySQL Casual Talks vol.3」に参加してきたよ、のメモ - 元RX-7乗りの適当な日々
4/19に、"カジュアル"ではなく"ガチュアル"と定評のある「MySQL Casual Talks」の第3回目に参加してきました。 尚、このイベントの過去の参加記録は以下。 「MySQL Casual Talks vol.1」に参加してきたよ、のメモ 「MySQL Casual Talks vol.2」に参加してきたよ、のメモ 今回は、すごくたくさん人がいたので、誰かがブログでまとめてくれるっしょー、とか思っていたのですが、ひょっとしたら誰もまとめていないんじゃないか疑惑、かもしれなかったので、重い腰をあげてエントリを書いてみることにしました。 駄菓子菓子！ 当日は皆さんスピード感あふれる発表が多かったのと、僕はTwitterに書いていたりしたので、手元のメモがあまりないんですよね...(*´σー｀)ｴﾍﾍ ということで、公開されている資料を集めて貼り付けた方がメモよりわかりやすいんじゃな
FirefoxからSSHでターミナル接続できるアドオン「FireSSH」 - 元RX-7乗りの適当な日々
最近、先日リリースされた「Firefox 4」を利用しているのですが、このFirefox4以降で利用できるアドオンで、Firefox(ブラウザ)から、サーバ等に"SSH"によってターミナル接続できる「FireSSH」が利用できます。 FirefoxそのものからSSHによるターミナル接続が利用できるので、新しいタブをそのままターミナルとして利用することでWebブラウザとシームレスに利用できたり、接続情報を記憶させておくことも可能です。このように簡易なターミナルとして、FireSSHは十分に利用できると思います。 インストール 「FireSSH」はFirefox 4.0以降で利用可能なので、まだアップデートしていない場合は4.0以降へのバージョンアップが必要です。 以下のFirefoxのアドオンページにアクセスし、「FireSSH」をインストールしてください。 https://addons.m
ヤマト運輸の配送状況は、実はGoogleから検索できる - 元RX-7乗りの適当な日々
東日本は、余震が多く落ち着かない日々が続きますが、皆様いかがお過ごしでしょうか。 今更ですが、ヤマト宅急便の荷物追跡(配送状況の問い合わせ)が、実はGoogleからも出来ることを知りました。 ↑のように検索すると、 ヤマト [お問い合わせ伝票番号]と、Googleの検索窓に入力することで、宅配状況が確認できることがわかります。 ↑実際に入力してみると、こんな感じで配送状況が確認できるリンクが出てくるので、クリックすると、、、 この通り、クロネコヤマトの"荷物お問い合わせシステム"に接続され、該当伝票番号の配送状況が表示されます。 というわけで、ヤマト運輸で荷物が(送られている or 送られてくる)場合、荷物の配送状況を確認したい場合は、Googleから「ヤマト (伝票番号の数字)」を入力して検索しましょう！ Googleの特殊な検索機能 こんな感じで、Googleでは色々な(特殊な)検索機
超便利なワンライナーを、コマンドラインで検索できるgemパッケージ「cmdline-fu」 - 元RX-7乗りの適当な日々
Linux等のコマンドラインで使える便利なワンライナーを、世界中のみんなで共有しちゃおうという「Command-line-fu」というサイトが素敵！ All commands 以前、100SHIKIさんでも、以下のように紹介されていました！ Command-line-fuではLinuxなんかのコマンドラインで使えるワンライナー（一行プログラム）を投稿・共有できる。 自分がよく使うワンライナーを保存しておいて使うも良し、他の達人の技を盗むも良し、の素晴らしきサービスである。 ちょっとのぞいてみただけでも「へー、一行でここまで出来るんだ・・・」という小技があってかなり勉強になる。 コマンドラインで使える超絶便利なワンライナーを投稿・共有できる『Command-line-fu』 | 100SHIKI で、サイトで新しく投稿されたワンライナーをブラウザで眺めたり、サイトでキーワード検索したり、RS
「MySQL Casual Talks vol.1」に参加してきたよ、のメモ - 元RX-7乗りの適当な日々
あまりカジュアルではなかったｗという説もありますが、結構面白かったです。 1人の発表が10分と、LT(Lightning Talks)風な感じだったこともあり、聴くのに必死だったのですが、少々メモを取ったので貼り付けておきます。(取れたところは少ない...) # 間違っている部分もあるかもしれませんが、そこはご了承を。 # きっと近いうちに皆さんの発表資料が出揃うだろうとは思いますが。出揃ったらリンク付けようｗ ちなみに、余談ですが懇親会も、かなり盛り上がって楽しかったですね！ 個人的には、前から色々お世話になっていた、"刺身☆ブーメラン"の金子さん(id:a666666 / @kyanny)と色々お話できたのは良かったです。 show innodb status (@myfinder) show innodb status from Tatsuro Hisamori 呼び方: いのでーび
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
Amazon EC2性能検証！気になるパフォーマンスをインスタンスタイプやリージョン毎に計測・比較してみた - 元RX-7乗りの適当な日々
大手クラウドサービスであるAmazon EC2では、9種類ものインスタンスタイプ(サーバの種類)から、利用したいスペックのサーバを選択できます。また、EC2のサーバは、4ヶ所ものリージョン(アメリカ東海岸、同西海岸、ヨーロッパ西部、シンガポール)から稼動させる場所を選択することができます。 ここで、気になるのが、Amazon Web Servicesの説明ページで、各インスタンスタイプの公表スペック差異として、EC2独自のCPU単位である"ECU"の数値や、IO性能のModerate(中)やHigh(高)で、どのくらいパフォーマンスが違うのかが見え辛いといった点。 また、一部の場所ではパフォーマンスが出ていない等の話が以前に出ていましたが、4ヶ所のロケーション(Region)によって、各場所でのインスタンス性能が全く同じなのか等も気になるところ。 ここを解明すべく、各種ベンチマークを実行し
Linuxでシステムに対して意図的に高負荷をかけたい場合 - 元RX-7乗りの適当な日々
今更感があるかもしれませんが紹介。 stressコマンドを使うと、CPUやメモリ、ディスクに対して意図的に負荷を与えることができます。 どこで使うかというと、、、高負荷時のシステムの挙動を見たい場合、AutoScaling等の負荷状況に応じて自動でスケールアップ/アウトさせるための仕組みのテストをしたい場合、部屋が寒いときにPCに発熱させたい場合ｗｗｗなどで使えるのかな、と。 Stressをインストール CentOSやRedHatの場合は、DAG(rpmforge)のリポジトリがあるので、ここのパッケージからインストールしましょう。 DAGをyumのリポジトリに追加する場合は、以下リンクから(CentOS5[x86_64]系の2010/05/14時点の最新版は)"rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm"をダウンロードして、rpmインストールしま
「Amazon EC2を使った実践SaaS運用事例」の資料を公開します＋参加記録 (ITproテクノロジ・カンファレンス) - 元RX-7乗りの適当な日々
先日、4/10に開催された"ITproテクノロジ・カンファレンス(徹底理解「Amazonクラウドサービス」)"にて、『Amazon EC2を使った実践SaaS運用事例』というテーマで発表しました。 (参考: IT pro テクノロジ・カンファレンスで話をします(徹底理解「Amazonクラウドサービス」)) これは、TIS/SonicGardenで展開している「SKIPaaS」というサービスを構築・運用する過程で、何故Amazon EC2をインフラとして採用したのか、Amazon EC2をどう活用しているのか、何が問題点でどういう工夫をしているのか、今後の課題・改善点は何か、といった内容です。 日経BP社様のご好意で、資料を公開してOKという許可をいただきましたので、以下に公開します。 Amazon EC2を使った実践SaaS運用事例 from Yuuki Namikawa ↑の資料のポイン
TortoiseSVNのアイコンオーバレイがおかしくなった時 - 元RX-7乗りの適当な日々
最近、会社の社内SNSでブログを書いてて、せっかくなのでこっちにも。 昨年からしばらく、仕事の中でSubversionを触っております。ちなみにバージョンは最新の1.3.0です。 んで、そのクライアント向けツールとしてTortoiseSVNを愛用しています。 TortoiseSVNを使ってると、ファイルのアイコンにチェックマークとか！マークとか付いてて、変更状況がすぐにわかって便利ですよね。 だけど、長時間マシンを立ち上げていると、知らず知らずのうちにオーバレイされたものが他のアイコンの一部になっちゃったりして、おかしくなったりします。（しますよね？） そんなときは、こいつを一発実行してやると、修復してくれます。 C:\Program Files\TortoiseSVN\bin\TortoiseProc.exe /command:rebuildiconcache ※↑TortoiseSVN
「ping -a」で音が鳴る！ - 元RX-7乗りの適当な日々
今日、初めて気付いたんです！ $ ping -a xxx.xxx.xxx.xxxこんな感じでpingコマンドで"-a"オプションを付けると、返答があった時に、なんと音が鳴ります。 これは地味に便利。(Linux限定、かも) 何が便利かって？ネットワークの疎通確認をする時に便利ですよね。 ついこの前も、データセンターでボンディングの試験とかスイッチのポート障害のときに、ラックの前で1人がpingの反応見つつ、ラックの後ろでは、LANケーブルの抜き差ししながら、「OK！」とか「NG！」とか言っているわけですよ。 これで、音鳴らしながらテストしたら1人で確認出来るやん。 おっと、これは良い発見。ひょっとして常識？ たまにmanでコマンドのオプションを眺めていると、こんな感じで面白い発見があるから好きなんですよね。 コンパイル(make)の高速化 topコマンドでマルチコアなCPUの状況を確認する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
