Redis Clusterとgo-redisの深刻な性能劣化を解決した話 - ゆううきブログ
さくらインターネット Advent Calendar 2020の23日目です。 現時点では最新版のRedis 6.0のRedis Clusterに対して、Go言語の代表的なRedisクライアントライブラリであるgo-redisからアクセスしたときに、性能が深刻なレベルで劣化しました。 この記事では、ミドルウェアを利用したGo言語アプリケーションの性能劣化に関する問題調査の事例として、この性能劣化を修正するまでの話をまとめました。 go-redisへのPull Requestはhttps://github.com/go-redis/redis/pull/1355です。 はじめに 半年ほど前の論文の締め切りに追われていたある日、評価実験のためにRedisを使った時系列データベースのプロトタイプを開発していました。 ベンチマークツールでプロトタイプの性能を測定したところ、単一インスタンスのRed
日本の未来を担う研究者の皆さまへ
今、日本は、激動の転換期にいます。これまで経験したことがない新型コロナウイルス感染症の拡大やそれに伴うデジタル化などの生活の変化に加え、世界に目を転じると米中をはじめとした国家間の覇権争いの激化や気候変動などの地球規模の課題に直面しています。 このような中、日本が社会変革を先導し、持続的に成長していくためには、新しい知に基づく価値を次々に産み出していくことが不可欠であり、研究者、とりわけ若い方が、既成概念を打ち破り、自らの自由な発想に基づき、腰を据えて研究に没頭する環境を作ることが何よりも重要です。 しかしながら、博士課程学生や若手研究者を取り巻く環境は厳しく、特に、優秀な学生が、経済的側面やキャリアパスへの不安などの理由から博士後期課程への進学を断念する状況は、大変深刻です。 こうした状況を打破し、大学の研究環境を抜本的に強化するため、政府は、 ●学術研究・基礎研究の分野に、これまでにな
NSDI '21 Accepted Papers
NSDI '20 offers authors the choice of two submission deadlines. The list of accepted papers from both the spring and fall submission deadlines are available below. The full program we be available soon, at which time the spring final paper PDFs will be posted, accessible only to registered attendees. In April, the full Proceedings, as well as all of the final paper PDFs, will be posted. Hao Li, Xi
Re: 結局、Go言語をやめる理由はなかった件 - Hateburo: kazeburo hatenablog
すみません、ISUCONのアレに火がついてしまったので..。 Advent Calendarとはとくに関係がありません。 qiita.com qiita.com こちらの記事をみて、気になってしまったので interpolateParams の追加とMySQLチューニングをしてベンチマークを回してみました。 ベンチマークの環境が公開されているのは素晴らしいですね。 github.com 8vCPU/16GB Memのc5a.2xlargeなEC2のインスタンスを起動して、以下の手順にしたがってdockerとdocker-composeをインストールしました。OSはUbuntu 20.04を使いました。 docs.docker.com docs.docker.com 上記のbenchmarkのrepositoryをgit cloneし、compose build && compose upし
Google suffers global outage with Gmail, YouTube and majority of services affected
Google has suffered a worldwide outage, with failures reported across the company’s services, including Gmail, Google Calendar and YouTube. Beginning at about 11.50am GMT, the outages appeared to have affected the vast majority of Google’s services, apart from search, which operated largely unaffected. Despite the universal nature of the outages, the company’s automated systems reported no problem
さくらインターネット（の中の人）が考える新しい働き方、新しいオフィスのあり方｜kikuzokikuzo
こんにちは、さくらインターネットの社内組織の一つである、さくらインターネット研究所の菊地です。 （本記事は、さくらインターネット2020アドベントカレンダー2020/12/09付記事でもあります。） はじめに新型コロナウイルスの流行を契機に、働き方・ライフスタイルが変わったという人も多いと思います。在宅勤務にもすっかり慣れて、かつての毎日会社に通っていた日々がまるで夢だったかのように感じられる人もいるかもしれません。 さくらインターネットは、今般のコロナ禍においてかなり初期の段階から勤務のフルリモート化を推進し、またオフィスの見直しにについても早い段階で着手してきています。これらの施策は、急変する状況下においても従業員に安心安全、またベターな仕事環境を提供していきたいということから導入されてきたものです。 一方で、これらの施策導入に並行して（あるいは一部先行して）、さくらインターネット社員
Promxy を使ったアーキテクチャ | command not found:
さくらインターネット Advent Calendar 2020 11日目の記事になります。 「さくらの専用サーバ PHY」にてメトリクス保存・公開の基盤を担当している者です。 アプリケーション、サーバー、ネットワーク機器などのメトリクスを保存・公開する基盤として Prometheus を利用しています。 Prometheus にあるメトリクスを使い、 ユーザーにトラフィックグラフを提供したり、 自分達がシステムの異常に気が付くための監視を構成しています。 Prometheus のメトリクスを利用するにあたり、抱えていた2つの課題を Promxy を利用することによって解決することができ、 そこに至るまで、どのように考え、 どのようなアーキテクチャをとったのか、これからどうしていこうと考えているのかについて書きました。 ユーザーにトラフィックグラフを提供する 「さくらの専用サーバ PHY」の
サッカーを強化学習する - 思考の本棚
はじめに この記事は強化学習苦手の会Advent Calenderの12日目の記事です。 私は11月末までKaggle上で開催されていたGoogle Research Football with Manchester City F.C.に参加していました。このコンペはGoogle Researchが用意したサッカーゲーム上でサッカーエージェント(プレイヤー)を作成し、その強さを競うというものです。 私はhigeponさんとチームを組ませていただき、強化学習アプローチでコンペ開催から終了まで取り組みました。そこでサッカーエージェントを強化学習で育成する際に工夫した点や苦労した点を共有できればと思います。 kaggle: Google Research Football competition www.kaggle.com GitHub: Google Research Football gi
あなたは本当に文章を書くのが遅いのか | おそらくはそれさえも平凡な日々
このエントリーは、Mackerel Advent Calendar 2020 5日目の記事です。 さて、多くの人が「自分は文章を書くのが遅い」と思っているのではないでしょうか。僕もそう思っていました。 ブログエントリーを書き出すと得てして思っていた以上の時間がかかります。書くことがだいたい決まっているちょいネタのつもりであっても書き出してみたら数時間かかってしまう、大作であれば丸一日潰れてしまったり、しばらく寝かして数日がかりになることも珍しくありません。そして「ああ、自分は文章を書くのがなんて遅いのだ」と嘆いてしまうのです。 そして、見事な大作ブログ記事をバンバン投稿している人を見ると「書くのが速い人は羨ましいなー」と羨望してしまいます。また故栗本薫氏が、一時間に原稿用紙96枚分を書いたなどの伝説を聞くに、圧倒されて唖然としてしまい、やる気を失ってしまいそうになります。 しかし果たして本
第 13 回 インターネットと運用技術シンポジウム (IOTS2020) プログラム – IPSJ SIG IOT (Internet and Operation Technology)
【プログラム】 – 12月3日(木) 1日目 – 9:30 - 9:40 オープニング 9:40 – 11:10 学生セッション１ (座長: 佐藤 聡 (筑波大学)) 変化検出と要約データ構造を用いた利用者の嗜好の変化に迅速に追従する多腕バンディット手法 ◎三宅 悠介 (GMOペパボ/九州大学), 栗林 健太郎 (GMOペパボ) TSifter: マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 ◎坪内 佑樹 (さくらインターネット/京都大学), 鶴田 博文 (さくらインターネット), 古川 雅大 (はてな) 分散コンピューティング基盤における宣言的構成管理の適用可能性と論点 ◎真壁 徹, 篠田 陽一 (北陸先端科学技術大学院大学) 11:10 – 11:25 [休憩] 11:25 – 12:10 展示企業紹介 企業展示については、 https://www.i
5Gって低遅延なの？ - はん@highemerlyの日記
この記事は はんドンクラブアドベントカレンダー 2日目の記事です。なお筆者は，Mastodonサーバの一つ「はんドンクラブ」の管理人で，本アドベントカレンダーの主宰です。 最近，複数回説明した事柄をもう一回別の人に説明するのがめんどくさくなってきて，「この記事読んどいて」と言うために記事を書くことがあります。今回もそれに漏れず，携帯電話・スマートフォン用の次世代通信システムである5Gについて，なぜか私がよく聞かれることを説明する記事とします。一つの読み物として読んでいただければ幸いです。 5Gって？ ご存じの通り，5Gの特徴はURLLC・eMBB・mMTCです。 といっても通じない方が多いですよね。でも一応，これが正式な言い方なんです。それぞれ， 超低遅延*1 ＝ URLLC（Ultra-Reliable and Low Latency Communications） 超高速 ＝ eMBB
Scaling Datastores at Slack with Vitess - Slack Engineering
Rafael Chacón Staff Software Engineer, Infrastructure From the very beginning of Slack, MySQL was used as the storage engine for all our data. Slack operated MySQL servers in an active-active configuration. This is the story of how we changed our data storage architecture from the active-active clusters over to Vitess — a horizontal scaling system for MySQL. Vitess is the present and future of Dat
AlphaFold: a solution to a 50-year-old grand challenge in biology
Research AlphaFold: a solution to a 50-year-old grand challenge in biology Published 30 November 2020 Authors The AlphaFold team In July 2022, we released AlphaFold protein structure predictions for nearly all catalogued proteins known to science. Read the latest blog here. Proteins are essential to life, supporting practically all its functions. They are large complex molecules, made up of chains
Microsoft Researchへのインターンで研究者人生が変わった話｜樋口啓太
「樋口君、ってこれ出してみます？」 2012年11月16日15時40分、指導教員の暦本純一先生からMicrosoft Research Redmondでのインターンシップへの応募を勧めるメールをもらったのがMSRインターンとの関わりのはじまりだった。初めての英語のCVをなんとか書いて、当時MSRアカデミックリレーションだった公野さんに送った。D1当時は研究業績はあまりなかった(恥ずかしいがマッチング良ければこれでも通るのかと知ってもらうために当時のCVのPublicationを公開)ため、世界トップクラスのComputer Science研究機関であるMSRのインターンに通るなんて全く思っていなかった。しかし、応募翌月に開催されたSIGGRAPH Asia 2012でのFlying Telepresence システム Flying Head デモ発表中に、本当に偶然MSR研究者で後の受け入
Announcing Amazon ECS deployment circuit breaker | Amazon Web Services
Containers Announcing Amazon ECS deployment circuit breaker Today, we announced the Amazon ECS deployment circuit breaker for EC2 and Fargate compute types. With this feature, Amazon ECS customers can now automatically roll back unhealthy service deployments without the need for manual intervention. This empowers customers to quickly discover failed deployments, while not having to worry about res
ソケットAPIが遅すぎる？新たなio_uringを試す！
新しいAPIが作られるたびに、私たちは、古いAPIを置き換えるだけで高速化という夢をみます。何度夢破れても、高速なAPIが追加されたと聞けば、試さずにはいられませんよね！ 今回は、Linuxカーネル5.1で追加されたio_uringを使って、Rustのasyncランタイムを実装し、gRPCサーバのベンチマークを実行してみました。 io_uringとはio_uringは、ファイルシステムとネットワークの非同期I/Oのために開発されました。同期よりも非同期のほうがおしゃれ、そういう雰囲気ありますよね！クラウドネイティブも、非同期にAPIを介して、なんかやってるやつですよね。 io_uringのインターフェイスは、高い性能を目指し、1）アプリケーションとカーネル間でのメモリコピーを避ける、2）複数のI/O要求を一度にカーネルに伝えることができる、という工夫がされています。 下図のように、アプリケ
システム系論文の情報収集方法 - 睡分不足
(この記事は東京大学 品川研究室 Advent Calendar 2020の1日目の記事として書かれたものです) この記事では簡単にシステム系の会議の論文に関してどうやって論文を探して読むのか．個人的な方法を書いてみようと思います．ここに書いてあることが別にすべてではないので，是非自分に合う方法を各自探してみてください． 目次 目次 会議を知る 会議の日程のチェック 論文を読む（サーベイする） 文献管理 産業系カンファレンス 最新の動向を追う その他 最後に 会議を知る 会議にはランク（被引用数などで決めたスコアによる順位付け）があります．一般にはランクの高い会議 = レベルが高い会議ということになります．論文を探すとき，このランクは一つの判断基準となります．ランクの高い会議である方が，良い論文がある可能性が高いためです．情報系のトップの会議については，例えば，以下のサイトにまとまっていま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - google/pprof: pprof is a tool for visualization and analysis of profiling data
An Introduction to go tool trace
クラウドのシステム運用技術に機械学習を応用する研究 / CLOUD AI
