システム構成図をテキストで
Gigazineさんでdrawthe.netを取り上げていたので紹介です。使い方はGigazineさんのほうが丁寧なので、気になる方はチェックしてみてください。（2020年12月1日、追記） drawthe.netとは cidrblock/drawthe.netは複雑なネットワーク図も「テキストで書いてブラウザ上でSVGレンダリングできるようにしよう」というコンセプトのもと開発されたツールです。下図のように複雑な構成図も精度高く描くことができます。 拡大してみると情報量が多いこと、またいかに整っているかがわかると思います。 デモサイトも用意されているので、サクッと試したい場合はコチラが便利です。コードはGitHubで公開されています。更新が2017年末で止まってしまっているのが玉に瑕ですが、十分な性能を発揮してくれます。 drawthe.netを使いたい理由 美しい構成図といえばInter
Monthly AWS Serverless Update 202011 - Sweet Escape
2020年11月のサーバーレス関連まとめです。こちらのイベントで取り上げる内容です。 serverless-newworld.connpass.com 2020年11月のリリース 11月30日からAWSの年次グローバルカンファレンスであるre:Inventが開催されることから細かいアップデートが多めですね。ていうか数が多すぎるのでS3とか割愛しましたｗ タイトルだけで内容がわかるようなものは特にコメントしていません。 Amazon Kinesis Data Streams は、最大 1 年間のデータストリームの保持が可能に データ保存期間がこれまでの最大7日から最大1年に デフォルトは24時間 Amazon MQ for RabbitMQ の発表 Amazon MQがRabbitMQをサポート RabbitMQは広く使われているOSSのメッセージブローカー 複数のプロトコルに対応、軽量とい
こんな夢を見た （大学のシステムを構築した経験、の話）｜kikuzokikuzo
昨晩こんな夢を見ました。（寝ている間に見る方） 大学の指導教官が、研究室に新しいマシンたちが入ったよと教えてくれました。見ると、Sunのワークステーションです。紫色の外装パネルをつけていて、Ultra Sparcあたりの新型のようです。何台か入ったようです。とてもうれしい。 そこで先生：「セットアップしなきゃいけないんだよね。」 すかさず私：「あ、私やりますよ、システム係ですし。」 しかしそう言いそうになるすんでのところで口を紡ぎます。そうなのです、私は忙しくて新しいタスクを積むことはちょっとできなかったのです。しかし新しいマシンはいじりたい。しかも現実問題として研究室で新しいワークステーションのセットアップができるスキルをもっているのは私だけなのです。どうしようかなー。やっちゃおうかなー。でもほかも忙しいしなー。 そう考えてるあたりで目がさめました。 夢の中でまで積み上がっている仕事の量
人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol
IBIS2020 | 第23回情報論的学習理論ワークショップ, 2020-11-23〜26, オンライン開催
お知らせ おかげさまで，IBIS2020は盛況のうちに終了しました． 来年のIBIS2021（2021-11-10〜13 @ 北九州国際会議場）で，またお会いしましょう． 2021-01-08 表彰を公開2020-11-24 ~ 26 ワークショップ2020-11-23 チュートリアル2020-11-23 プレゼン動画公開開始2020-11-23 アクセス情報通知（メール・slack）※ 両方とも不達の方はご連絡下さい．2020-11-16 参加申込（後期）受付終了2020-11-16 オンラインランチ交流会 受付終了2020-11-08 チュートリアル・企画セッション の全タイトル・アブスト公開2020-11-08 プレゼン動画提出受付終了2020-11-05 オンラインランチ交流会 募集開始2020-11-02 参加申込（後期）受付開始2020-10-30 参加申込（早期）受付終了20
WSA研究会 第7回 でCRIUとMiehistöの発表をしました #WSA研 - ローファイ日記
wsa.connpass.com ふりかえります。 予稿 www.notion.so スライド speakerdeck.com デモ動画 当日時間がなく披露できなかった、今動いてるところまでのデモです youtu.be Miehistö（öはoの口でe）はもともとGrenadineという名前で、RubyKaigi 2019などで発表していたツールのアーキテクチャを見直し、拡張性などを高めたツールです。 udzura.hatenablog.jp udzura.hatenablog.jp スライド15枚目にある ように、サービス（Miehistöが管理するチェックポイント・リストア可能なデーモンの単位）とイメージの管理を独立させ、それぞれで拡張性を高めたりしています。 いただいたフィードバックなど Kubernetesで動かしたい Q: 長時間かかる計算の途中状態を保存しておけば、スケジューラ
第7回WebSystemArchitecture研究会（オンライン） - 資料一覧 - connpass
うづら Miehistö: A "recommended" stack to integrate CRIU into existing systems
『鬼滅の刃』大ヒットの理由が見つかることは無い - 本しゃぶり
誰もが知りたい『鬼滅の刃』大ヒットの理由。 これはどれほど丹念に作品と向き合っても答えは得られない。 なぜなら人の繋がりから生じる偶然の結果だからだ。 なぜ大ヒットしたのかという疑問 この『鬼滅の刃』解説記事に対する反応が興味深い。 このnoteは『鬼滅の刃』の導入を解説したものだ。どうやって読者を1ページ目から引き込むか、その「技術」と「困難」について書かれている。これに対し、ブコメはほぼ批判一色となった。 書いてある内容は決して間違っていないし、かなり細かく説明されている。なのになぜ批判が多いのか。コメントの内容は主に以下の2点となる。 『鬼滅の刃』に限った話ではない 長い 先に後者についてだが、「長い」ということは必ずしも悪ではない。スクロールバーが点になるような記事でも、好意的なコメントが多いこともある。結局のところ「長い」という批判が意味することは、自分の知りたいことが書かれてい
マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
コンテナ技術とスケールするWebサービス ─ ペットから「ポスト家畜」の時代へ - Hatena Developer Blog
こんにちは。ブックマークチームWebアプリケーションエンジニアのid:yigarashiです。 はてなの技術グループでは「技術のアップデート」を目標に掲げ、チーム横断でさまざまな取り組みを行っています。そのひとつとして、週に1回、若手エンジニアが集まってモダンなWebアプリケーションの要件を整理する会があります。これは技術面の未来を担うという意味でtech-futureと呼ばれ、毎回テーマに沿った調査や議論が活発に行われています。 この記事では「コンテナ」をテーマとして開催された回の議事録を整理し、いわゆる「ペットから家畜へ」という言葉で語られるWebアプリケーションの実行環境の変遷と、コンテナ技術がもたらした2軸のスケーラビリティについてまとめます。そして最後に、コンテナ技術によって「ポスト家畜」とも呼べる新たな時代が到来したことを論じます。 コンテナ以前を振り返る サーバーの複雑な状態
Webアプリ負荷試験ガイド - withgod's blog
Webアプリ負荷試験ガイド 目次 Webアプリ負荷試験ガイド 目次 前置き 時間がない人向け要約 about me 何故負荷試験を行うのか 負荷試験ツール 負荷掛けるツール 負荷計測 負荷の可視化 負荷試験の流れ 負荷試験スケジュールについて 注目すべきポイント シナリオ作成 アカウント情報は自動生成出来るようにする DB分割を行ってる場合はDB分割を意識したシナリオを用意する。 負荷試験元 http or https サーバ1台 サーバ単体での負荷 アプリの正常性の確認 サーバ複数台 KVS Memcached Redis RDB 問題になりやすいDB キャッシュの話 大前提 注意すべき点 CDNやProxyレベル local cache or remote cache local cache or memory cache(in app cache) references 更新情報 前
第7回WebSystemArchitecture研究会（オンライン） (2020/11/13 10:00〜)
ほぼ全員発表型のディスカッション重視の研究会であるWeb System Architecture研究会の第7回をオンラインで開催します！今回は過去回発表者のみの聴講枠を設けています。 WSA研究会では、Webを中心とした様々な技術要素および要素のつながりを含む系全体のアーキテクチャを体系化する、または新しく有用なアーキテクチャを提案し、議論します。 WSA研究会で対象とするトピックは、USENIX LISAが対象とするトピック((https://www.usenix.org/conference/lisa18/call-for-participationのTopic Categories を参照))が近いものとなります。 WSA研の過去の情報はこちらにまとめていますので、発表トピックを選択するときの参考にしてください https://websystemarchitecture.hatena
Mackerelでは計画メンテナンスをどう実施しているか？ RedisをElastiCacheに移行した裏側をご紹介 - Hatena Developer Blog
こんにちは。MackerelチームSREのid:heleeenです。 Mackerelでは、2020年10月14日に計画メンテナンスを実施しました。今回は告知ブログに記載の通り、Mackerelが利用しているRedisをAmazon ElastiCache for Redis（以下、ElastiCache）へ移行しました。 本記事では、この10月の計画停止の裏側を紹介します。 どのようにElastiCacheへ移行するか 大半のRedisを無停止で移行 最後はElastiCacheへのオンライン移行を使用 メンテナンスに向けたさまざまな準備 メンテナンス手順書のチーム内レビュー メンテンス実施中の役割分担 なぜタイムキーパーが必要になったのか リモートで停止メンテナンスを実施する方法 検証環境を利用して事前にリハーサルも実施 Redisを安全に効率よく切り替えるために 参照するRedisを
じこはおこるさ - 職質アンチパターン
これはきかんしゃトーマスアドベントカレンダー20日目の記事です． サービスやシステムが運用・運営フェイズに入るとほぼ間違いなく事故が起きる．理想的には事故が起きないことがベストだがそうした状況はほぼ間違いなく存在しない，つまり事故はいずれ起こるので，我々はそうした不慮の事故に備える必要がある．上の動画は今，社内の一部で流行っている歌で，非常に示唆に富んでいて，良い． さてスタンスを予め明らかにしておくと，事故やオペミスは起こるものだし，その点については仕方がない事だと思っているが，その事故からは学習すべきだと思っている． 事故が起きた時はそれをいち早く終息・復旧させることが再優先だと感じていて，それを遂行するためには手段を選り好みせず，かつ冷静に行うことが重要だと思う． よく「犯人探しをするな」みたいなことを言われるけど (まあ犯人という言い方は悪いんだが) 実際に事故を起こした人から話を
クラウド系の国際会議IEEE CLOUD 2020参加録 - ゆううきブログ
2020年の10月18日から24日までの5日間にわたって、国際会議IEEE World Congress on SERVICES 2020（IEEE SERVICES 2020）がオンライン形式で開催された。 IEEE SERVICESは、IEEE Computer Societyにより2004年から開催されている「サービスコンピューティング」全般に関連するトピックを扱う複数の国際会議が共催されるイベントとなっている。 本来は、7月に北京開催されるはずだったが、COVID-19の感染拡大の影響により、10月に延期されたのちにオンライン開催される運びとなった。 今回開催されたのは次の5つの国際会議、CLOUD/ICWS/SCC/SMDS/EDGEである。 このうちCLOUD 2020を中心とした参加報告を次のスライドにまとめている。 各発表を聴講したところ、多くの発表に共通してみられた特徴と
SREはインフラ担当だけでなくチーム全体で取り組んでいくもの | はてなで働く cohalz にアンケート [#9] - Hatena Developer Blog
こんにちは、Hatena Developer Blog編集部です。「はてなで働くエンジニアにアンケート」シリーズ、今回ははてなブログチームのSRE、id:cohalzに話を聞きました。 id:cohalzにアンケート はてなidとその由来を教えてください いつどんなきっかけで入社しましたか？ 現在の仕事を教えてください チーム内の立ち位置を教えてください 1日の仕事の流れを教えてください 最近うまくいったことは何ですか？ 最近うまくいってないことは何ですか？ 普段大切にしていることは何ですか？ はてなはどんな会社ですか? id:cohalzにアンケート はてなidとその由来を教えてください 読みは「こはる」と呼ばれることを想定しています。 読みとしては日本語としてありふれた名前にしつつも、idとしては被らないものにしたいという意図を持っています。 idはco + hal + zの3つの要素
![SREはインフラ担当だけでなくチーム全体で取り組んでいくもの | はてなで働く cohalz にアンケート [#9] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/b1540f83138e6a085307ec37757319aa491a2baf/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20201027%2F20201027191102.jpg)
エッジ・フォグコンピューティングの成り立ちとネットワークインフラのこれから
近年、エッジコンピューティングという言葉をよく目にするようになりました。 エッジコンピューティングの「エッジ」とは、どこの／何のエッジ（端）なのでしょう？実はこれは、「クラウド」に対するエッジを指しています。ではエッジコンピューティングの「コンピューティング」とは何でしょうか？エッジコンピューティングは、ネットワークの中にコンピュータを埋め込みたい、という動機からスタートしています。 エッジコンピューティングの理解のためには、クラウドやネットワークの知識が少しだけ必要です。また、エッジコンピューティングはすっかりバズワード化しているため、全体像を少しだけ俯瞰的に眺めてみる必要もあります。 本資料では、エッジコンピューティングという考え方がなぜ登場してきたか、またエッジコンピューティングで何を実現することを目指しているのか、について解説していきます。 そして、それらの話を通じて、エッジコンピ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラの企業研究の価値とこれから
嗜好伝達コミュニケーションの効率化を目指した伝達方式の検討
LINE ShopチームでのSREの取り組み / SRE in LINE Shop team
