After four years of SMR storage, here's what we love—and what comes next
After four years of SMR storage, here's what we love—and what comes next In 2018, Dropbox became the first major tech company to adopt high-density SMR (shingled magnetic recording) technology for our storage drives. By 2019, our SMR fleet size was around 25%. Today, a staggering 90% of our total HDD fleet size is now SMR capable, and we’ve continued to lead the industry in adoption with the deplo
バウンスマネジメント用のメールアドレス帳をAWS移行しました - LIVESENSE ENGINEER BLOG
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデータセンターで稼動しているサーバーのクラウド移行を進めており、 2024年1Qの時点で大半はAWSへの移行が完了しています。 本記事では社内で古くから運用し続けているメール配信サーバーのバウンスマネジメントに使用するアドレス帳データをクラウド移行した件について振り返ります。 メール配信サーバー自体のクラウド移行に関しては本記事では触れません。 以降の章ではメール配信サーバーを自前で運用している背景やクラウド移行前後での構成比較、および移行後のシステム詳細について触れていきます。 なお記事内ではEメー
【CEO独占インタビュー】なぜZoomは世界中で好まれるビデオ会議になったか？
―シリコンバレーに行くには簡単ではなかったそうですね。Ericさんが労働ビザを申請して8回却下されたというエピソードは有名です。 実は、ビザが却下されてしまったのは文化的な誤解が原因です。ビザの審査官が私に名刺を見せるようにと依頼したのですが、その時たまたま私が持っていた名刺の肩書きは「ソフトウェアコンサルタント」でした。すると審査官は「あなたは外部契約のコンサルタントであって、フルタイムの従業員ではない」と決めつけ、入国を拒否したのです。その後も毎回違った理由で、私のビザの申請は却下されました。 そして忘れもしない、1997年8月9日。ビザの種類を変えて申請した9回目にして、とうとう私はビザを取得することができたのです。とても長い長い道のりでした。しかしこういった経験も無駄ではありません。私にとっては粘り強さを学ぶ、良い機会だったと思います。 14年間かけて作った製品が誰にも好かれていな
著名人になりすました詐欺広告に対する取り組みについて | Metaについて
オンライン詐欺は、インターネットを通じて世界中の人々を標的とする社会全体の脅威です。 詐欺は、多くの場合に国境を越えて行われ、自動化やその他のあらゆる手法を使って、意図的に私たちの検出を回避しようとする、悪意のある人々による仕業です。金銭を目的とし、詐欺をはたらく者が、様々なサービスやウェブサイト上で、広告と投稿の双方を活用したり、プラットフォーム間を移動したりと、人を欺くために常に新たな方法を編み出し続けている、敵対的な状況です。 Metaは、プラットフォーム上における安全を守るため、長年にわたり大規模な投資を行っており、2016年以降、チームと技術に200億ドル以上を投資してきました。これには詐欺対策も含まれ、プラットフォーム上の利用者を詐欺から守るための多面的な対策を講じています。 これには、弊社プラットフォームのすべてにおいて、この種の行為を禁じるポリシーやシステム、利用者が自身を
GMOクラウドからGmailにメールを送れなくなったトラブルの深層
著名なセキュリティーリサーチャーのpiyokango氏が注目のシステムトラブルをピックアップ。今週の注目ネタは…。 2019年6月第2週の注目ニュースは3件。最初は、4月から続くGMOクラウドのトラブルを取り上げる。 GMOクラウドで利用するアドレスブロックがスパム認定される（6月7日） GMOクラウドのサーバーから米グーグル（Google）のGmailやG Suiteにメールを送ると、エラーメッセージが返ってくるというトラブルが2019年4月に確認された。1カ月以上が経過した6月7日時点でも解決に至っていない。 原因は、英スパムハウスプロジェクト（Spamhaus Project）のリストにGMOクラウドのサーバーで利用するIPアドレスが登録されたからだと、GMOクラウドは考えている。スパムハウスプロジェクトは、スパムメールを送るサーバーのリストを公開している。グーグルはこのリストを参照
スタディサプリ最大のRailsアプリケーションにYJIT+pitchforkを導入してメモリ使用量を劇的に削減するまで - スタディサプリ Product Team Blog
こんにちは。SREのkyontanです。Rubyが大好きなのでRubyの話をします。ちなみにリクルートはRubyKaigi 2024へGold Sponsorとして協賛しています! *1。ぜひ沖縄でお会いしましょう。 これはあるアプリケーションのメモリ消費量を示すグラフなのですが、まさかgemを入れ替えるだけでこんなに嬉しい変化が見られるとは思っていませんでした。今日はそんなgemの話をします。 話は遡って2023年4月のある日、インターネットを眺めていたところ、ShopifyがpitchforkというOSSを公開したという情報が目に留まりました。 調べてみると、どうやら著名なRackサーバー実装の1つであるunicornの派生版であり、メモリ使用量の削減に特化しているらしいのです。 github.com これはスタディサプリ小中高のあのリソースドカ食いマイクロサービス第一位である api
March 20 ChatGPT outage: Here’s what happened
An update on our findings, the actions we’ve taken, and technical details of the bug. We took ChatGPT offline earlier this week due to a bug in an open-source library which allowed some users to see titles from another active user’s chat history. It’s also possible that the first message of a newly-created conversation was visible in someone else’s chat history if both users were active around the
続・AWS ECS Fargate のCPU性能と特徴 2023年版 | 外道父の匠
２年半近く前に書いた AWS ECS Fargate のCPU性能と特徴 | 外道父の匠 の続編になります。 そんなに楽しくはないけど、知っておいて損はない、くらいの調査と考察になります:-) 前口上 ちょうど１年前に FARGATE のリソース天井が上がりました。今回は、ほぼそれを区切りにした結果になっていると思います。 AWS Fargate でコンピューティングとメモリのリソース構成が 4 倍に増加 vCPU 条件と Availability Zone を変え、３タスクずつ起動し、出現したCPUモデルをメモっていきました。ついでに軽量ベンチマークとして前回同様 OpenSSL speed をカマしておきました。 関係ないけどコンテナイメージは amazonlinux:2 です。では結果をどうぞ。 出現CPUモデル CPUアーキテクチャを選べるので、それぞれについて。 ECS Farg
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
3日後に命運が決まる、パルワールドという偶然の物語｜ポケットペア
パルワールドのリリースに至るまで、様々な経験をした。 各ゲームで、それぞれ新しい事を学び、人の縁を作っていった。 どのゲームが欠けても、こうはならなかっただろう。 4. パルワールドという偶然の物語 リリースされなかった幻の1作目が無ければ、オーバーダンジョンは生まれなかった。 オーバーダンジョンが無ければ、クラフトピアは生まれなかった。 クラフトピアが無ければ、パルワールドは生まれなかった。 そして、どのゲームも、本当に大変な困難を伴いながらリリースされた。 幻の1作目も、本当に何度も作り直した。プロトタイプは下手したら20個ぐらい作ったかも知れない。喧嘩・・・というか、意見の相違の議論も、何百回もした。 どうしても解決困難な問題にも必死に取り組んだ。 そしてそれは、報われなかった。 オーバーダンジョンも苦労した。Steamへゲームを公開するのが初めてだったので、何から何まで分からなかっ
キャッシュを活用するために必要な知識と勘所 - そーだいなるらくがき帳
どうもキャッシュバスターズ、 id:Soudai です。 Cache（以下、キャッシュ）は特定の場面に置いて劇的な効果を発揮し、様々な問題を解決する反面、新たなコンポートやミドルウェアが追加され、複雑性が上がり、運用のレベルが上がるため、扱いに注意する必要があります。 キャッシュを活用することで、パフォーマンスの改善や負荷軽減が行われ、コンピュータリソースの最適化によるサーバコストの削減や、レスポンスの改善によるユーザエクスペリエンスの改善がされます。 反面、その劇的な効果に毒され安易に多用すると、サービスが強くキャッシュに依存してしまい、非常に壊れやすくなり、運用が難しくなってしまいます。これをWeb界隈では「キャッシュは麻薬」と比喩されて、戒められてきました。 そのためキャッシュを使わずにサービスが運用できるのであれば使わないに越したことはないのですが、ある一定以上の規模になった際にコ
「キャッシュは麻薬」という標語からの脱却 - id:onk のはてなブログ
これは はてなエンジニア Advent Calendar 2023 の 18 日目の記事です。昨日は id:gurrium による private-isuで70万点取るためにやったこと - ぜのぜ でした。私は 50 万点ぐらいで満足してしまっていたので、しっかり詰めていて凄いなと思う。 developer.hatenastaff.com Web アプリケーション開発において、「キャッシュは麻薬」という言葉がインターネット上をよく飛び交っています。YAPC::Kansai OSAKA 2017 の id:moznion のトークでよく知られるようになったワードじゃないかな。 初出はちゃんとは分からないんですが、少なくとも 2011 年には言われていますね。 「キャッシュは麻薬」とはよく言ったものだ。— TOYAMA Nao (@nanto_vi) November 5, 2011 キャッシ
AWS Data Center Cafe｜AWS (アマゾン ウェブ サービス)
このイベントは終了しました。AWS Data Center POP-UP CAFE 渋谷に OPEN！ もっと知りたい AWS データセンターでの仕事とキャリア クラウドコンピューティングが普及することにより、データセンターの重要性はこれまで以上に高まっています。その中でも世界で最も包括的で、幅広く採用されている AWS のクラウドコンピューティングサービスを支える、AWS のデータセンターでの仕事は、デジタル化社会を支える非常に意義深いものです。その一方、データセンターでの実際の仕事内容はまだまだ世の中に広く知られていません。そこで、アマゾン ウェブ サービス ジャパンは 2023 年 11 月 2 日 ( 木 ) ～ 11 月 3 日 ( 金・祝 ) の 2 日間、「AWS Data Center POP-UP CAFE ～ もっと知りたい AWS データセンターでの仕事とキャリア」を
RSA署名を正しく理解する
初めに 「署名とはメッセージのハッシュ値を秘密鍵で暗号化したものであり、検証は署名を公開鍵で復号してハッシュ値と等しいかを確認することである」という説明(×)をよく見かけます。 正しい署名の定義と実際のRSA署名がどのようなものであり、上記説明(×)がなぜよくないのかを理解しましょう。 署名の定義 署名の解説は署名の概要でも解説しましたが、再掲します。 署名（方式）は鍵生成（KeyGen）、署名（Sign）、検証（Verify）の3個のアルゴリズムからなります。 KeyGenではアリスが署名鍵sと検証鍵Sを生成します。署名鍵sは自分だけの秘密の値なので秘密鍵、検証鍵Sは他人に渡して使ってもらう鍵なので公開鍵ともいいます。 Signは署名したいデータmに対して署名鍵sを使って署名と呼ばれるデータσを作ります。 データmと署名σのペアを他人（ボブ）に渡します。 Verifyはボブが検証鍵Sを使
USB Type-Cに置き換える方法 第1話 Type-Cの原理を知る
ノートパソコンやタブレット、スマートフォンを中心に、USB Type-C搭載の機器を目にすることが多くなりました。表裏関係無く接続できるコネクターと、リバーシブルに接続できるケーブルによって、利便性が向上したと感じられている方も多いかと思います。USB Type-Cを機器に搭載するメリットは他の記事にお任せするとして、ここでは実際に現行のUSBコネクターをUSB Type-Cに置き換えるための方法を連載でご紹介します。 本記事は第1話概要編となり、置き換えるためにまず知っていただきたいType-Cの原理について、重要なポイントを説明します。実際に置き換えるための設計方法については、今後の実践編で掲載していきます。 概要編 USB Type-Cに置き換える方法 第1話 Type-Cの原理を知る 実践編 USB Type-Cに置き換える方法 第2話 USB2.0の場合 実践編 USB Type
同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
ワークフロー実行基盤をFargateからEC2へ変更したらコストもパフォーマンスも改善できて幸せになった話 - ZOZO TECH BLOG
はじめに こんにちは、ブランドソリューション開発本部バックエンド部SREブロックの小林（@mirai_kobaaaaaa）です。普段はWEARやFAANSというサービスのSREとして開発、運用に携わっています。 WEARではAmazon Elastic Kubernetes Service（以下、EKSと呼ぶ）を用いて複数システムのインフラ基盤を構築・運用しています。その中の1つとして、ワークフロー処理の実行基盤が存在しています。 本記事では、そのワークフロー実行基盤が抱えていた課題と、それらをどのように解決したのかを紹介します。また、付随して得られたメリットについても紹介いたします。 目次 はじめに 目次 WEARにおけるワークフロー ワークフロー処理内容 ワークフロー実行基盤の構成 ワークフロー実行基盤の課題 コスト内訳の調査 過剰なPodスペック Fargate実行時間の増大 ワーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
古い技術について—SMTP現代事情つまみ食い—
PostgreSQLとMySQLのメジャーバージョンアップのためのチートシート作った - そーだいなるらくがき帳
かっぱえびせんができるまで
