タグ

rustとcsci_並行並列に関するl-_-llのブックマーク (1)

  • Rustによる並列処理でDynamoDBへのデータ投入を20倍高速化してみた

    はじめに 言語として高速だと謳われているRust。そのRustを使用してDynamoDBへのデータ登録処理を直列処理と複数の並列アルゴリズム処理で速度比較してみました。 DynamoDB DynamoDBは公式で以下のように謳われています。 Amazon DynamoDB の応答時間は 1 桁ミリ秒で、最も要求の厳しいアプリケーションでも一貫してこのパフォーマンスを発揮できます。例を挙げると、2022 年の Amazon プライムデーに Amazon DynamoDB は、1 桁ミリ秒のパフォーマンスで、数兆回の API コールに対して 1 秒あたり 1 億 520 万件のリクエストを確実に処理しました。 上記だけみると爆速のようにも思われますが、読み込みと書き込み双方に以下の制限があります。 BatchWriteItemのデータ投入は1回で25リクエストまで、Queryのデータ取得は1回

    Rustによる並列処理でDynamoDBへのデータ投入を20倍高速化してみた
    l-_-ll
    l-_-ll 2023/11/29
    "RustはRubyの10倍前後の速度を出せているようです。" "結果として、DynamoDBで大量のデータを投入する場合、大人しく直列でやったほうが無難そうという結果となりました。"
  • 1