S3へのファイル転送を高速化する手順 - skymatix Developers Blog
システムエンジニアの椎葉です。 ファイル数が多くなるとファイルの転送に時間がかかってしまいます。 ファイル転送の改善で処理時間やEC2のコストを削減することができます。 今回の例でも30%ほど転送時間＆コストを削減することができているので是非参考にしてみてください。 設定項目 今回改善するために変更する設定は下記の２つです。 項目名 説明 max_concurrent_requests 同時に実行できるリクエストの最大数を制御。この設定により、バケットへの同時アクセスを制御することができる。デフォルト:10 max_queue_size タスクキュー内の最大タスク数を制御。タスクが多くなると速度も速くなるが、比例して多くのメモリが必要になる。デフォルト:1000 設定変更のコマンド 設定を変更する際は下記のコマンドを実行します。 aws configure set default.s3.m
サーバレスで扱うデータストアとしてS3という選択肢があるらしい - Qiita
この記事は、ニフティグループ Advent Calendar 2020 最終日の記事です🎄 昨日は、@RPcat さんの 即フォーマットチェックにincronを使う でした。 ファイルの変更や操作を監視してくれるコマンドが用意されていることを知らなかったので、非常に勉強になりました。 はじめに 皆さん、サーバレスアプリケーションを作ろうと考えたときに選択するデータストアとして何を思い浮かべますか？ 多くの人が思い浮かべるのは、 Amazon DynamoDB Amazon RDS + Amazon RDS Proxy だと思います。 ただ、DynamoDBを使っているときに「使い慣れているSQLを使いたいなあ」と感じたり、個人でRDSを使うには「金額が高すぎるなあ」と感じることがあると思います。自分がそう感じていました。 そこで、これらの問題を解決する一つの選択肢として Amazon S
AWS CLIのS3コマンドまとめ - TASK NOTES
普段 AWS CLI を使うことはそんなにないんですが、S3 コマンドだけはよく使うのでまとめました。といっても全てではなく、ファイルやディレクトリ操作に関する部分です。 基本コマンド AWS CLI の S3 コマンドは以下の形式で実行します。 aws s3 <Command> [<Arg> ...] 基本的に Arg の箇所はパスを入力することになるのですが、ローカルのパスは「ローカルファイルまたはディレクトリの絶対パスまたは相対パス」、S3のパスは「s3://<bucket>/<prefix>/<object>」となります。prefix とはディレクトリやフォルダのイメージです。 Command Description cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バケットの作成 mv オブジェクトの移動 rb S3バケットの削除 rm オブジェクトの削除 sync
AWS WAFのログをFirehoseでS3に出力しブロックログをS3Selectで確認してみた | DevelopersIO
AWS WAF 包括ログ出力がサポートされたので、WAFのログをFirehose経由でS3に出力、ログの内容についてS3 Selectで確認してみました。 はじめに AWSチームのすずきです。 AWS WAF のアップデートにより、リクエストされたHTTPヘッダーと関連するWAFルール情報が含まれるアクセスログを Amazon Kinesis Data Firehose を利用し S3などに出力する事が可能になりました。 早速、リリースされたAWS WAF の包括的なログ記録機能と、出力されたログをS3 Selectを利用して確認する機会がありましたので、紹介させていただきます。 AWS WAF の包括的なログ記録機能が新たに利用可能に Firehose設定 AWS WAFのログ出力先となる Amazon Kinesis Data Firehoseと、ログ保管場所として利用するS3バケット
私家版AWS CLI S3チートシート - Qiita
AWS CLI S3のコマンドをまとめた俺俺チートシートです。 初めて使う方がハマりがちなポイントを押さえつつ、普段AWS CLI S3をお使いの方にも逆引きレシピとして使えるような形にしてみました。 以下のAWS公式ドキュメントの内容をベースにしています。 s3 — AWS CLI 1.16.57 Command Reference AWS Command Line Interface での高レベルの S3 コマンドの使用 - AWS Command Line Interface 目次 大きく3つのセクションに分けて記載しています。文量がかなり多くなってしまったので適宜ページ内検索などでジャンプ頂くのが良さそうです。 オブジェクトの読み込み操作 ls - オブジェクトのリスト presign - 署名付きURLの発行 署名付きURLのよくあるトラブル オブジェクトの書き込み操作 オブジェ
S3にアップロード時のpermission | technote
awscliを使用時において表題の通り。たまに忘れるのでメモ。 ■ 環境 awscli 1.8.6 ■ S3にファイルをアップロード awscliでファイルをS3にアップロードするとき、下記のようにしている。 $ aws s3 cp ./testfile.txt s3://withsin/testfile.txt この状態でアップロードされたファイルのアクセス許可(permission)は下記の通り。 ■ –acl `aws s3 cp`コマンドには`–acl`オプションがあり、下記を指定することができる。 private public-read public-read-write authenticated-read bucket-owner-read bucket-owner-full-control log-delivery-write ちなみに、その他の文字列を渡すと下記のようにエ
[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO
はじめに 清水です。ELBやCloudFront、S3などのアクセスログはS3に保存されます。 アクセスログは外部ツールと連携させて監視や可視化するということもあると思いますが、直接ログファイルを確認することも多いのではないでしょうか。 ログファイルを直接確認するときはS3から作業用マシンにファイルをコピーしますが、保存先のS3バケット内のPrefixで指定したディレクトリにファイルが大量にあることが多いことから、私はAWS CLIを使ってコピーすることが多いです。 AWS CLIの場合、UNIXとまったく同じ書式でワイルドカードを使用することはできませんが、--recursiveオプションと--excludeオプション、--incluceオプションを組み合わせることで同様のことができます。 今回はアクセスログファイルから特定の日付のファイルだけを作業用マシン（AWS CLIを実行している
![[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0eb469bfaff8e33e9f250bdad40fd2ee2aba555c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F09%2Faws-cli.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
