[B! s3] ni66lingのブックマーク

ni66ling id:ni66ling

s3に関するni66lingのブックマーク (13)

[CVAT]大量の画像(数千〜数万枚)をアタッチする - Qiita
概要クラウドストレージ(Amazon S3)からアタッチするのが良い manifest.jsonlの生成までの速度は、おそらくディスクI/Oに依存している CVATとは？ CVATとは、intel謹製の画像・動画アノテーションツールです。CVATの説明についてはこの記事では割愛します。たくさんの画像をアノテーションしたい数万枚（~5MBを5万枚とか）の画像をアノテーションしたい、という課題がありました。 Web上に上がっている記事を見る限り、これとかこれとかCVATそのものの紹介記事はあるのですが、GitHubの公式のissueを見ても、「えと、当方は数万枚とか一気に上げないといけないんですけど・・・」と良い記事が見当たらず、試行錯誤することになりました。ということで、この記事を書いて情報を共有する次第です。環境 CVATサーバ: CVATはEC2のインスタンスタイプr6i.2xl
ni66ling 2023/07/23
cvat

s3

qiita
リンク
S3バケットのオブジェクト数やサイズを確認する前に知っておきたいこと（LISTリクエストとS3インベントリ） | DevelopersIO
こんにちは。DA事業本部の春田です。年末の大掃除のように、たまに行いたいS3オブジェクトの棚卸し作業。AWS CLIを使って何も考えずにバケットの中身をチェックしてると、請求金額が結構お高くつきますよ、という注意書きです。 S3のLISTリクエストバケットの中身を確認する時、AWS CLIのaws s3 lsというコマンドがよく使われますが、これの裏で動いているLISTリクエストの料金は、1,000リクエスト毎に0.0047USDかかります。1リクエストで取得できるオブジェクトの最大数は1,000件なので、0.0047USDで最大100万個のオブジェクトの情報を取得することができます。大量のオブジェクトをLISTで取得するのは効率が悪いですし、何しろお金がもったいないです。データの棚卸しをしたい時は、S3インベントリがおすすめです。 S3インベントリ S3インベントリは、バケット内の
ni66ling 2022/05/25
aws

s3
リンク
AWS CLIでAmazon S3のバケットにあるファイルから最新のファイル名を1つ取得する - Qiita
便利だったのでメモ。やりたいこと以下のように特定のバケットにあるファイルから最新のファイル名を1つ取得したい。 > aws s3 ls s3://<バケット名>/ 2019-11-26 09:01:32 0 hoge1.txt 2019-11-26 09:01:54 0 hoge2.txt 2019-11-26 09:01:25 0 hoge3.txt 2019-11-26 09:01:46 0 hoge4.txt 2019-11-26 09:01:39 0 hoge5.txt # 「hoge2.txt」がほしい > <いい感じのコマンド> hoge2.txt
ni66ling 2022/05/25
aws

cli

s3

s3api

tips

qiita
リンク
CloudFrontでmulti originをするときにハマったところ - Qiita
概要年末で暇だったので、個人サービスの画像配信部分をCloudFront経由で早くしてやろうと思い、見事にハマった出来事についての備忘録です。ちゃんと調べずに自分でトライアンドエラーをしているので、かなりグダグダした内容になっています。ご了承ください TL;DR 内容がグダグダなので、何にハマったか知りたい人はこれだけ見て退散することをオススメします - BehaviorのPath PatternがOriginに渡るときにIgnoreされると思っていた - Path Patternは正規表現なのでIgnoreされずにOriginに届く - 例: - Path Pattern(`image/*`)を持つmulti-origin(`image-bucket`)なCloudFrontに対してリクエストを送る - `https://www.app.com/image/full/sample1.
ni66ling 2021/12/24
cloudfront

qiita

troubleshoot

s3
リンク
AWSアカウント間のS3, DynamoDBデータ移行計画の記録（背景と転送方法の検討） | DevelopersIO
はじめにこむろ@事業開発部です。今回、5年以上稼働していた SpringBoot アプリケーションをエンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。概要全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し作業時間は最大 5 時間転送はもちろん、データの完全一致の保証も含めて移行対象デー
ni66ling 2021/11/29
aws

migration

classmethod

dynamodb

s3

移行
リンク
GitHub ActionsでウェブサイトをAmazon S3にデプロイする | DevelopersIO
こんにちは。ジョン・ヒョンジェです！ GitHub Actionsを利用して、React プロジェクトをAmazon S3に自動でデプロイしてみましたので共有します。はじめに GitHub ActionsはGitHubリポジトリを基盤にWorkflowを自動化させることができるCI/CDのツールです。 GitHub ActionsでのWorkflowとは実行する作業とその作業を実行する条件や順序を定義したもので、YAMLに作成されます。GitHubのMarketPlaceで他の人が作成したWorkflowを使うことができ、独自のWorkflowを作成することもできます。 GitHub Actionsを使うとコードのビルド、テスト、デプロイという面倒な過程を自動化させることができるので、開発者の負担を減らすことができます。では、実際にGitHub Actionsを使ってReactプロジェク
ni66ling 2021/11/19
github

actions

s3

aws

classmethod
リンク
Athena で Amazon S3 サーバーのアクセスログを分析する
解決策 Amazon S3 では、サーバーアクセスログがオブジェクトとしてS3 バケットに保存されます。Athena でサーバーアクセスログを分析し、S3 クエリを行うには、次の手順に従います。有効になっていなければ、S3 バケットのサーバーアクセスログ記録を有効にします。[ターゲットバケット] と **[ターゲットプレフィックス]**の値を書き留めておきます。Athena クエリで Amazon S3 の場所を指定するには、両方が必要です。注: ログオブジェクトキー形式では、日付ベースのパーティション化を選択して、分析アプリケーションとクエリアプリケーションを高速化します。 Amazon Athena コンソールを開きます。注: 最初のクエリを実行する前に、場合によっては、Amazon S3 にクエリ結果の場所を設定します。 [クエリエディタ] で、DDL ステートメントを実行して
ni66ling 2021/10/25
athena

s3

log

tutorial
リンク
S3のアクセスログ設定方法 | Oji-Cloud
概要 Amazon S3にサーバーアクセスのログ記録を設定する方法を紹介します。アクセスログを設定することで、アプリケーションの履歴やセキュリティ観点でのアクセス記録を簡単に取得することが可能です。アクセスログの設定を有効にしても追加料金はかかりません。ただし、システムが配信するいずれのログファイルの格納に対しても通常の料金がかかります(ログはいつでも削除できます)。ログファイルの配信に伴うデータ転送料金はありませんが、配信済みのログファイルへのアクセスには、他のすべてのデータ転送と同じ料金がかかります。アクセスログはデフォルトでは無効になっています。ソースバケットとターゲットバケットの両方を同じ AWS アカウントが所有すること、さらに両方のバケットが同じリージョンにあることが必要です。（出典：Amazon Simple Storage Service開発者ガイド）当初別のAW
ni66ling 2021/10/25
s3

log

aws
リンク
GitHub - fernando-mc/serverless-finch: A Serverless Framework Plugin for Static Site Deployment
ni66ling 2021/05/05
serverless

framework

plugin

s3

spa
リンク
【Python】boto3でS3ファイル操作まとめ - Qiita
同バケット内でファイルをフォルダ間でコピー line/diagonal/hoge.csvを新たにlineフォルダ下にstraightフォルダを作成しそこにコピー import os import boto3 BUCKET_NAME = 'your_bucket' # バケット名 COPY_FROM = 'line/diagonal' # コピー元ディレクトリパス COPY_TO = 'line/straight' # コピー先ディレクトリパス] FILE_NAME = 'hoge.csv' # ファイル名 s3 = boto3.client('s3') copy_from_path = os.path.join(COPY_FROM, FILE_NAME) copy_to_path = os.path.join(COPY_TO, FILE_NAME) s3.copy_object(Bucke
ni66ling 2020/10/07
boto3

s3

python

qiita
リンク
CloudFront + S3 + Cognito + AWS Amplify + Vue.js で会員制サイトをサーバーレスで構築 | ハックノート
ホーム / サーバーレス / CloudFront + S3 + Cognito + AWS Amplify + Vue.js で会員制サイトをサーバーレスで構築
ni66ling 2020/08/15
cognito

s3

cloudfront
リンク
S3 + CloudFrontの静的サイト内の所定のパスにおいてBasic認証を導入する｜デロイトトーマツウェブサービス株式会社（DWS）公式ブログ
西藤です。静的なコンテンツのみで構成されるサイトを高い耐久性と高速なコンテンツ配信するためには S3 + CloudFront という構成による静的サイトホスティングが可能です。これによりEC2で立ち上げるサーバーの管理が不要になるので、より安心感を持ってサイト運用ができます。さらには弊社ブログにおいて、 S3静的ウェブホスティング+CloudFront+Lambda@EdgeでBasic認証をかけるの記事にて、その静的サイトホスティングとそのサイトにBasic認証をかける方法が紹介されていますが、今回はそのS3とCloudFrontの組み合わせでホストされた静的サイトにおいて、「特定のパスにおいてBasic認証をかける」ということを実現してみたいと思います。これにより「ID・パスワードを知っている人だけがアクセスできる専用ページ」をサイト内の特定のパスにて作ることができます。
ni66ling 2020/08/15
basic認証

cloudfront

s3
リンク
CloudFront + S3 + Lambda@EdgeでBasic認証付きお手軽静的サイト ( ランディングページ ) 環境を作った | PSYENCE:MEDIA
CloudFront + S3 + Lambda@EdgeでBasic認証付きお手軽静的サイト ( ランディングページ ) 環境を作った大島雅人 2018.06.25 148 1896556 こんにちは。開発支援Gでインフラ運用をしている大島です。 Lambda@Edgeとは、CloudFrontが配信するコンテンツをカスタマイズする関数を実行できる機能のことです。本記事では、これを使ってランディングページ ( 以下LP ) のような静的サイトに対してお手軽にBasic認証を設置する話です。また、最後におまけ程度ですが、この構成に到るまでの背景も書いていますのでもしよろしければご覧になっていってください。 LP環境をCloudFrontで作るのにBasic認証はどうしよう ? 開発中はデバッグ用の要素や社内開発環境へのリンクなども含まれていたりすることを考えると、何かしらの方法でア
ni66ling 2020/08/15
cloudfront

s3

lambda@edge
リンク
1