[AWS] S3へ巨大なファイルを「マルチパートアップロード」する - ねこの足跡R
AWS S3へ巨大なファイルをアップロードする際、より高速に転送するには「マルチパートアップロード」を利用することが推奨されています。また一定サイズ以上のファイルはSDKやREST APIからはそもそもPUTすることができません。 マルチパートアップロードというと一見難しそうに聞こえるかもしれませんが理屈も使い方も非常にシンプル。対応したGUIのアプリを使えば裏側で自動的に行なってくれるためそもそも意識する必要すらありません。 今回はAWS CLIとWindowsやmacOS上のGUIのクライアントを利用した方法を取り上げます。 マルチパートアップロードとは S3のそもそもの話 オブジェクトのサイズ上限 マルチパートアップロードの上限値 料金の罠 不完全なデータを確認＆削除 ライフサイクルを設定する アップロード方法 AWS CLI アプリ Cyberduck S3 Browser Win
![[AWS] S3へ巨大なファイルを「マルチパートアップロード」する - ねこの足跡R](https://cdn-ak-scissors.b.st-hatena.com/image/square/a6e8e6977ab0c38fc6dd0404d058c44fcf59728c/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkatsube%2F20231125%2F20231125062918.png)
Amazon S3を便利に使おう ~Cyberduckで楽々アップロード~
SCSKの根岸です。 Amazon Simple Storage Service (Amazon S3) はアマゾンウェブサービス (AWS) 内のサービスの中でも比較的よく利用されるサービスかと思います。今回は私もよく利用しているFTPツール「Cyberduck」を使ってAmazon S3をより便利に活用する方法をお伝えしたいと思います。 Cyberduckとは オープンソースのFTPクライアントソフトウェアで無料で利用することができます。 (ソフトウェアが気に入った場合は開発者に寄付することができます) Cyberduckは全体的にとてもシンプルで、画面も普段利用しているファイルエクスプローラーやファイルサーバにかなり近い見た目になっています。S3バケットに対するドラッグ&ドロップでのアップロードやダウンロードも可能になるのでとても使い勝手がいいです。 例えば、分析に用いるデータや業務
手を動かして学べるAWSの日本語講座まとめ AWS日本法人が公開 165コンテンツを一覧に
JP Contents Hub自体の閲覧・利用は無料。ただしハンズオンはいずれもAWSのサービスを活用するものなので、利用に応じた料金が発生する。AWSジャパンは今後、新たにハンズオンを作成した場合には、順次JP Contents Hubに追加するという。 関連記事 AWS初心者向けの教材まとめ、AWS日本法人が公開 AWSジャパンが、AWSの初心者向け教材などをまとめたWebページを公開した。初学者やクラウド人材の育成を受け持つ人向けで、自社の教材などを全6段階の理解度別に紹介している。 AWS、オンラインゲームを遊んでソリューション構築を学ぶ「AWS Cloud Quest」公開 実際にプレイしてみた 米Amazon Web Servicesが、AWSでのソリューション構築を学べるオンラインRPG「AWS Cloud Quest: Cloud Practitioner」を無料公開」。W
[AWS利用者必読] アクセスキー漏洩による不正利用について | DevelopersIO
AWSアクセスキーセキュリティ意識向上委員会って何？ 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 【はじめに】 昨今､アクセスキーの漏洩を契機とした不正利用の発生が多発しております｡AWS 利用のお客様へのビジネスリスクが非常に大きく､弊社としても憂慮する状況です｡ そのため､以下をお読み頂き AWS 利用のお客様は環境の見直しをお願い致します｡ 【この記事で伝えたいこと】 多額の費用発生リスクをなくすために､可能な限りアクセスキーの利用を
![[AWS利用者必読] アクセスキー漏洩による不正利用について | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3a9299c22c271be79f273b6db38d8ba6bc81bd1c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F05%2F8823428add162ea6925215296ff8c67f.png)
AWS IAMの属人的な管理からの脱却【DeNA TechCon 2021】/techcon2021-19
AWSをはじめとするクラウドプラットフォームの普及に伴い、DevとOpsの境目はかなり曖昧になっています。その中でもIAMの管理は設定によっては権限昇格を引き起こしかねないことから、その管理権限は慎重な管理になりがちです。結果的に、IAMは属人的な管理を行っている組織が多いのではないでしょうか。 一方で、DevとOpsの境目がどんどん曖昧になっていく中で、IAMロールやIAMユーザーを自由に作りにくい状況があると大変不便です。IAM関係のトライ・アンド・エラーが手軽に行えないことから、開発速度の鈍化を引き起こしたり、アーキテクチャ設計の上で運用上の足かせとなったりといったことが起こります。 また、それらの問題を回避しようとした結果として、IAMロールやIAMユーザーの使い回しが横行しはじめるなど、結果的に最小権限の原則が守られなくなっていくことも少なくはないのではないでしょうか。最小権限の
【AWS】S3まとめ - Qiita
どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは？ インターネットストレージ（平たく言うとgoogleドライブ、evernoteのようなwebブラウザから利用できるストレージ） S3はAPIまたはAWS CLIにてプログラムから操作（ファイルのアップロード、ダウンロード、削除）ができる 容量制限なし データはいつでもダウンロード可能 柔軟なアクセス制御ができる（IAM、アクセスコントロール、バケットポリシー） S3の概念 バケット バッケットを作成し、その配下にデータを格納する バケットはS3の中で一番大きな バケットは複数作成できる バケットでアクセス制御が可能 バケット作成時は、配置するリージョンを指定する オブジェクト オブジェクトは、データ（アップロードファ
Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO
よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している
S3のフォルダ配下のオブジェクトをすべて削除したときの挙動について | DevelopersIO
S3をローカルディスクと同じように考えて利用していて、少しハマったので共有させていただきます。 タイトルにはわかりやすいように書いてしまっていますが、次の記事のように普通のローカルディスクにあるような"フォルダ"という概念はS3には存在しません。 Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする このため、フォルダがあるように考えて利用すると、思うように行かない場面がありました。 あるPrefix以下のオブジェクトをすべて削除すると…？ 結果を言うと、S3のあるPrefix配下のオブジェクトをすべて削除したとき、"フォルダ"も一緒に消えてしまいます。 次のようにAWS CLIからファイルを作成してみます。 $ aws s3 mv sample.txt s3://sample-bucket-name123/sampleFolder/sample.txt AW
バウンスメールと AWS SES - コネヒト開発者ブログ
こんにちは！ フロントエンドエンジニアのもりやです。 先日エンジニアチーム内で AWS SES のバウンスレートについて話題になったのですが、その時に「バウンスって何？」という声がちらほら聞こえてきました。 Webサービスではユーザー登録や問い合わせなどメールが必要になる場面が多いです。 バウンスなどはメールを安定して送信するために必要な知識なのですが、なかなか担当する人以外は知られていないのかな、と思いました。 そこで今回は、バウンスメールなどのメール運用で知っておきたいエンジニア向けの知識を紹介しようと思います。 （執筆時に調べた資料などは最後に記載しておりますので、より詳しく知りたい方はそちらもあわせて読んでみてください） また、コネヒトでも使用している AWS SES の場合、バウンスをどう扱っていく必要があるかについても紹介します。 （※なお SMTP などのメールの仕組みや仕様
AWS 複数アカウントの構成基準を考えてみる | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 クラウド利用が進んできています。 企業内での複数 AWS アカウント契約も珍しくありません。 新規に AWS をご利用されるお客様においても 複数アカウント前提で話をすることが多くなっているように感じます。 複数アカウントを契約した場合のアカウント構成を どう考えたらよいかを整理してみました。 複数アカウントの使い分け アカウントを分割する際の基準を考えてみます。 リソース制限 クラウドの利点は、リソースを使いたい時にすぐ使えることですが、 無制限にリソースを作成できるわけではありません。 例えば、S3 バケットの上限はアカウントあたり 1,000 バケットです。(執筆日時点) 大量のリソースが必要な場合はアカウントを分割します。 リソース制限が本番サービ
「はじめてのAWS設計でやりがちな失敗パターンまとめ」について発表しました #devio2020 | DevelopersIO
西澤です。クラスメソッドに入社してからおよそ5年間クラウドの推進やAWS技術に関する支援をさせていただいております。この経験を何か形にしたいと思い、少し遅れてしまったのですが、Developers.IOイベントに乗じてまとめさせていただきました。 発表資料 資料はこちらにアップロードしております。 夜間に録音したので覇気が無い感じになってしまいましたが、動画はこちらです。 まとめ 「AWS設計でやりがちな失敗パターン」というタイトルで考え始めたのですが、もっともお伝えしたい点は、AWSを利用されるお客さまのマインドセットを変え、クラウドを活用できる組織に変わって欲しい、というところに集約できるかなと思います。技術的な問題以上に、考え方を変えられないこと、組織を変えられないことが、クラウド活用を阻害するアンチパターンになっていると思いました。 どこかの誰かのお役に経てば嬉しいです。
AWS IAMの最小権限追求の旅 - プログラマでありたい
皆さん、IAM使ってますか〜？ 今日は、IAMのベストプラクティスの中に呪縛のように存在する、最小権限をテーマに悩みを語ってみようと思います。 IAMでのセキュリティのベストプラクティス まずは、IAMのベストプラクティスの確認です。2020年7月現在では、17個存在しています。一番最後のビデオで説明するの唐突感以外は、どれも納得感がある内容で実践・遵守すべきです。 docs.aws.amazon.com AWS アカウントのルートユーザー アクセスキーをロックする 個々の IAM ユーザーの作成 IAM ユーザーへのアクセス許可を割り当てるためにグループを使用する 最小権限を付与する AWS 管理ポリシーを使用したアクセス許可の使用開始 インラインポリシーではなくカスタマー管理ポリシーを使用する アクセスレベルを使用して、IAM 権限を確認する ユーザーの強力なパスワードポリシーを設定
Amazon S3クライアント機能を搭載した、オープンソースのWindows対応FTPクライアント「WinSCP 5.13」リリース。FTPサーバのようにAmazon S3を操作
Amazon S3クライアント機能を搭載した、オープンソースのWindows対応FTPクライアント「WinSCP 5.13」リリース。FTPサーバのようにAmazon S3を操作 オープンソースで開発されているWindows対応のFTPクライアント「WinSCP」の最新バージョンである「WinSCP 5.13」がリリースされました。 WinSCP 5.13の最大の特徴は、Amazon S3をサポートしたことです。FTPサーバと同じようにAmazon S3に接続し、ファイルのアップロードやダウンロードが手軽にできるようになります。 WindowsやMacから利用できるAmazon S3クライアントには、CloudBerry ExplorerやCyberduckなどがすでに存在しています。WinSCPも日本語化された使いやすいAmazon S3クライアントの1つとして、これらのソフトウェアに並
AWSアカウントを作成したら最初にやるべきこと -セキュリティ編- - Qiita
JAWS-UG 初心者支部 #22 ハンズオン用の資料です。 目的 AWSアカウントを不正利用されないために、アカウントを作成したらまずやるべきセキュリティ周りの設定を行います。 前提 AWSアカウントを作成済みであること AWSアカウントにログインしていること リージョンは東京リージョンを利用します ハンズオン手順 アカウント周りの設定 ルートアクセスキーの削除 ※ルートアカウントのアクセスキーは、デフォルトでは作成されておりません。アクセスキーを作成済みの方を対象とします。 ルートアカウントは全てのサービスへのアクセスが出来てしまうため、ルートアカウントは使用せず、IAMユーザーを使用しましょう。 CLI等のプログラムアクセスも不要なため、アクセスキーを削除します。 https://console.aws.amazon.com/iam/home#/security_credential
[レポート] 高速でPDCAサイクルを回し、ゼロダウンタイムでAWSに移行したPokémon GOプロジェクト #reinvent [GAM304] | DevelopersIO
こんにちは。DA事業本部の春田です。 本記事は、AWS re:Invent2019の GAM304: Migrating the live Pokémon database to Aurora PostgreSQL のセッションレポートです。 The English version is here. 概要 Learn how the Pokémon Company International stores and supports data for more than 300 million players with the help of AWS. In this session, Jeff Webb (development manager) and David Williams (senior DevOps engineer) discuss how they migrated to
![[レポート] 高速でPDCAサイクルを回し、ゼロダウンタイムでAWSに移行したPokémon GOプロジェクト #reinvent [GAM304] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
料金 - Amazon Transcribe | AWS
AWS 無料利用枠の一環として、Amazon Transcribe の使用を無料で開始できます。Amazon Transcribe の無料利用枠は、最初の文字起こしリクエストを作成した日から 12 か月間利用できます。** 無料利用枠での使用量は、AWS リージョン全体で毎月計算され、自動的に請求額に適用されます。未使用分は持ち越されません。ご利用にあたっての条件が適用されます。詳細については、提供規約をご覧ください。無料使用期限が切れた場合、またはアプリケーションの使用量が無料利用枠を超えた場合は、標準の従量制サービス料金をお支払いいだたきます。 ストリーミング向けとバッチ文字起こし向けの両方の Amazon Transcribe API は、以下に示す段階的な料金に基づいて毎月請求されます。段階的な価格設定の料金や割引率は地域によって異なり、下記のドロップダウンから地域を選択すると適用
AWSのAZ(アベイラビリティーゾーン)とは？AZ障害が起きたときどうすればよいのか
アドテク本部の黒崎( @kuro_m88 )です。 2019/08/23にAWSの東京リージョンで特定のAZ内で大きめの障害がありました。 私が開発しているプロダクトもAWSの東京リージョンを利用していて、常時数百インスタンスが稼働しているため、今回の障害の影響範囲に含まれていました。 何が起きたのか？ AWSから公式発表が出ています。 東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要 データセンタ内の冷却の障害が原因で一部のハードウェアホストが過熱し電源が失われてしまったようです。これにより影響を受けたハードウェアホスト上で稼働していたEC2インスタンスやEBSボリュームは電源が失われているため、外部から見ると突然応答がなくなったように見えました。 担当サービスでも公式発表と同じくらいの時刻にELBやその配下のサーバ
AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず
AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず 報告によると直接の原因は東京リージョンのデータセンターで使用されている冷却制御システムにバグがあったこと。これにより、緊急時の手動操作にも冷却制御システムの一部が反応しないなどでサーバが過熱し、障害に至ったと説明されています。 8月23日午後に約6時間の障害。EC2だけでなくRDSも 報告によると、障害は日本時間2019年8月23日金曜日の昼過ぎに発生。影響範囲は仮想マシンを提供するAmazon EC2とブロックストレージを提供するAmazon EBSのそれぞれ一部。以下、AWSの報告を引用します。 日本時間 2019年8月23日 12:36 より、東京リージョン (AP-NORTHEAST-1) の単一のアベイラビリティゾーンで、オーバーヒートにより一
「AWS Toolkit for Visual Studio Code」正式版がリリース。AWS Lambdaのステップ実行、ローカルデバッグなど可能に
AWSはオープンソースとして開発されているコードエディタVisual Studio Codeの拡張機能として、これまでプレビュー公開されていた「AWS Toolkit for Visual Studio Code」が正式版になったことを発表しました。 AWS Toolkit for Visual Studio Codeと、AWS Command Line Interface（AWS CLI）やDockerなどを組み合わせることで、サーバレスコンピューティング環境であるAWS Lambdaのローカル環境でのステップ実行やブレークポイントの設定などのデバッグ操作などが可能になります。 そして開発したアプリケーションをAWSの任意のリージョンへのデプロイもVisual Studio Codeから手軽に行えるようになります。 AWS Lambdaのローカルデバッグが可能 AWS Toolkit f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セッション資料・動画一覧 - AWS Summit 2019 | AWS