Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services
AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. When you store data in Amazon Simple Storage Service (Amazon S3), you can easily share it for use by multiple applications. However, each application has its own requirements and
Amazon S3 セキュリティベストプラクティスの実践（権限管理のポリシー) – 前編 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 セキュリティベストプラクティスの実践（権限管理のポリシー) – 前編 はじめに AWS では、サービス毎にセキュリティのベストプラクティスを公式ドキュメントとして提供しています。本記事では AWS を利用したシステムのセキュリティの検討や実装に関わる皆様を対象に、AWS の代表的なストレージサービスである Amazon Simple Storage Service (S3) を題材にとりあげて、公式ドキュメントで紹介しているベストプラクティスの実装方法をできるだけ具体的に解説したいと思います。 IT セキュリティにおいては、一つの脆弱性や悪意がセキュリティ事故に直結しないようにシステムを多層的に保護する事が重要です。AWS においても、サービスが提供する機能を適所でご利用いただければ多層化されたセキュリティ保護策を、クラウ
運用時のログ調査に便利！CloudFrontのアクセスログをマネージメントコンソールから手っ取り早く確認してみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 S3 Select がリリースされたことにより、マネージメントコンソールからS3に保存されているファイルに対してSQLを実行できるようになりました。 今回、このS3 Selectを使ってCloudFrontのアクセスログをマネージメントコンソールから簡単に確認する方法を紹介したいと思います。 どういう場面で使う？ 運用時にCloudFrontなどのアクセスログの調査を行うことはよくあると思います。 その場合は、ある特定の時間のログを確認することが多いと思います。 そんなとき、手っ取り早くアクセスログを確認したいときに便利かと思います。 事前準備 CloudFrontの構築とログの出力設定を行っておき、S3にアクセスログを出力させておいてください。 https://docs.aws.amazon.com/ja_jp/AmazonCloudFront/la
Amazon S3 が S3 Select の新機能を発表
Amazon S3 が S3 Select に機能の強化を発表しました。S3 Select は、オブジェクトから必要なデータのみを抽出するよう設計された Amazon S3 機能で、パフォーマンスを大幅に改善し、S3 のデータへのアクセスに必要なアプリケーションのコストを削減することができます。 本日から、Amazon S3 Select は CSV と JSON フォーマットで保存されたオブジェクトに使えます。お客様の声に基づいて、S3 Select は Apache Parquet フォーマット、JSON Array、CSV と JSON オブジェクトに対する BZIP2 圧縮をサポートするようにしました。また、S3 Select に対する CloudWatch Metrics へのサポートも加え、アプリケーションでの S3 Select の使用をモニターします。 Parquet は、
Git LFSをAmazon S3でいい感じにする話 - YDiary
はじめに 皆さんはソースコードリポジトリの保存先として，GitHubなどのホスティングサービスをお使いでしょうか． また，リソースファイルなどのバイナリファイルを管理するためのリポジトリのサイズが肥大化していたりしないでしょうか． 実は，GitHubなどのホスティングサービスでは推奨されるリポジトリのサイズが決められており，そのサイズを大幅に超過するようなリポジトリは運営による凍結・削除の対象となってしまうことがあるのです． この記事では，そうしたリポジトリの肥大化を，バイナリファイルをソースコードとは別で管理することによって防ぐことが可能なGit LFS (Large File Storage)と，Git LFSのサーバとしてAmazon S3を活用する方法などを紹介します． 推奨されるリポジトリのサイズ 各ホスティングサービスで推奨されるリポジトリのサイズは次の通りです． GitHub
AWS CLIがS3とのトラフィックを帯域制御できるようになりました | DevelopersIO
AWS CLI単体でS3とのトラフィックを帯域制御出来るようになったため、早速使ってみました。 3行まとめ クライアント OS に依存せず AWS CLI 単体で帯域制御可能 インバウンド・アウトバウンドで同じ値を適用 設定コマンド $ aws configure set default.s3.max_bandwidth 50MB/s やってみた 環境 EC2(m4.xlarge)のAmazon Linux AWS CLI:1.14.8 S3転送に利用するオブジェクトの作成 1 GB のオブジェクトを作成します。 $ fallocate -l 1G test.dat AWS CLIの初期設定値 帯域制御用に追加された s3.max_bandwidth を除き、AWS CLI の設定値はデフォルトのままとします。 特に、s3.multipart_threshold は 8MB のため、今回試
Amazon S3 でリダイレクトを扱う | DevelopersIO
試してみた それでは早速設定して動作を試してみましょう。 静的ウェブホスティングを有効化する まずはリダイレクト機能は S3 の静的ウェブホスティングの機能となりますので、S3 バケットの静的ウェブホスティング機能を有効化します。 マネジメントコンソールにログインし、S3 の画面から静的ウェブホスティングを有効化するバケットを選択します。 Properties から Static website hosting を選択します。現在は無効状態ですので、ステータスに Disabled が表示されています。 「Use this bucket to host a website」を選択し、Index document を設定します。今回は index.html で設定します。URL がフォルダへのアクセス時にフォルダの中の index.html を返す、という設定です。「Save」ボタンをクリック
[2018/03/08追記]API Gatewayでサーバレスな画像リサイズAPIを作る - Qiita
<2018/03/08追記> 2018年3月、Lambda@Edgeを使った画像リサイズのソリューションがAWSの公式ブログにて紹介されました。 - Amazon CloudFront & Lambda@Edge で画像をリサイズする - Amazon Web Services ブログ 今後サーバレスな画像リサイズ処理について検討する場合は、上のブログ記事を参照されることをお勧めいたします。 </追記> 2016年11月に Amazon API Gatewayがバイナリデータに対応したので、Amazon CloudFront、AWS Lambda、Amazon S3を組み合わせて、フルマネージドな画像変換（リサイズ）APIを作ってみる。 やりたいこと URL中のパスで指定したファイルを、クエリパラメータで指定したサイズ（今回は幅のみ指定）に変換して返す。 例えば HTML中にimgタグで
![[2018/03/08追記]API Gatewayでサーバレスな画像リサイズAPIを作る - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/77fb4ecf40c257bfd51080307b27cd2ea12d4181/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCMjAxOCUyRjAzJTJGMDglRTglQkYlQkQlRTglQTglOTglNURBUEklMjBHYXRld2F5JUUzJTgxJUE3JUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUFDJUUzJTgyJUI5JUUzJTgxJUFBJUU3JTk0JUJCJUU1JTgzJThGJUUzJTgzJUFBJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgyJUJBQVBJJUUzJTgyJTkyJUU0JUJEJTlDJUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yYmM0MzgwNTBkYWFhMzg1ZDIzNjYxMTBkYTdhMmE0OA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwYWtpdHN1a2FkYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDE3MWMyNzliNmM2MjQ3OTU3MTNmYjY3NTY2YjU5MGM%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dd6c5128cf38c37ac40a9bdbf0425876b)
静的HTML公開フローをサーバレスでDevOps！(Github,CircleCI,AWS S3) 前編 - Qiita
静的HTML公開フローをサーバレスでDevOps！(Github,CircleCI,AWS S3) 前編GitHubAWSS3CircleCI コーポレートサイトなどの静的サイトを、Github+CircleCi+S3webhostingでサーバレスDevOpsを実現。 主な利点 ・Github操作のみでデプロイを自動化。 ・サーバレスなのでサーバ運用不要。 ・ステージングサイトには閲覧制限(許可IP制）を設けることで、外部会社との連携も安全。 構築内容 AWS S3 webhosting構築 Githubリポジトリ作成 静的ページを用意 HTML+CSS(bootstrap) CircleCIでのオートデプロイ オートデプロイテスト +αでフォームサイトはlambda,cognitoで実装 6は後編で掲載予定。 想定フロー 各自ローカル環境でHTML編集。Githubで管理。 stagi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - lmammino/s3st: A command line utility that allows you to stream data from multiple S3 objects directly into your terminal
minio/minio · GitHub
“Amazon S3”プロトコルに対応した「WinSCP」v5.13が正式公開／オープンソースで開発されている無償のFTP/SFTP/SCPクライアントソフト
GitHub - widdix/aws-s3-virusscan: Antivirus for Amazon S3
S3にCloudFrontを通すことで月20万ぐらい節約した話 - Qiita
GitHub - pottava/aws-s3-proxy: Reverse proxy for AWS S3 with basic authentication.
GitHub - littlstar/s3-lambda: Lambda functions over S3 objects with concurrency control (each, map, reduce, filter)