こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
hirose31/s3surfer でさくらのクラウド オブジェクトストレージにアクセスする - Hateburo: kazeburo hatenablog
hirose31さん作のAmazon S3にあるファイルリストの閲覧とファイルのダウンロードにとても便利なツール s3surfer にAPIのエンドポイントURLを切り替えるオプションをつけていただき、さくらのクラウドのオブジェクトストレージにもアクセスできるようになりました。 github.com さくらのクラウドのオブジェクトストレージについてははこちら cloud.sakura.ad.jp こちらのサービスではS3互換のAPIを提供させていただいています。 使い方 Mac/Linuxの場合はGitHubのリリースページからバイナリをダウンロードしてインストールできます。v1.0.3 以降で --endpoint-url オプションが使えます。 さくらのクラウドのオブジェクトストレージのAPI Endpointを指定して起動します。その他のS3互換ストレージでも利用できるかと思います。
Amazon EC2 enables replacing root volumes for quick restoration and troubleshooting
Amazon EC2 announces the Replace Root Volume feature that enables customers to replace the root volume for a running instance. The feature restores the root volume of an instance to its launch state, or to a specific snapshot, without stopping the instance. This allows customers to fix issues, such as root volume corruption or guest operating system network configuration errors, while retaining th
AmazonLinux2 + Gogs で LDAP 認証 / TLS 対応な Git リポジトリを構築する - らくがきちょう
気軽に使える Git リポジトリを作る場合、手軽に初められる Gogs が便利です。 今回は AmazonLinux2 + nginx + gogs + Sqlite3 + Let's Encrypt 環境の構築手順をメモしておきます。 環境 Let's Encrypt で証明書を取得する Nginx のインストール Gogs のインストール 起動＆自動起動の設定 ActiveDirectory (LDAP) 認証の設定 参考 gogs/scripts/systemd/gogs.service 環境 今回、構築する環境のポイントは以下です。 AmazonLinux2 上で構築する Gogs で Git リポジトリを構築する Gogs へのログインは Samba4 へ LDAP 認証を行う Gogs のフロントエンドとして Nginx を構築する (クライアント → Nginx → Gogs
New – Savings Plans for AWS Compute Services | Amazon Web Services
AWS News Blog New – Savings Plans for AWS Compute Services I first wrote about EC2 Reserved Instances a decade ago! Since I wrote that post, our customers have saved billions of dollars by using Reserved Instances to commit to usage of a specific instance type and operating system within an AWS region. Over the years we have enhanced the Reserved Instance model to make it easier for you to take ad
ご存知でしたか？EC2インスタンスは再起動なしにディスクサイズ(EBSボリュームサイズ)を増やせます | DevelopersIO
やりたいこと ディスクサイズを増やしたい！ EC2インスタンスを立ち上げて利用し始めたは良いものの、実際使ってみると保存しておきたいデータがいっぱいでディスクの空き容量が少なくなってきてしまった…ピンチ… あると思います。ディスクサイズを増やしたいところですね。 私は、ディスクサイズ拡張などEBSの設定に変更を加えたい場合、以下の作業が必要だと思っていました。 インスタンスを停止する EBSボリュームをデタッチする スナップショット作成 スナップショットを使って新しいサイズのEBSボリュームを作成 EBSボリュームアタッチ インスタンス再起動 2019年5月現在、これらの作業は 不要 になっていました。確かに昔はこのような作業が必要でしたが、今はインスタンスを起動したまま、ボリュームをアタッチしたまま、サイズ拡張が可能です。どうやら2017年2月のアップデートだったようですね。。AWSの進
AWS Backup で EC2・RDS のバックアップを取得してみた | Wedding Park CREATORS Blog
こんにちは、インフラエンジニアの綿引です。 今回は AWS Backup を使って EC2 と RDS のバックアップを取得してみました。 なかなか面白かったので、AWS Backup の概要も含めてアプトプットさせていただきます。 AWS Backup とは AWS の各サービスのバックアップを一元的に管理できるサービス です。 今までのバックアップは各サービス毎に取得するしかなかったので、 一元管理できるのは嬉しいですね。 AWS Backup で現在までにサポートされているサービスとリソースは以下となっています。 サービス リソース
AWS SDK for PHP バージョン 3 での Amazon S3 ストリームラッパー - AWS SDK for PHP
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS SDK for PHP バージョン 3 での Amazon S3 ストリームラッパー Amazon S3 ストリームラッパーにより、組み込み PHP 関数 file_get_contents、fopen、copy、rename、unlink、mkdir、rmdir などを使用して Amazon S3 に対してデータの保存および取得ができます。 使用するために Amazon S3 ストリームラッパーを登録する必要があります。 $client = new Aws\S3\S3Client([/** options **/]); // Register the stream wrapper from an S3Client object $client->regis
せーのでございます。 いよいよ本日、2020/12/01よりre:Invent 2020が開催されております！ そして先程行われた「AWS Late Night Week 1」にて早速新機能が発表されました。まさかのmac EC2!! 細かい情報はもこのブログを見てもらうとして、やっぱりせっかくのmac、画面が見えないとmacぽくない。 ということでVNCでつないでGUIを表示してみました。 やってみた とりあえず上のブログを参考にmac EC2をシンガポールリージョンで立ち上げ、SSHでログインしてみます。 ssh -i ./test.pem ec2-user@ec2-999-999-99-999.ap-southeast-1.compute.amazonaws.com Last login: Tue Dec 1 05:54:37 2020 from 113.159.237.176 .:
Brisa Robotics が AWS を使用してロボティクスの運用を改善する方法 | Amazon Web Services
Amazon Web Services ブログ Brisa Robotics が AWS を使用してロボティクスの運用を改善する方法 この投稿では、Brisa Robotics がアマゾン ウェブ サービス (AWS) を活用して、さまざまな車両からデータを収集、保存、処理し、顧客業務を改善する方法について説明します。 Brisa は、自動運転ではない産業機械を自動運転車両に改造して、データを収集して顧客が主要なパフォーマンス指標を追跡し、業務を改善できるようにしています。彼らの使命は、スクラップを売って新しい機械を購入する代わりに、既存のインフラを活用して古い機械を再利用することで、顧客の効率を高めることです。Brisa は、フォークリフト、パレタイザー、テレハンドラーなどのマテリアルハンドリング機器 (MHE) を強化するための独自のモジュラーロボットキットを提供しています。これらのロ
GitHub - lmammino/s3st: A command line utility that allows you to stream data from multiple S3 objects directly into your terminal
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
Amazon Linux 2 is now available with an updated Linux kernel (5.10) as an Amazon Machine Image (AMI). Kernel 5.10 brings a number of features and performance improvements, including optimizations for Intel Ice Lake processors and AWS Graviton2 processors powering the latest generation Amazon EC2 instances. Live patching for Kernel 5.10 is supported in Amazon Linux 2 for both x86 and ARM architectu
はじめに こんにちは、AWS事業本部のニシヤマです。はいマスキュラー。 何らかの理由でEC2インスタンスのリストアをする際など、EC2インスタンスを削除して再作成する際にネットワークインターフェイスの項目で指定すれば削除前と同じプライベートIPアドレスを利用することは可能です。ただし、マネジメントコンソールでこの方法を実施するとMACアドレスに関しては再作成時に自動で割り当てられる為、MACアドレスをソフトウェアのライセンス認証に利用している場合など問題が発生してしまいます。 今回はそんな時に以前と同じプライベートIPアドレスとMACアドレスを利用する方法をご紹介したいと思います。 やり方 こちらのドキュメントに記載の通り、ENI（Elastic Network Interface）にはプライベートIPアドレス、MACアドレスを含む以下の属性情報を含めることが可能です。その為、ENIを削除
S3のコンテンツを管理したい そのWebサービスでは画像やJS、CSSなどの静的リソースをAWSのS3に上げて利用していたのですが、マネコンから手動でアップロードしている状態でした。 そのため、量が多いと作業も大変ですし、抜け漏れなどの人的ミスも発生していました。 元々その静的リソースはgitにも保存していたので、gitで管理しているリソースをawsのcliで aws s3 sync で同期した方が確実だし楽じゃん！、と思いデプロイ手順を変更しました。 gitとs3の手動同期 そもそも今gitとs3の中身って本当に同じなの？、という疑惑があったので、 aws s3 sync で全差分を出して一つずつチェック。 S3にしかないもの、gitにしかないもの、これどこで使ってるの？、みたいなファイルが山ほどあり、調整は時間を要しましたが、基本はS3に上がっているものが正なので、差分はS3のものを残
New EC2 T4g Instances – Burstable Performance Powered by AWS Graviton2 – Try Them for Free | Amazon Web Services
AWS News Blog New EC2 T4g Instances – Burstable Performance Powered by AWS Graviton2 – Try Them for Free December 10, 2020 – Post updated for the extension of the T4g free-trial until March 31, 2021. During the free-trial period, customers who run a t4g.micro instance will automatically get 750 free hours per month deducted from their bill during each month. T4g free-trial will be available in add
S3 on LocalStackをGoとFUSEを使ってMountする（WSL2） | フューチャー技術ブログ
はじめにTIG DXユニットの真野です。夏休み自由研究連載の5本目です。 ずっと気になっていた、go-fuseを用いて、LocalStack でローカル環境にエミュレートされるS3バケットをマウントするツールを開発しました。普段はWebのAPIサーバを中心に開発しているので、FUSEとはいえファイルシステムの知識が無く、トライ＆エラーの連続ですごく楽しい自由研究（工作）でした。 モチベーションは以下です。 業務でよくS3にアクセスするコードを書き、ローカル開発ではLocalStack上のS3を用いてテストしている LocalStack上のS3に事前データを置いたり、事後データの検証にいちいちアクセスコードを書くのが面倒 実装ミスで予期しない階層にファイルを出力してしまったりするときに、容易に視認できるようにしたい aws cliコマンドを叩けば良いけど、コマンドを覚えられないし手間がある
JAWS DAYS2022の発表資料
AWSのセキュリティグループの許可ソースにセキュリティグループを設定するパターンとは-エンタープライズIT [COLUMNS]
金融システムの運用保守や情報システム部門のIT支援などを経て、現在は顧客へのAWS導入・移行の提案、構築などを担当。社内向けの勉強会、技術支援などを実施し、AWSエンジニアの育成にも挑戦中。好きな食べ物はカレーと餃子。 執筆・監修者ページ／掲載記事：6件 みなさん、AWSのセキュリティグループはご存じでしょうか？ こんにちは。エンジニアの中井です。 AWSのサービスを利用する上で、避けては通れないのがセキュリティグループの設定です。 このセキュリティグループですが、改めてドキュメントを読み返すと色々と発見がありました。 そこで今回は、セキュリティグループの基本的な部分をおさらいしつつ、インスタンスへの設定パターンなどについて説明していきたいと思います。 セキュリティグループのおさらい 一言でいうと セキュリティグループは「ステートフルなファイアウォール」で、インスタンスレベルで動作。 ネッ
![AWSのセキュリティグループの許可ソースにセキュリティグループを設定するパターンとは-エンタープライズIT [COLUMNS]](https://cdn-ak-scissors.b.st-hatena.com/image/square/ec7a7459de5f863ffe2b1e3dab25b4653f6eef5a/height=288;version=1;width=512/https%3A%2F%2Fent.iij.ad.jp%2Fwp-content%2Fuploads%2F2020%2F10%2Fe-aws01.png)
こんにちは、MNTSQでSREとして勤務している中原といいます。 プライベートも含めて、技術記事は久しぶりな気がします。がんばります。 さて、さっそくですが、日本人にとって、あるいは、韓国の方や中国の方も含めて、コンピュータ上でそれぞれの国の言葉を扱おうとしたときに苦労するのが文字コードです。 かつては（あるいは今も）、Shift JIS、EUC-JPなど、OSや環境などによって使われる文字コードが異なり、相互の連携や、同じOSでも設定次第で大いに苦労したものでした（と聞いておりますし、個人でPCを楽しんでいたときには苦しんだりした記憶があります）。 そうこうしているうち、多くのOSで標準的な文字コードとしてUnicodeが採用されるようになりました。Windowsでは内部でUTF-16LEを採用しています。Linuxでは、UTF-8を標準とすることが多くなりました。 Unicodeに統一
こんにちは、編集部です。 サーバーの移行を検討していて、ディレクションチームでも利用できるAWSサービスはないのかな(EC2はハードルが高い)と探していたところ、AWSのVPSサービスであるAmazon Lightsailをみつけました。EC2との違いを中心にAmazon Lightsailについてまとめてみました。 Amazon Lightsailは、AWSが提供しているVPS（Virtual Private Server:仮想プライベートサーバー）サービスです。 他のAWSのサービスは、機能ごとに1つのサービスとして提供されています。しかしAmazon Lightsailはコンピューティング、ストレージ、データ転送など、WebサイトやWebサービスなどに使うサーバーとして必要な機能を組み合わせ、1つにまとめたパッケージで提供されています。そのため、Amazon Lightsailは、一
Amazon Linux AMI の最新バージョン（2018.03）に対するサポート終了は 2020年6月30日 とアナウンスされておりましたが、本日、サポート期間延長のアナウンスがありましたのでシェアします。 Update on Amazon Linux AMI end-of-life サポート延長の内容 延長されるサポートの内容は下記のとおりです。 最新バージョン（2018.03）のパッケージに対するセキュリティアップデートは2020年12月31日まで 2020年12月31日以降は、縮小されたバッケージセットに対する critical and important security updates のみを2023年6月30日まで延長 AWS の新機能や、EC2 の新機能に対するサポートは保証されない 縮小されたパッケージセットとは 2020年12月31日以降、サポート対象のパッケージは縮
Amazon S3 Update – SigV2 Deprecation Period Extended & Modified | Amazon Web Services
AWS News Blog Amazon S3 Update – SigV2 Deprecation Period Extended & Modified Every request that you make to the Amazon S3 API must be signed to ensure that it is authentic. In the early days of AWS we used a signing model that is known as Signature Version 2, or SigV2 for short. Back in 2012, we announced SigV4, a more flexible signing method, and made it the sole signing method for all regions l
Amazon S3 アップデート – セキュリティおよびアクセス制御のための 3 つの新しい機能 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 アップデート – セキュリティおよびアクセス制御のための 3 つの新しい機能 Amazon S3 をリリースしてから 1 年ほど後、私が参加した技術会議でエレベーターに乗っていたときに、何人かのデベロッパーが、データストレージをどうしているかとの質問に対して「S3 に投げるだけ」と答えているのを耳にしました。コメントがとても自然なものだったので、その瞬間をよく覚えています。そこで初めて、S3 がどれほど早く普及したのかを認識しました。 このリリース以降、当社は、数百の機能と複数のストレージクラスを S3に追加してきました。また、1 か月間に 1 ギガバイトのデータを格納するコストをほぼ 85% 削減しました (S3 Standard では 0.15 USD から 0.023 USD、最も低額なものでは S3 Glaci
AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 従来の AWS のやり方で、AWS Glue チームが DynamoDB テーブルからネイティブに読み取る AWS Glue クローラおよび AWS Glue ETL ジョブの機能をリリースしたときは、AWS ビッグデータブログで Goodreads はどのように Amazon DynamoDB テーブルを Amazon S3 にオフロードし、Amazon Athena を使用してクエリを実行するのかを公開してから一週間も経っていませんでした。おかげで私はかなりわくわくしていました。コードがより少ないということは、バグもより少ないことを意味します。元のアーキテクチャは少なくとも 18
Bezos DDoS'd: Amazon Web Services' DNS systems knackered by hours-long cyber-attack
Distributed assault hampering connectivity for websites, apps, customers are warned Updated Parts of Amazon Web Services were effectively shoved off the internet today – at times breaking some customers' websites – after the cloud giant came under attack. Unlucky netizens were intermittently unable to reach sites and other online services relying on the internet goliath's technology as a result of
[ストレスレスへ]S3操作の効率化を図るため、goofysでのマウント・アンマウント手続きを抑えてみた | DevelopersIO
はじめに S3上の圧縮ファイルをダウンロードして数行を取得する、といった作業は繰り返すとそれなりの時間と手間が掛かります。 S3バケットをローカル環境にマウントすることによってアクセスに掛かる時間を短縮して作業を軽快にしつつ、見落としがちなアンマウント操作もまとめてみました。 導入 作業の繰り返しが快適になるように性能を求めたいため、マウントにはgoofysを利用します。 go get github.com/kahing/goofys go install github.com/kahing/goofys s3fsよりも高速に使えるgoofysを試してみた S3の指定バケットをマウントする 指定するバケット名は必ず利用するAWSアカウントがアクセスできるバケットであることを確認しておきます。環境設定をしていない場合はdefaultプロファイルが適用されるため、必要に応じてAWS_PROFI
![[ストレスレスへ]S3操作の効率化を図るため、goofysでのマウント・アンマウント手続きを抑えてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/55e5ee85a70b0b6893eeca79750f0d06a94b8595/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-s3.png)
New – Additional Checksum Algorithms for Amazon S3 | Amazon Web Services
AWS News Blog New – Additional Checksum Algorithms for Amazon S3 Amazon Simple Storage Service (Amazon S3) is designed to provide 99.999999999% (11 9s) of durability for your objects and for the metadata associated with your objects. You can rest assured that S3 stores exactly what you PUT, and returns exactly what is stored when you GET. In order to make sure that the object is transmitted back-a
困っていた内容 1日のうち決まった時間帯のみ特定の EC2 インスタンスを起動させたい要件があります。毎回手動で行うのは手間なので、自動化させたいと考えています。 どうすればいいの？ Amazon Systems Manager のオートメーションと CloudWatch イベントを使用して自動起動、停止をスケジュールすることが可能です。 IAMロールを作成する CloudWatch イベントの作成時に使用する IAM ロールを作成します。 CloudWatch Events には、提供された Automation ドキュメントとパラメータを使用して SSM Start Automation Execution を呼び出すための権限が必要です。 IAM コンソールよりロールを作成します。今回は event-ssm-automation-role という名前のロールを作成しました。IAM ロ
キャッシュ可能な署名付きURLを考えてみる
この記事は2023年10月06日に開催された 「Cloudflare Meetup Nagoya 第3回」 で登壇した資料に基づいて作成されています。 登壇資料も併せてアップロードしていますので、そちらも併せてご覧ください。 今回のコンセプト 今回のコンセプトはタイトルにもある通り、 「キャッシュ可能な署名付きURL」 です。 昨今、画像はCDNを経由して配信されることが当たり前となりました。 ですが、たとえCDNを挟んでいたとしても画像配信は想像以上に金額がかかることは、AWSやGCPなどのストレージサービスを利用している人はご存知の通りでしょう。 そこで、Cloudflareのデータ転送料金は無料ということもあり、画像や動画コンテンツだけはCloudflareを使うケースが増えてきました。 例えば、実データはCloudflare以外のサービス（例えばS3）に配置し、CDNだけCloud
New – Trigger a Kernel Panic to Diagnose Unresponsive EC2 Instances | Amazon Web Services
AWS News Blog New – Trigger a Kernel Panic to Diagnose Unresponsive EC2 Instances When I was working on systems deployed in on-premises data centers, it sometimes happened I had to debug an unresponsive server. It usually involved asking someone to physically press a non-maskable interrupt (NMI) button on the frozen server or to send a signal to a command controller over a serial interface (yes, s
オリジナルのS3バケットのバックアップシステムをCross Region Replicationに移行したはなし - KAYAC engineers' blog
SREチームの長田です。 Tech Kayac Advent Calendar Migration Trackの15日目です。 S3バケットのバックアップ Lobiでは投稿された画像ファイルをS3に保存しています。 S3に保存しているだけでは、S3から誤って削除した場合に復元することができません。 主に読み書きするS3バケットとは別に、バックアップ用のS3バケットを用意し、そちらに画像ファイルのコピーを保存しています。 バックアップの仕組みを用意した当時はAWS内にこれを実現する機能がなく、自前のLambda functionでコピーを行っていました。 Backup S3 objects with Lambda function S3バケットに画像ファイルがPUTされたイベントをLambda functionに通知し、 対象ファイルをダウンロードして別リージョンにあるバックアップ用のS3バ
Amazon Linux 2のサポート期限が2025年6月末まで延長されました | DevelopersIO
AWSが提供する Linux OS の Amazon Linux 2、 その長期サポート期間が2年延長されて、2025年6月30日 となるアップデートがありましたので、お知らせします。 ソース Amazon Linux 2 FAQs 言語 「English」ページで、サポート終了日について2年間の延長が案内されました。 Q. When will support for Amazon Linux 2 end? Amazon Linux 2 end of support date (End of Life, or EOL) has been extended by two years from 2023-06-30 to 2025-06-30 日本語のFAQページは、2022年夏に案内があった2024年6月まで1年間の延長との記載ですが、 ほどなく更新されるものと思われます。 まとめ Amaz
[速報]アクセスポリシーを持ったS3のアクセスポイント「Amazon S3 Access Points」がGAになりました！ #reinvent | DevelopersIO
こんにちは、AWS事業本部の島川です。 ラスベガスで開催されているAWSの一大イベント AWS re:Invent 2019でAmazon S3 Access PointsのGAが発表されました！ Amazon S3 Access Points Easily Manage Shared Data Sets with Amazon S3 Access Points Amazon S3 Access Pointsを用いることでアクセスポリシーを記述したセキュアなアクセスポイントを発行することができます。VPC内からのアクセスのみ許可するようなアクセスポイントを発行できたりします。 ARNやURL形式で発行することができるので、ポリシーを適切に絞ったS3をアプリで簡単に利用することができるようになります。 既にS3のバケット設定にアクセスポイントタブが追加されています。 作ってみた アクセスポイ
![[速報]アクセスポリシーを持ったS3のアクセスポイント「Amazon S3 Access Points」がGAになりました！ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/63e9dfaf6e44e3fb0eef79f195558504110cfeb5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Fs3accesspoints_1.png)
AWS previews Mountpoint, a specialized open source Rust client to mount S3 storage into the file system • DEVCLASS
Interview AWS has introduced Mountpoint, an open source client for Linux that connects to S3 (Simple Storage Service) using file APIs, enabling applications to traverse S3 files as if they are in the file system. It is a specialized client aimed at data analytics, and not designed for general-purpose use. According to advance information from AWS, “with Mountpoint, file operations map to GET and P
S3 へのアクセス元を限定する場合に、複数の否定条件を使った Deny でバケットポリシーを書くことがありますが、これは AND 条件なの？ OR 条件なの？ と混乱することがあるので、わかりやすく図解で考えてみました。 想定環境 今回、想定する環境は下図のとおりです。前提条件として「同一アカウントの IAM ポリシーで、S3へのアクセス権限は与えられている」(明示的な Allow は不要)とします。 "192.228.xx.xx/32" はインターネット経由のアクセス "10.0.0.0/24" は、VPC エンドポイント経由のアクセス バケットポリシーのおさらい バケットポリシーについては、弊社 北野の記事がとても参考になります。 S3バケットポリシーの具体例で学ぶAWSのPolicyドキュメント 押さえておきたいのは以下の図です。 つまり複数条件を書く場合、以下のいずれかになります。
Building and operating a pretty big storage system called S3
Building and operating a pretty big storage system called S3July 27, 2023 • 6277 words Today, I am publishing a guest post from Andy Warfield, VP and distinguished engineer over at S3. I asked him to write this based on the Keynote address he gave at USENIX FAST ‘23 that covers three distinct perspectives on scale that come along with building and operating a storage system the size of S3. In toda
The Security Design of the AWS Nitro System - The Security Design of the AWS Nitro System
Publication date: February 15, 2024 (Document revisions) Amazon Elastic Compute Cloud (Amazon EC2) is a web service that provides secure, resizable compute capacity in the cloud. It is designed to make web-scale cloud computing easier for developers. The AWS Nitro System is the underlying platform for all modern EC2 instances. This whitepaper provides a detailed description of the security design
DynamoDB から S3 への定期的なエクスポートの仕組みを AWS Glue と Step Functions を使用して実装してみた | DevelopersIO
コンバンハ、千葉（幸）です。 DynamoDB テーブルの中身を S3 バケットにエクスポートしたい、という場合があるかと思います。S3 にエクスポートしたものに対して、例えば Athena を利用して解析をかけたい、といったケースです。 AWS Glue や AWS Step Functions を利用して、定期的にエクスポートを行う仕組みについて以下のブログで紹介されているので、試してみました。 CloudFormation テンプレートや スクリプトが用意されているので、一通り流すだけでできます。 全体像としては以下のイメージです。 Data Pipeline, EMR, Glue の比較 Step Functions の Glue Workflow への置き換え Glue ETL スクリプトの 各種バージョン Glue ETL スクリプトのDynamoDB 読み取り並列度 目次 D
CDK の中で DB を初期化する点についても後ほど触れます。 S3 にサンプルデータをアップロードする 続いて、以下のコマンドで S3 にサンプルのデータを入れます。 bucket_name=$(aws cloudformation describe-stacks --stack-name BlogAthenaJoinS3AndMysqlStack --output text --query 'Stacks[0].Outputs[?OutputKey==`BucketName`].OutputValue') aws s3 cp ./s3_test_data/data "s3://${bucket_name}/data" --recursive これで CloudFormation で作成した S3 バケット名を取得し、そのバケットに以下の CSV ファイルをアップロードしました。 ※4都
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
mac EC2にVNCからつないでみた。 #reinvent | DevelopersIO
Amazon Linux 2 AMI is now available with kernel 5.10
EC2再作成時にプライベートIPアドレスとMACアドレスを引き継いでみる | DevelopersIO
アップロード画像を全消しした話 - Qiita
S3の話をしよう~ S3のコストとセキュリティについて考える ~
ファイルシステムとS3でのユニコード正規化の関係を調べてみた2021 - MNTSQ Techブログ
Amazon Lightsailとは？EC2との違いとメリット・デメリットを調べてみた
Amazon Linux のサポート期間延長のアナウンスについて | DevelopersIO
EC2 インスタンスの起動と停止を自動化することは出来ますか？ | DevelopersIO
複数の否定条件を使ったS3バケットポリシーを正しく理解してますか？ | DevelopersIO
Athena で S3 と MySQL を JOIN する | DevelopersIO