CloudFront と API Gateway で SPA の CORS 問題をイイ感じに解決する | DevelopersIO
渡辺です。 弊社ではお客様の悩みや問題を解決するアンサーブログという文化がありますが、新しく「ドキュメントはブログ」というのを試しています。 現在、 Developers.IO Cafe はSPA（Single Page Application）で構成されています。 SPAとは、単一のウェブページ上でJavaScriptによるルーティングの処理を行うWebアプリケーションです。 一般的に、SPAで内のコンテンツは、APIを通して取得します。 この時、悩ましいのが CORS(Cross-Origin Resource Sharing) です。 本エントリーでは、カフェのSPAでとったCORS対策について解説します。 CORSとは？ CORSとは、簡単に言うと、 ウェブサイトが異なるドメインに対するAPIリクエストをブロック する仕組みです。 あるウェブサイトを開いている時、まったく関係ない別
はじめに AWS S3 を用いてホストしている Web サイトで任意の期間だけメンテナンス画面を表示したいという要件がありました。 構成としては、前段に CloudFront をかましていているだけのシンプルな構成です。 細かい設定としては、S3 オリジンは静的 Web サイトホスティングを有効にし、CloudFront からのアクセスしか受け付けないように設定しています。 この記事では、上記の構成でどうやってメンテナンス画面を実現するかということをメインに考えていきます。 やりたいこと 実現するにあたりメンテナンス時の要件を整理してみます。 一般ユーザが Web サイトにアクセスするとメンテナンス画面を表示させたい。 管理者や開発者など特定の IP アドレスによるアクセスは許可し、通常通り操作できるようにしたい。 どうやって実現するか 結論から言うと、CloudFront に WAF の
Cloud Operator Days Tokyo は、クラウドの運用者に焦点を当てた技術者向けの新しいテックイベントです。AWS環境の運用を手がけるアイレット株式会社のインフラエンジニア古屋氏が、実際にやってしまったしくじりを紹介。原因と対策を語ります。まずは「Athenaで170万円請求」「EC2が復旧できない」 というしくじりから。（全2回） しくじり先生 on AWS 古屋啓介氏（以下、古屋）：では「しくじり先生 on AWS」ということで、始めたいと思います。よろしくお願いします。今日は、AWS環境を使って日々運用していく中で発生した、しくじり、失敗事例。そしてそのしくじりの原因と、そこから得られた教訓についてお伝えしようと思います。 今日このお話を聞いたみなさんの中で「あ、うちの環境どうっだったかな？」と、思われる方もいらっしゃるかもしれません。今日お伝えすることの中で、ちょっ
はじめにこんにちは、Finatext で保険事業のプロダクト開発をしている @toshipon です。今回は我々の一部の現場で取り組んでいる、ECS Fargate 上で利用する環境変数を、 S3 bucket を使って運用しているお話を紹介いたします。 概要ECS Fargate 上で、アプリケーションコードと同期的に環境変数の更新を行いたい。 そのために、mozilla/sops というファイル暗号化ツールを利用して暗号化した環境変数ファイルをアプリケーションコードのリポジトリで管理し、CI/CD ( Codepipeline ) によるデプロイのタイミングで、環境変数ファイルを復号してS3にアップロードし、ECS task上で S3 から環境変数を参照する仕組みを紹介いたします。 解決したい課題環境変数更新とアプリケーションコードデプロイのタイミングが非同期であることECS Farg
私はAWS EC2のt2インスタンスを誤解していた - CPUクレジットとベースラインパフォーマンス、そしてT2 Unlimited - SMARTCAMP Engineer Blog
スマートキャンプエンジニアの今川です。 この記事はスマートキャンプ Advent Calendar 2019 - Qiita 10日目の記事です。 qiita.com 別のネタで書こうと思っていましたが、ちょうど昨日今日でAWS5年やってたのに誤解してた！という経験をしたのでそれについて忘備録＆人に共有するためにもまとめます。 T2 Unlimitedって何が嬉しいの？という方には読んでいただきたいです。 t2インスタンス - バースト可能なインスタンスタイプ AWS EC2にはt2という安価なインスタンスタイプ群があります。 aws.amazon.com ベースラインから必要に応じてバースト可能な汎用インスタンスタイプ という見出しがついており、 オンデマンドインスタンスの価格は 1 時間あたり 0.0058 USD から開始され、T2 インスタンスは最も安価な Amazon EC2 イ
Next.jsアプリケーションを動かす環境をaws-cdkを使って構築する(with CloudFront/S3/Fargate) - $shibayu36->blog;
Next.jsをproduction環境で使うために外観を掴んでおきたいと思い、Next.jsアプリケーションを動かすAWS環境をaws-cdkを使って構築するサンプルを作ってみた。だいぶ荒削りだけど、参考になる例にはなったと思う。 https://github.com/shibayu36/nextjs-on-ecs 利用した技術 AWS CloudFront S3 ECR ECS aws-cdk Docker Next.js + TypeScript 今回作ったアーキテクチャ 全てのリクエストをCloudFrontに通すフルCDNアーキテクチャ フルCDNアーキテクチャ実験 / Minami Aoyama Night #1 - Speaker Deck フルCDNアーキテクチャでサービス設計した話 - Speaker Deck next buildで生成した静的ファイルはS3から配信
Amazon EC2 におけるセキュリティ(脆弱性)事例 - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、Amazon EC2 上で動く Web アプリケーションの脆弱性によって脆弱性攻撃が可能だった実際の事例について紹介します。 1. 始めに 2. Amazon EC2 におけるセキュリティリスク Amazon EBS 被害があった公開事例 3. Amazon EC2 で起こりうる脆弱性攻撃 SSRF が可能な脆弱性 SSRF における回避方法 4. Amazon EC2 の脆弱な報告事例 画像読み込み機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 SAML アプリケーションに潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデ
この記事は アノテーション株式会社 AWS Technical Support Advent Calendar 2022 | Advent Calendar 2022 - Qiita 8日目の記事です。 はじめに アノテーション テクニカルサポートチームの Shimizu です。 CloudFront + S3 で構成した静的 Web サイトはサーバーレスで管理が楽なため、ご検討される方も多いでしょう。 一方で従来のWebサーバーの運用に慣れている方は少し戸惑うかもしれません。例えば慣れ親しんだ .htaccess ファイルが無いため「S3 でこの設定ってどうやるの？」という疑問にぶつかることもあると思います。 そこで本記事では、実際によくいただくお問い合わせを元に、CloudFront + S3 の Webサイト構築時に役立つ情報をまとめてみました！ S3 バケットへの直接アクセスを禁止
AWS Backupに新機能。EC2インスタンスをEBSごとバックアップ／リストア可能に。クロスリージョンにも対応
AWS Backupに新機能。EC2インスタンスをEBSごとバックアップ／リストア可能に。クロスリージョンにも対応 AWSは、バックアップの運用を一元化し、集中管理できるマネージドサービス「AWS Backup」の新機能を発表しました。 新機能の1つ目は、EC2インスタンスそのものを丸ごとバックアップ／リストア機能。2つ目はバックアップした内容を別のリージョンへコピーする機能。3つ目はAmazon EFS（Elastic File System）のバックアップファイルの中から、任意の1ファイルを取り出してリストアする機能です。 マシンイメージと属性、EBSを丸ごとバックアップ 新機能の中で注目すべきはEC2インスタンスを丸ごとバックアップ／リストアできる機能でしょう。 この機能はEC2インスタンスに使われているマシンイメージだけでなく、設定されているマシンタイプ、VPC、IAMロールなどほ
Amazon EC2 Auto Scaling Now Supports Maximum Instance Lifetime
Amazon EC2 Auto Scaling now lets you safely and securely recycle instances in an Auto Scaling group (ASG) at a regular cadence. The Maximum Instance Lifetime parameter helps you ensure that instances are recycled before reaching the specified lifetime, giving you an automated way to adhere to your security, compliance, and performance requirements. You can either create a new ASG or update an exis
Amazon S3がこれまでの「結果整合性」から「強い一貫性」サポートへ。データを更新直後でも最新データの読込みが保証されるように
Amazon S3がこれまでの「結果整合性」から「強い一貫性」サポートへ。データを更新直後でも最新データの読込みが保証されるように Amazon Web Services（AWS）は、オブジェクトストレージサービスのAmazon S3で「Strong Consistency（強い一貫性）」をサポートすることを明らかにしました。 すでにAmazon S3で有効になっており、追加料金は発生せず、性能低下もないとのこと。AWS re:Invent 2020の基調講演では発表されておらず、ブログで発表されました。 これまでAmazon S3では、データ整合性がつねに保証されるものではない「結果整合性」のみをサポートしていました。そのため、データをAmazon S3へ保存した直後やデータの変更を行った直後に別のプロセスからそのデータにアクセスしようとすると、まだ保存されていない、あるいは変更されてい
歴史・年表でみるAWSサービス(Amazon S3編) －単なるストレージではない機能・役割と料金の変遷－ - NRIネットコムBlog
本記事はNRIネットコム Advent Calendar 2021 1日目の記事です。 🎄 0日目 ▶▶ 本記事 ▶▶ 2日目 🎅 小西秀和です。 現在、AWSでは年に一回のAWS re:Inventというイベントの真っ最中で多数の新サービスの発表やセッションがおこなわれています。 そんな状況ですが、今回は当ブログ初のアドベント企画ということで、最新情報とは真逆のアプローチで記事を書いてみました。 最新情報を追うことに疲れた方はこちらの記事で、自分の歴史と照らし合わせながらチルアウトしてみてはいかがでしょうか。 さて、今回のテーマはAmazon S3の年表を作って歴史やアップデートを振り返ろうというものです。このテーマにしたきっかけは2つあります。 まず、1つ目は2006年3月14日にサービス開始したAmazon S3が今年、2021年3月14日に15周年を迎えたことです。 そして2つ
Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行
Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行 MongoDBは、Amazon S3に保存されているデータをそのままデータベースへ転送することなく、直接MongoDBのクエリ言語で検索可能にするクラウドサービス「MongoDB Atlas Data Lake」の正式リリースを発表しました。 発表は同社がオンラインで開催したイベント「MongoDB.Live 2020」で行われました。 通常、データベースで検索や分析の対象となるデータはデータベース内に保存されているデータであるため、ファイルサーバやオブジェクトストレージなどに保存されているJSONデータやCSVファイルなどは、何らかの方法でデータベースへインポートする必要があります。 MongoDB Atlas Data
みなさんDocker使ってますか。私は闇の深いEC2に阻まれて難しい状況です。闇を抱えたままDockerizeします。 闇が深いとは このくらいを指すものとします。 AMIの出所がわからない EC2インスタンスのAMI IDが、自前AMIになってる Linuxディストリはわかるが、起点にしたバージョンはわからない AMIがどうやってできたのかわからない sudo vi /etc/hoge.conf してるっぽい sudo yum install -y hoge してるっぽい wget https://~~~~/hoge.tar.gz から make install してるっぽい AMI更新手順がわからない 変更したい人々と、変更できる人々が違っている 実施できるのは、本番環境にSSHできる極少人数 簡単なはずのconfの変更も尻込みして進まない Dockerize & k8s移行とか盛り上
こちらは ANDPAD Advent Calendar 2022 の19日目の記事です。 こんにちは。 アンドパッドSREの宜野座です。 今回はアドベントカレンダーということで、Amazon S3の公開を検知してSlackに通知する仕組みをシンプルに行う方法に関して書こうと思います。 Amazon S3の重要性 S3バケットの公開を防ぐには S3の公開検知の例 AWS Config を利用する方法 Lambdaの作成 AWS Configでマネージドルールを有効化 Event Bridgeを作成する 動作確認 小ネタ: AWS Configで任意のタイミングでルールの評価を行う方法 Amazon Guard Dutyを利用する方法 まとめ 終わりに Amazon S3の重要性 ※ 以降、本文中ではAmazon S3をS3と短縮表記します。 AWSを利用されている場合、S3はさまざまなデータ
久々に溜まったブログネタ放出をしようかなと、その前に下書きから掘り起こしてきた、いまさらなスロークエリ関連で準備運動です。 RDSのスロークエリ情報は当然、集計を自動化していつでも見れるようにしてあるのですが、ちょいと必要があったので、今回はあえて単発ログを集計する形に切り出したものを用意してみました。 スロークエリログの必要性 最近はNewRelicとかで、アプリケーションの処理を分別して処理時間などを集計するので、それで課題となるクエリを確認したりもします。 非常に便利な仕組みですが、アプリケーション外のジョブなどが実行したクエリは集計されないことや、負荷試験で課題を炙り出すときだとテスト環境にエージェントやライブラリを仕込む必要がある、といったデメリットとまでは言わないまでも面倒さがあります。 その点、スロークエリはサーバー側で記録するものなので、0.1秒とかでONにしておけば、対象
Amazon S3 セキュリティベストプラクティスの実践（権限管理のポリシー) – 前編 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 セキュリティベストプラクティスの実践（権限管理のポリシー) – 前編 はじめに AWS では、サービス毎にセキュリティのベストプラクティスを公式ドキュメントとして提供しています。本記事では AWS を利用したシステムのセキュリティの検討や実装に関わる皆様を対象に、AWS の代表的なストレージサービスである Amazon Simple Storage Service (S3) を題材にとりあげて、公式ドキュメントで紹介しているベストプラクティスの実装方法をできるだけ具体的に解説したいと思います。 IT セキュリティにおいては、一つの脆弱性や悪意がセキュリティ事故に直結しないようにシステムを多層的に保護する事が重要です。AWS においても、サービスが提供する機能を適所でご利用いただければ多層化されたセキュリティ保護策を、クラウ
設定画面の日本語の意味が理解できない この画面。 S3これから使っていこうというユーザーの心を闇へ引きずり込み、そっとキャンセルボタンへマウスカーソルを誘導する設定画面だと思います。 S3の基礎なのかもしれませんが、すごく分かりづらい。 アクセス許可の種類 ブロックパブリックアクセスの説明の中にいくつか重要な単語が出てきていたかと思います。 パブリックバケットポリシー アクセスポイントポリシー アクセスコントロールリスト（ACL） これらは、S3にはいくつかアクセス許可の手段がありそれらを制御するためのポリシー類になります。 これを絵するときっとこんな感じです。（間違ってたらごめん） インターネットやVPCなどからアクセスする際には必ずどこかのポリシーを経由しアクセスされるわけです。 ちなみに、AWSのコンソール上からのアクセスはどこ？となるのですが、ACLになります。 デフォルトでACL
※本ブログは2022/2に執筆されています。そのため、アップデートによって内容が現在と異なる可能性があります。 はじめに モバイル事業本部プロダクトエンジニアリングセクション マネージャーの安田です。 インフラっぽいことやクラウドっぽいことやデータエンジニアっぽいことをやってます。 今回、モバイル事業部で使うS3のコスト削減のため、ストレージクラスの移行等を行うライフサイクルの設定を行いましたのでご紹介します。 これからS3の管理を行っていく方、コスト削減に興味のある方の参考になれば幸いです。 実施の背景 モバイル事業本部ではドワンゴジェイピーやアニメロミックスなど音楽配信ビジネスを中心に展開しており、様々なレーベルからお預かりした楽曲データを管理しています。 また、ニコニコ事業本部ができる前からサービスを行っており、多大な量のシステムログやクラウドサービスのログデータなどが存在しています
AWSのアクセスを管理するPolicyドキュメントは柔軟に可否を設定できてとてもすごい！ でも、柔軟がゆえに難しい！評価条件もよくわからない！ 具体例があると理解の助けになると考えているので、自分の考えを整理するために具体例を作りました。 具体例を見ながらPolicyドキュメントについて学んでいきましょう。 Policyドキュメントとは？ AWSでアクセスを管理するために、基本的にはIAMポリシーとIAMロールを作成し、それをIAMユーザーやAWSリソースにアタッチする必要があります。 ポリシーとアクセス許可 - AWS Identity and Access Management そのときに、IAMポリシーでアクセスする許可と拒否の条件をJSON形式で記述したものがPolicyドキュメントです。 Policyドキュメントの例 { "Version": "2012-10-17", "Sta
スタートアップ企業で始めるAWSセキュリティ対策 ～内部統制の観点から～ / AWS Security and Internal Audit at a Startup
「Security-JAWS【第27回】」で発表した資料です。 https://s-jaws.doorkeeper.jp/events/146327 「クラウドセキュリティエンジニアブログ」 Security-JAWS【第27回】で「スタートアップ企業で始めるAWSセキュリティ対策 ～内部統制の観点から～」というタイトルで登壇しました https://devblog.nuligen.com/entry/20221205/1670215672
Stop building slow, complex, fragile software systems. Safely run your application on a single server. Fully-replicated database with no pain and little cost. Get started Join our Slack No-worry backups Continuously stream SQLite changes to AWS S3, Azure Blob Storage, Google Cloud Storage, SFTP, or NFS. Quickly recover to the point of failure if your server goes down. Use existing apps Runs as a s
外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 | Amazon Web Services
Amazon Web Services ブログ 外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 このブログは 2022 年 3 月 24 日に Anderson Hiraoka (Solutions Architect) と、Rafael Koike (Principal Solutions Architect) によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 企業では、ファイルや画像などのデジタル資産をリポジトリに保存することが求められることが多くあります。多くの場合、これらのファイルのソースは、社内システムに接続されていないパートナーまたは個人であり、ファイルをアップロードするためには、企業の認証が必要となります。お客様は従来、ファイルのアップロードを処理するためにサーバーを使用していましたが、大量のネットワー
フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシ エンジニアブログ
はじめに Presigned URL（*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。 一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで 単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。 このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができる I
Amazon S3 + Amazon CloudFrontでWebサイトを構築する際にS3静的Webサイトホスティングを採用する理由 | DevelopersIO
はじめに 静的Webサイトを構築する際にAmazon S3とAmazon CloudFrontを利用するアーキテクチャは定番ですが、これらを利用したアーキテクチャには2つの手法があります。 オリジンアクセスアイデンティティを使って、S3バケットへのアクセスをCloudFrontディストリビューションからのみに制限する方法 S3の静的ウェブサイトホスティングを有効化し、CloudFrontにカスタムドメインとして設定する方法 前者がベターに思えるかもしれませんが、後者の方が良い場合もあります。それは ランディングページなどのシンプルなHTMLベースで構築するWebサイトの場合 です。 本記事では、どういった理由でS3のウェブサイトホスティングを採用するか解説します。 リダイレクト設定がかんたん 静的Webサイトホスティングにはリダイレクトを自由にカスタマイズできるRedirection Ru
はじめに AWSのクラウドストレージであるAmazon S3は、AWS上にファイルを保存する際に第一の選択肢となるサービスです。その普及度の高さから進化も早く、最新機能も含めた全体像の理解は労力が掛かります。 そこで備忘録も兼ねて、2023年4月時点での機能および使用法を、初学者でも理解しやすいことを心掛けてまとめました。 網羅度にこだわってまとめたので、「S3の全体像を理解したい！」という方は、ぜひご一読頂ければと思います。 また、S3のセキュリティとバックアップ機能は別記事にまとめたので、よければこちらもご参照ください。 Amazon S3とは 「Amazon Simple Storage Service」の略です。後ろの3つの単語の頭文字が全てSなので、S3と略しているようです。 S3は端的に言うとクラウド上にファイルを保存するためのサービスで、Googleドライブのようなオンライン
S3のAPIと互換性を持ったオブジェクトストレージの運用についてお話します - Pepabo Tech Portal
はじめまして。 技術部プラットフォームグループの@rsym1290です。 弊社ではBayt(ベイト)というプライベートなオブジェクトストレージを運用しています。 本記事では、Baytの紹介と最近の取り組みについて紹介したいと思います。 Baytとは？ Baytとは、S3と互換性のあるAPIを提供しているプライベートなオブジェクトストレージです。 弊社では様々なサービスを提供していますが、各サービスで画像・動画・テキストなどのコンテンツを扱うことが多々あり、 それらを保存できるストレージが必要です。 このストレージを提供しているのがBaytです。 特に利用しているのはカラーミーショップとグーペです。 カラーミーショップで利用する商品画像や、グーペで利用するホームページ用の画像の保存先としてBaytを利用しています。 カラーミーショップについては、昨年12月に「カラーミーショップの商品画像の最
EC2のcronバッチを「EventBridgeをトリガーにStep Functionsを起動」に置き換えると、エラーハンドリングが快適になる
AWSのEC2で定期的なタスクを自動化するために、cronを使用しているケースも多いと思います。 しかし、Amazon Linux 2023ではcronがデフォルトで無効になっています。これはcron以外に、cronのようなバッチ実行・定期実行する仕組みがあるということなのかと思い、cronを使わずにE2上でバッチ実行・定期実行する仕組みを考えてみました。 そして、Amazon EventBridge、AWS Step Functions、およびAWS Systems Manager startAutomationExecutionを組み合わせて、EC2インスタンス上でバッチ・定期実行を試してみましたので、紹介します。 特に、Step Functionsを使用することで、エラーハンドリングや通知が容易になり、安全にバッチ実行できるようになります。 エラーハンドリングは以下の状態を把握したい
空前絶後のォ！超絶怒涛の清掃員！ GASを愛し、GASに愛された男！ そう我こそはアァ！！！札幌オフィスゥゥ！！清！掃！員！ジャァスティス！！ 「ピン芸人」と「清掃員」の語感が似ていたせいで取り乱してしまいました。 こんにちわサンシャイン札幌オフィス清掃員です。 本日は弊社社内開発環境のコスト削減施策をご紹介したいと思います。 まえがき 社内利用のEC2開発環境の管理、みなさんどうされているでしょうか。 「せっかくEC2なので、使っていない時は停止してコストを抑えたい。」 「しかしながら全員でAWSのrootアカウントを共有するのは危険すぎる。」 このようなお悩みがある方もいらっしゃるのではないでしょうか。 きっと、全社員に適切なポリシーを付与してIAMアカウントを発行するのが最良なソリューションであるのだと思います。 しかしその方針にした場合にも”AWSコンソールを使ったことがないメンバ
Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築 - BASEプロダクトチームブログ
こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡単な全体構成図は次のようになります。 今回は、 ECS/Fargate のログを S3 にルーティングする Amazon ES にログをルーティングする VPC アクセスの Amazon ES を構築し、Kibana を外部からアクセスできるようにする の３つの手順にわけて、構築方法や関連する内容について紹介していきたいと思います。 なお、この記事で取り扱ってい
S3 + API gateway + Lambda (+ Aurora) による Serverless 申請フォームの構築 - BASEプロダクトチームブログ
はじめに はじめまして、CSE (Corporate Solution Engineering1）の上野です。 今回は BASE Partners という事業で使用していた Google フォームを S3 + API gateway + Lambda (+ Aurora) を使用した Serverless 構成のフォームに移行するというプロジェクトについてお話します。 変更前の構成図と構築した構成図としては以下のようになります。 変更前 変更後 BASE Partners について BASE では新規のショップオーナー様を紹介・支援いただくオフィシャルパートナーを募集するパートナープログラムを運営しています。 それらの申請には初期的には Move fast に行うため、Google フォームと Google スプレッドシートが使用されていましたが、ありがたいことにパートナー様やご紹介いただ
安全安心の開発体験のために Visual Regression Testing はじめました。 - Uzabase for Engineers
NewsPicks Web Experience Unit でフロントエンドエンジニアをしているじゆんきち(@junkisai)です。 弊チームでは、ここ1年間くらいWeb 版のNewsPicksを新しい基盤に置き換えつつ、見ためも刷新するプロジェクト（以下リニューアルプロジェクト）を進めています。 今回は、弊プロダクトで Visual Regression Testing をはじめて、3ヶ月ほど運用してきたので、今回はその導入や運用にあたっての話をしたいと思います。 導入に至った背景と目的 使用したツールと構成 ツール 構成 導入の流れ ライブラリのインストール storycap の設定 reg-suit の準備 Amazon S3 の準備 Github Actions の設定 運用して出てきた課題と解消 日本語で表示されるはずの部分が□で表示されてしまっている 画像など外部リソースから
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea
［速報］AWS、クラウド基盤にMac mini（Intel）を組み合わせた「Amazon EC2 Mac instances for macOS」発表
Amazon Web Servicesは、クラウド上でmacOSのインスタンスを提供する「Amazon EC2 Mac instances for macOS」を発表しました。 Run macOS on AWS for the first time with new Amazon EC2 Mac instances. Start developing, building, testing, and signing Apple apps on AWS. Learn more: https://t.co/3faNVwprmv pic.twitter.com/ZEe4L6OORb — Amazon Web Services (@awscloud) December 1, 2020 Amazon EC2 Mac instances for macOS（以下EC2 Macインスタンス）は、Intel
[待望のアプデ]EC2インスタンスメタデータサービスv2がリリースされてSSRF脆弱性等への攻撃に対するセキュリティが強化されました！ | DevelopersIO
[待望のアプデ]EC2インスタンスメタデータサービスv2がリリースされてSSRF脆弱性等への攻撃に対するセキュリティが強化されました！ EC2のメタデータサービスv2がリリースされました。これまでSSRF等の脆弱性と組み合わせることによりクレデンシャルの流出が多発していましたが、v2を利用することにより簡単にセキュリティを向上することができるようになりました。 こんにちは、臼田です。 皆さんセキュリティ対策してますか？(挨拶 今回はEC2インスタンスメタデータサービスv2がリリースされたのでこの機能について解説していきます。 Add defense in depth against open firewalls, reverse proxies, and SSRF vulnerabilities with enhancements to the EC2 Instance Metadata
![[待望のアプデ]EC2インスタンスメタデータサービスv2がリリースされてSSRF脆弱性等への攻撃に対するセキュリティが強化されました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e03678dab7b09cb34c564b7250c4c7eac8677103/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ec2.png)
絵で見て 3分でおさらいする Amazon S3 のバージョニングとライフサイクル | DevelopersIO
コンバンハ、千葉（幸）です。 S3 のライフサイクルやバージョニング、使ってますか？ 私は「あぁそれね、4年くらい前に完全に理解しましたよ」という気分でいたのですが、いざ きちんと思い出そうとすると 90分ほどかかってしまいました。 3歩あるくと大抵のことを忘れる私としては、都度 90分かけて思い出すわけには行きません。今後は 3分くらいで思い出せるよう、まとめてみることにします。 まとめ バージョニング はバケット単位で設定する ステータスは以下のいずれか 無効 有効 停止 「以前のバージョン」のオブジェクトは復元できる 削除マーカーによる論理的な削除という状態が生まれる ライフサイクルはスコープを限定可能で、ルールを複数設定できる 選択できるアクションは以下 現行のバージョンのストレージクラスの移行 以前のバージョンのストレージクラスの移行 現行のバージョンの失効 以前のバージョンの完
Redisをグラフィカルに確認できるRedisInsightでElastiCache Redisのメモリ分析してみた | DevelopersIO
セキュリティグループはインバウンドで必要な「My IP」、ポートはをTCP 8001とSSH(TCP 22)を許可します。 また、ElastiCacheのセキュリティグループを修正し、RedisInsight用のEC2のセキュリティグループIDからElastiCacheへインバウンドのアクセスを許可します。 EC2(RedisInsight)で権限と接続確認 EC2 IAM Role確認 SSHでEC2にログインし、RedisInsight用のEC2 IAM Roleが設定できているか確認します。 [ec2-user@ip-10-1-12-165 ~]$ aws s3 ls S3バケットの一覧が表示されることを確認 ElastiCacheとの接続確認 nc (netcat コマンド)をインストール $ sudo yum install nc ElastiCacheへ接続テスト 「echo
［速報］AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、従来のAmazon S3 Standardストレージクラスより最大10倍高速な「Amazon S3 Express One Zone」ストレージクラスを発表しました。 Need low latency & high performance? Accelerate workloads with #AWS Amazon #S3 Express One Zone delivers the fastest data access in the cloud with the lowest-latency cloud #Storage. Speed up data processing & cross the finish with time to spare. htt
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Simple Storage Service (Amazon S3) を開発・運⽤する⽅法 by Ryosuke Iwanaga
S3 + CloudFront でホスティングしている静的 Web サイトをメンテナンス状態にする
「Athenaで170万円請求」「EC2が復旧できない」 AWSしくじり先生 part.1
ECS Fargate で S3 bucket を用いた環境変数の運用方法
CloudFront + S3 の静的Webサイト構築に役立つ情報まとめ | DevelopersIO
闇の深いEC2を、EBSボリューム経由で、闇の深いDockerコンテナに転換する - Qiita
Amazon S3の誤った公開に気づく! 通知の仕組み - ANDPAD Tech Blog
PythonでMySQLのスロークエリログを集計 | 外道父の匠
S3のブロックパブリックアクセスが怖くなくなった【AWS S3】
S3のコストダウンを実施してみた - dwango on GitHub
S3バケットポリシーの具体例で学ぶAWSのPolicyドキュメント | DevelopersIO
Litestream - Streaming SQLite Replication
【AWS】Amazon S3 を徹底的にまとめてみた！ - Qiita
社内開発用EC2インスタンス料金を節約したい｜Blog｜株式会社COLSIS（コルシス）
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog