AWS Glue Data Quality(プレビュー)でデータ品質検査を試してみた | DevelopersIO
データアナリティクス事業本部インテグレーション部コンサルティングチーム・新納（にいの）です。 昨年末に開催されたAWS re:Inventにて、データ品質の検査を可能にする新機能AWS Glue Data Qualityが発表されました。本エントリでは実際にどんなことができるのかご紹介します。 なお、本機能は2023年1月現在のパブリックプレビュー段階のものであり、GA(General Availability:一般利用可能)なステータスとなった際には仕様が変更されている可能性があることをご留意ください。 AWS Glue Data Qualityとは ユーザーが定義したルールに従って、データの品質検査を実施できる機能です。AWS Glue Studioではビジュアルエディタから「Evaluate Data Quality」ノードを追加し、DQDL（Data Quality Definit
AWS CloudHSMで秘密鍵のインポートとエクスポートしてみた | DevelopersIO
秘密鍵の管理どうしようかな こんにちは、のんピ(@non____97)です。 皆さんは秘密鍵の管理をどうしようかなと思ったことはありますか? 私はあります。 IAM Roles Anywhereを使うにあたって秘密鍵の管理が重要になります。 ...ということで、AWSの最強の鍵管理マネージドサービスであるAWS CloudHSMを使ってみようと思います。 CloudHSMのユースケースにも秘密鍵の管理が例として紹介されています。 ** 発行認証局 (CA) 向けのプライベートキーの保護 ** 公開鍵基盤 (PKI) では、認証局 (CA) がデジタル認証を発行する信頼されたエンティティです。このようなデジタル認証は、個人または組織を識別するために使用されます。AWS CloudHSM を使用すると、プライベートキーを保存し、自社の認証を発行する発行 CA として安全に機能することができるよ
AWS KMS S3バケットをSSE-KMSで暗号化しファイルのアップロード・ダウンロードするときにKMSへ必要なIAMポリシーを確認してみた | DevelopersIO
AWS KMS S3バケットをSSE-KMSで暗号化しファイルのアップロード・ダウンロードするときにKMSへ必要なIAMポリシーを確認してみた SSE-KMS暗号化したS3バケットに対してファイルのアップロード、ダウンロードに必要なIAMポリシーを考えていました。S3バケットへの操作権限と、KMSのキーポリシーがデフォルトの場合はSSE-KMS暗号化したS3バケットの場合はKMSへの操作権限も必要です。KMSに必要なIAMポリシーについて失敗した例を元にKMSのIAMポリシーに着目した覚書です。 書き残したかったこと ファイルのアップロードは暗号化するためにkms:Decryptと、kms:GenerateDataKeyの2つ許可が必要です。 ファイルのダウンロードは復号するためにkms:Decryptの許可が必要です。 IAMポリシーサンプル Sample IAM policy { "V
Lake Formation の主要な機能を図と表でまとめる | DevelopersIO
はじめに おはようございます、もきゅりんです。 最近は、データレイク関係に携わる機会があったため、ついでに Lake Formation を学びました。 Lake Formation とは通常数ヶ月単位で構築されるようなデータレイク環境を数日で構築してしまおう、という凄まじいサービスです。 当稿はその Lake Formation の主要な機能を図で整理するのが目的です。 20191001 AWS Black Belt Online Seminar AWS Lake Formation で記載されているように、 LakeFormation の主要な機能は2つです。 すなわち、ブループリント と アクセスパーミッション です。 この2つに焦点を当てて整理していきます。 ブループリント ブループリントとは、データレイクにデータを簡単に取り込める「データ管理テンプレート」です。これを実行すると、
EC2の揮発性ストレージ「インスタンスストア」を使ってみよう！ | DevelopersIO
Real World Performance Peak Performance ひとことメモ EBS利用直後のため、EBSのバースト機能が有効になっています。 io1の場合、Peak Performanceを計測すると、EBSのバースト上限に近いスループット、IOPSが出ています。 gp2 でもベースライン(81.25MB/秒)以上のスループットが出ています。 NVMe SSDインスタンスストアはランダムI/Oのスループット/IOPS、低レイテンシーが際立っています。 AWS Nitro Systemでインスタンスストアが復活した理由 EC2リリース当初のブロックストレージはインスタンスストア一択でした。当時のEC2はディスポーザブルなリソースとしてしか扱えなかったわけです。クラウドネイティブですね。 ほどなくして、永続的なブロック・ストレージのEBSが登場し、ルートデバイスにもEBSを選
Amazon Redshift 分散キーの変更について試してみた | DevelopersIO
分散キー変更の際にVACUUMを実行する必要が不要になったというリリースを目にしました。正直、ALTERにて分散キーの変更が可能になったことに気づいていませんでしたので、この機会に分散キーの変更について試してみました。マニュアルに記載にない動作も確認できましたのでご紹介したいと思います。試したクラスタバージョンは、1.0.11116です。 Cluster Version History - Version 1.0.10013, 1.0.10221, 1.0.10393, 1.0.10480, or 1.0.10648 の抜粋です。 The ALTER TABLE ALTER DISTKEY command for tables with a sort key now performs an inline sort. Therefore, running VACUUM afterwards
Amazon Athena for Apache SparkでS3バケット上のデータを可視化してみた | DevelopersIO
データアナリティクス事業本部の鈴木です。 Amazon Athena for Apache SparkのAthenaノートブックで、自分で用意したS3バケット上のデータを可視化してみたので、検証内容を共有します。 re:Invent2022にて発表されたAmazon Athenaの機能で、Jupyter Notebookと互換性があるAthenaノートブックをインターフェースに、Apache Sparkを使ってインタラクティブにデータの分析を行うことができるというものです。 検証で確認したかったポイント 今回は、Amazon Athena for Apache Sparkを使って以下のことをどうできるか確認してみました。 Amazon Athena for Apache SparkからS3バケット上の自分のデータにアクセスするためのIAMポリシーの設定方法 Athenaノートブックから可視
Amazon Athena for Apache Sparkをコンソールから使ってみよう！ | DevelopersIO
データアナリティクス事業本部の鈴木です。 re:Invent2022にて発表されたAmazon Athena for Apache Sparkですが、コンソールから利用する際に使う各種画面や気をつけたいポイントについてまとめてみました。 Amazon Athena for Apache Sparkとは re:Invent2022にて発表されたAmazon Athenaの機能です。Jupyter Notebookと互換性があるAthenaノートブックをインターフェースに、Apache Sparkを使ってインタラクティブにデータの分析を行うことができるというものです。 発表時にはDevelopersIOで速報記事を公開していて、その中でサンプルノートブックを例に、どんなことができそうか解説していました。今回は自分でも実際に触ってみて、自分が使っていく上で気になった細かいところまで確認したので、
AWS Lambda Layersを他アカウントと共有する #reinvent | DevelopersIO
re:Invent 2018で発表されたLambda Layersを利用し、共通のコンポーネントを集中的に管理し、他アカウントのLambda関数から利用する方法を紹介します。 はじめに re:Invent 2018で発表されたAWS Lambda Layersを利用すると、複数のLambda関数が利用するような共通ライブラリを外出しして管理出来ます。 さらに、外出したレイヤーは、他のAWSアカウントからも利用出来ます。 今回は、作成したLambda Layerを他のAWSアカウントと共有する方法を紹介します。 ポイント Layerのバージョンごとに共有設定が必要 共有アカウントの粒度は個別・組織・全アカウントなど柔軟 リージョンをまたいだ共有はできない 作業の流れ 以下のステップでLambda Layerを他アカウントと共有します Lambda Layerの登録 同じアカウントのLambd
S3のバケットポリシーでハマったので、S3へのアクセスを許可するPrincipalの設定を整理する | DevelopersIO
複数AWSアカウントを使用していると、「１つのAWSアカウントのS3にデータを集約したい。」なんてニーズがでてきます。 S3のバケットポリシーのPrincipalを設定する際、アクセスができなくてハマったので本ブログはその備忘録です。 S3はデータ置き場としてとても使えるやつで、他のアカウントと共有することも多いです。 複数AWSアカウントを使用していると、「１つのAWSアカウントのS3にデータを集約したい。」なんてニーズがでてきます。 S3のバケットポリシーのPrincipalを設定する際、アクセスができなくてハマったので本ブログはその備忘録です。 S3がリクエストを許可する方法 S3がバケットオペレーションのリクエストを許可する方法は、公式ドキュメントに記載されています。 Amazon S3 がバケットオペレーションのリクエストを許可する方法 - Amazon Simple Stora
[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ | DevelopersIO
[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ データアナリティクス事業本部のコンサルティングチームの石川です。AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートってなんだろう？、と最初思ったのですが、re:Invent2022で発表されたAmazon Redshift integration for Apache Sparkのことでした。当時、すぐに試したのですがうまくできなかったので自分にとってはリベンジブログとなります。 新しいネイティブAmazon Redshift機能とは 冒頭でも触れましたが、re:Invent2022で発表されたAmazon Redshift integration for Apache Sparkのことです。よりGlue
![[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1a9787910c80cfa6330ba76938cc339ce203e246/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-glue.png)
Amazon Kinesis Streamsのサービス制限について | DevelopersIO
Amazon Kinesis Streamsを構築・運用すると、思いもかけないサービス制限に遭遇することがあります。 本日は2016年05月時点でのサービス制限についてご紹介します。 シャード数上限 東京リージョンの場合、リージョンあたりのシャード数のデフォルト上限値は25です。 この値はストリームごとのシャード数ではなく、リージョンごとのシャード総数です。 例えば、シャード数上限25のリージョンで、シャード数10のストリームを1個作成している場合、新規ストリームのシャード数上限は25−10＝15です。 また、ACTIVE(=データを新規に受け付ける)シャードだけが上限対象としてカウントされます。 例えば、シャード数10のストリームをシャード分割してシャード数20にする場合、 ACTIVE シャード : 20 CLOSED シャード : 10 となりACTIVE/CLOSEDなシャード総数
AWS Certified Data Analytics – Specialty (DAS)が2024 年4月9日に廃止されるので情報をまとめてみた | DevelopersIO
AWS Certified Data Analytics – Specialty (DAS)が2024 年4月9日に廃止されるので情報をまとめてみた はじめに こんにちは！AWS事業本部コンサルティング部の和田響です。 先日AWS Certified Data Analytics – Specialty (以下DAS)試験に合格ましたが、その翌日にDAS試験が今後廃止されることを知りました。 AWS Certified Data Analytics - Specialty試験が2024.04.08に廃止されるみたい。 pic.twitter.com/nEX87wSXYS — わださん@2024年3月までにAWS12冠 (@wadasan202309) November 1, 2023 この記事ではDAS認定廃止に伴い、私が調べてわかった各種情報を共有します。 なぜ廃止になるのか？ DAS認
メール診断ツール「mail-tester」でGmailに届かない神奈川県立高校の出願システムのメールを診断してみた | DevelopersIO
神奈川県立高校の入試出願システムで、Gmailへメールが届かない問題が再発しました。 令和6年1月24日14時掲載(第1報(新)) 本日より募集期間となりましたが、@gmail.comのメールアドレスのみを登録している志願者に、出願システムからのメールが遅延している、あるいは届かない不具合が発生しています 神奈川県公立高等学校入学者選抜インターネット出願システムの稼動状況について 以前、出願システムから送信されるメールにYahooメール、Gmailに届いたメールより、送信者ドメイン認証などは正しい事を確認できていました。 Gmailに届くようになった、障害解消後の神奈川県立高校入試のインターネット出願システムのメールを調べてみた 今回、Gmailに届かないメールに 迷惑メールとして判定される要素が無いか、 mail-testerのサービスを利用して診断した結果を共有させて頂きます。 迷惑メ
[アップデート] ALB および CLB に HTTP Desync 緩和モードが機能追加されました | DevelopersIO
本日のアップデートで ALB および CLB が HTTP Desync 緩和モードをサポートするようになりました。 Application and Classic Load Balancers are adding defense in depth with the introduction of Desync Mitigation Mode 何がうれしいのか HTTP Desync 攻撃とは このアップデートの何が嬉しいのかを理解するには、まず HTTP Desync 攻撃 について知る必要があります。 近年では Web アプリケーションでは CDN やプロキシをフロントエンドに配置し、バックエンドのサーバーにリクエストを転送するような構成を一般的にとられているかと思います。まず大前提として HTTP Desync 攻撃は、このようなフロントエンド、バックエンド構成において成り立ちます
![[アップデート] ALB および CLB に HTTP Desync 緩和モードが機能追加されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/876809e40a16193d45c580a01a3f67fc9a50a044/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Felastic-load-balancing.png)
[アップデート]AWS Security Hubの組織への展開がセキュリティ標準やコントロールなどをカスタマイズして設定できるようになりました！ #AWSreInvent | DevelopersIO
[アップデート]AWS Security Hubの組織への展開がセキュリティ標準やコントロールなどをカスタマイズして設定できるようになりました！ #AWSreInvent 先ほどのアップデートで AWS Security Hub の組織への展開がセキュリティ標準やコントロールなどをカスタマイズして設定できるようになりました！ 何が嬉しいのか Security Hub の Organizatins 連携で有効化する際に設定できる項目が大幅に増えました。 これまでは、以下のような個別に仕組みを作って特定の標準を無効化したりコントロールを無効化していたかと思います。 CloudFormation StackSetsでSecurity Hubのコントロール無効化をOrganizations組織全体に適用する | DevelopersIO Organizations環境下で AWS Security
![[アップデート]AWS Security Hubの組織への展開がセキュリティ標準やコントロールなどをカスタマイズして設定できるようになりました！ #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
Amazon SES にSPF、DKIM、DMARC設定と、サンドボックスを解除してメール送信してみた | DevelopersIO
Amazon SESのDMARC設定について調べる機会がありました。ドキュメントを読んでわかったつもりなのですが、実際に手を動かさないと見えない部分もあるだろうと常日頃思っているので設定してみました。DMARC設定手順と、DMARC設定ありなしのGmailでのメール受信例を紹介します。 以下のリンクを参考にAmazon SESを利用した独自ドメインからのメール送信設定と、SPF, DKIM設定をした環境を構築します。 Route53にドメインがあれば10分でサンドボックス環境からテストメール送信できる環境が完成します。 サンドボックス環境の解除 新規アカウントでSESを作成するとサンドボックス環境におかれます。サンドボックス環境では以下の機能制限があります。 公式ドキュメントのDeepL翻訳 メールの送信先は認証済みのメールアドレスとドメイン、またはAmazon SESのメールボックスシミ
【初心者向け】AWS Security Hubとは？概要からメリット、料金まで解説 | クラスメソッド株式会社
AWS環境のセキュリティを考える上で、重要な役割を担うサービスの1つが「AWS Security Hub」です。クラウドは大変便利でメリットの多いものですが、誤ってデータを公開してしまうなどのリスクがあることは否定できません。AWS Security Hubではこういったセキュリティに関わる各種設定について問題ないかをチェックします。AWS環境のセキュリティを担保するためにも、積極的に活用することをお勧めします。本コラムでは、AWS Security Hubについて基本的なサービス紹介からメリット、料金まで詳しく解説します。 AWS Security Hubとは？ AWS Security Hubのメイン機能としては、「セキュリティ基準機能」と呼ばれるものが挙げられます。これは、Cloud Security Posture Management（CSPM）に相当するサービスで、「AWSリソ
EC2のインスタンスメタデータ(IMDS)をv2に移行する手順をまとめてみた | DevelopersIO
こんにちは、コンサル部＠大阪オフィスのTodaです。 EC2のインスタンスメタデータサービスはEC2内から実行中のインスタンスの設定情報を取得できる仕組みになります。 ここ最近ではAWS Security HubのEC2.8の表示でIMDSv2の利用を推奨されたり、Amazon Linux 2023の初期設定で IMDSv1が無効になっていたりするので切り換え時期かなと考えております。 今回は新規インスタンスと既存インスタンスそれぞれで IMDSv2 のみにする調査と手順をまとめてみました。 EC2インスタンスメタデータサービス(IMDS)とは？ IMDSはEC2内から実行中のインスタンスの設定情報を取得できる仕組みになります。 上記を利用する事でスクリプト内でインスタンスIDなどを取得して利用することができます。 取得可能な情報は下記リストを参照ください。 ■ インスタンスメタデータのカ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20分で大体わかる！ AWS Glue Data Qualityによる データ品質検査
