AWS入門ブログリレー2024〜AWS IAM Access Analyzer編〜 | DevelopersIO
コンバンハ、千葉（幸）です。 当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』の33日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合いいただければ幸いです。 では、さっそくいってみましょう。今回のテーマは『AWS Identity and Access Management (IAM) Access Analyze
Dive deep into security management: The Data on EKS Platform | Amazon Web Services
AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In
Create a modern data platform using the Data Build Tool (dbt) in the AWS Cloud | Amazon Web Services
AWS Big Data Blog Create a modern data platform using the Data Build Tool (dbt) in the AWS Cloud Building a data platform involves various approaches, each with its unique blend of complexities and solutions. A modern data platform entails maintaining data across multiple layers, targeting diverse platform capabilities like high performance, ease of development, cost-effectiveness, and DataOps fea
AWS Systems Manager セッションマネージャーでSSH・SCPできるようになりました | DevelopersIO
AWS Systems Manager セッションマネージャーに待望の機能（のひとつ）がやってきました！ Session Manager launches tunneling support for SSH and SCP サーバーにSSHしたり、ローカル・リモート間での SCP 越しのファイルの送受信も可能になりました。 更には SSH セッション越しにポート転送もできます。 ということで、さっそく試してみましょう！ リモートの準備 SSM エージェントをインストール SSH先サーバーに 2.3.672.0 以上の SSM エージェントがインストールされている必要があります。 古いエージェントがインストールされている場合、アップデートしてください。 Manually Install SSM Agent on Amazon EC2 Linux Instances - AWS Systems
AWSの薄い本Ⅴ データ分析基盤を作ってみよう 〜性能測定編〜 - 佐々木拓郎のオンライン本屋 - BOOTH
データが新たな原油と例えられる現代において、そのデータを総合的に分析し、価値ある情報へと昇華させる基盤の構築は、企業にとって不可欠な戦略の一つです。本書「データ分析基盤を作ってみよう 性能測定編」は、AWSを用いたデータ分析基盤の設計に続き、その性能を徹底的に測定し、最適化する方法に焦点を当てています。性能測定は、データ分析基盤が直面する様々な制約の中で最良のアーキテクチャを決定するための重要なプロセスです。 ■ 本書の目的 「AWSの薄い本Ⅲ データ分析基盤を作ってみよう 〜性能測定編〜」を手にとっていただき、ありがとうございます。本書は「AWSの薄い本」のシリーズではあります。前々作のAWSの薄い本Ⅲ データ分析基盤を作ってみよう 〜設計編〜の続きとなります。もともとの予定では、実装編としてGlueやLake Formationを取り上げようとしていましたが、その前に設計と実装をつなぐ
データレイクのデータスキャン量を25％削減する方法
こんにちは。ヤフー広告でデータエンジニアをしている長峯です。 LINEヤフー株式会社では、Yahoo! JAPANと関連企業が所有するデータを活用することでお客様のマーケティング課題の発見と解決を実現するサービスYahoo! JAPAN データマーケティングソリューションを展開しています。私は本サービスを通じてお客様がさまざまなデータを活用するためのデータ分析基盤となるデータレイクの構築・運用を担当しています。このデータレイクは、2.5ペタバイトのデータを保有しており、年間1,000万クエリが実行される大規模な環境となっています。 今回、私たちはAWS上に構築されたデータレイクのデータスキャン量を4人月という工数で25％削減することに成功しました。この記事では、その削減プロセスを紹介いたします。このデータレイクは、クエリエンジンとしてAmazon Athenaを主に使用しており、Amazo
サーバーレスマイクロサービスを構築するための設計アプローチの比較 | Amazon Web Services
Amazon Web Services ブログ サーバーレスマイクロサービスを構築するための設計アプローチの比較 AWS Lambda でワークロードを設計すると、コードレベルでもインフラレベルでも表現できるモジュール性のために、開発者に疑問が生じます。また、コードを実行するためにサーバーレスを使用するには、基盤となる機能コンポーネントからビジネスロジックを抽出するためのさらなる検討が必要です。この意図的な関心の分離により、堅牢なモジュール性が保証され、進化的なアーキテクチャへの道が開かれます。 この投稿は同期ワークロードに焦点を当てていますが、他のワークロードのタイプでも同様の考慮が当てはまります。API の境界を特定し、コンシューマと API について擦り合わせた後、その境界と関連するアーキテクチャを構成します。 Lambda 関数を使用して API を構成する最も一般的な 2 つの方
GPT-4よりすごいらしいClaude 3が気になったあなたへ - Qiita
Claude 3、気になりますよね 今まで触ったことないけど、興味を持った方へ、入門するところまでのご案内です。 とりあえずチャットがしたい claude.aiにアクセスして、アカウントを作成します。 メールアドレスを入力する方法と、Googleのアカウントと紐付ける方法があります。 私はGoogleアカウントとの紐づけを行いました。 ログインができたら、もう、チャットができます。ChatGPTのような感じです。 日本語も自然に回答してくれます。 左下にClaude 3 Sonnetとあります。これはClaude 3のモデルの名称で、SonnetはClaude 3のシリーズの中で真ん中のモデルです。 Haiku - ハイク Sonnet - ソネット Opus - オーパス 名前からモデルの特徴を想像してもらいました。概ね特徴を捉えているのではないでしょうか。 Claude 3の特徴として
AWSの生成AIで社内文書検索！ Bedrockのナレッジベースで簡単にRAGアプリを作ってみよう - Qiita
この記事について AWSコミュニティ最大級のイベント「JAWS DAYS 2024」内のワークショップにて実施したハンズオンコンテンツとなります。 イベントでは口頭で説明しながら実施しますが、この記事さえ読めば誰でも体験できるように作っていますので、当日イベントにお越しになれない方もぜひご活用ください。（スムーズにいけば30分程度で完了します） 本ハンズオンの実施にあたり、多少の課金（数十円〜数百円以内）が発生することをご了承ください。実施後には忘れず不要なリソースの削除をお願いします。 なお、Bedrockのモデル呼び出し料金はAmazon製のTitanシリーズを除き、マーケットプレイス扱いとなるためAWSクレジット（クーポン）の適用範囲外となります。 ※事前にAWSアカウントの作成をお願いします。クレジットカード情報が必要です。ログイン用のEメールアドレスとパスワードをお忘れなく！ 0
AWSが教えてくれないコスト削減の小話いろいろ | 外道父の匠
米ドル/円 が150円と計算しやすくなり、コスト削減の圧力が日々強まる中、皆様お宝探しと垂れ流し回収の真っ最中でございましょうか。 最近はコスト削減や予算について見ることが多いので、その中で出てきた面白げな話に雑談を加えてとりとめなく書いてみようと思います。 削減余地はある 昨年にご好評いただいた AWSコスト削減とリソース管理 | 外道父の匠 を含め色々な削減施策を試みてきましたが、サクッと成果になる箇所から泥沼に動かない所まで様々あったりします。 ただ、どんなアカウントでもトラフィックや処理負荷には波があり、それに対する余剰リソースを確保して構成しているので、その辺をキュッと絞ることまで含めればやれることは必ず一定以上存在することになります。 そういう大きなお宝ではない小さなお宝だと様々あり、古びたとか退職者が作ったとかで、ほぼ使っていない垂れ流しリソースやデータをかき集めれば、チリツ
[アップデート] AWS CloudFormation の API を使って、既存リソースからテンプレートを生成出来るようになったようなので使ってみた | DevelopersIO
[アップデート] AWS CloudFormation の API を使って、既存リソースからテンプレートを生成出来るようになったようなので使ってみた いわさです。 今朝、AWS API と AWS CLI のアップデートで興味深いものがアナウンスされていました。 CloudFormation IaC generator allows you to scan existing resources in your account and select resources to generate a template for a new or existing CloudFormation stack. CloudFormation IaC Generator って初めて聞いたなと思いつつ、もしかして Former2 的なやつではという予感が。 Former2 というのは AWS 上にデプロイ
![[アップデート] AWS CloudFormation の API を使って、既存リソースからテンプレートを生成出来るようになったようなので使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/38fcd329df4c0d96ca439f9f401de46c0b7ce96f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-cloudformation.png)
Upgrade to Amazon Aurora MySQL version 3 (with MySQL 8.0 compatibility) | Amazon Web Services
AWS Database Blog Upgrade to Amazon Aurora MySQL version 3 (with MySQL 8.0 compatibility) Amazon Aurora MySQL-Compatible Edition version 3 (with MySQL 8.0 compatibility) is the most current major version supported on Amazon Aurora MySQL. You can use Amazon Aurora MySQL version 3 to get the latest MySQL-compatible features and performance improvements. MySQL 8.0 introduces several new features, inc
EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers
概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的
AWSの薄い本Ⅴ データ分析基盤を作ってみよう 〜性能測定編〜：ササキです
データが新たな原油と例えられる現代において、そのデータを総合的に分析し、価値ある情報へと昇華させる基盤の構築は、企業にとって不可欠な戦略の一つです。本書「データ分析基盤を作ってみよう 性能測定編」は、AWSを用いたデータ分析基盤の設計に続き、その性能を徹底的に測定し、最適化する方法に焦点を当てています。性能測定は、データ分析基盤が直面する様々な制約の中で最良のアーキテクチャを決定するための重要なプロセスです。 ■ 本書の目的 「AWSの薄い本Ⅲ データ分析基盤を作ってみよう 〜性能測定編〜」を手にとっていただき、ありがとうございます。本書は「AWSの薄い本」のシリーズではあります。前々作のAWSの薄い本Ⅲ データ分析基盤を作ってみよう 〜設計編〜の続きとなります。もともとの予定では、実装編としてGlueやLake Formationを取り上げようとしていましたが、その前に設計と実装をつなぐ
AWSの薄い本Ⅲ データ分析基盤を作ってみよう 〜設計編〜：ササキです
技書博5で頒布したAWS本です。AWSの薄い本のシリーズですが、この本は内容的には心機一転データ分析基盤を扱っています。データレイクやDWHをどうつなげるかといった本をメインのテーマとしています。 ■ 本書の目的 「AWSの薄い本Ⅲ データ分析基盤を作ってみよう 〜設計編〜」を手にとっていただき、ありがとうございます。本書は「AWSの薄い本」のシリーズではありますが、前二作（IAMのマニアックな話、アカウントセキュリティのベーシックセオリー）と異なるテーマとなっています。また、AWSの薄い本と銘打っていますが、AWS成分は薄めです。データ分析基盤を作る上での設計の考え方を中心です。 ビッグデータ活用の掛け声の元でデータ分析に注目が集まり、今ではDX推進という看板にかけ替えられつつあります。どのようなお題目で呼ばれるかはさておき、いろいろな現場でデータ分析に取り組む人が増えているように思えま
AWS Transit Gateway を用いて NAT Gateway を集約し、コストを最適化するための経路設計 - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 以前 NAT Gateway 集約のためのネットワーク設計においてトラブルを発生させてしまったことがあり、その再発防止のためのブログを記載します。 はじめに 各 VPC ごとに NAT Gateway を構築した場合 NAT Gateway の利用料 AWS Transit Gateway を用いて集約する NAT Gateway 集約と経路設計 Transit Gateway を構築する Transit Gateway Attachment (Type VPC) を各 VPC で作成する 「VPC A」と「VPC C」の Subnet の経路を修正し、 NAT Gateway を削除する 一度ここで経路確認を行ってみる Transit Gateway のルートテーブルに「0.0.0.0/0」を追加する Reachability Analyzer での動作
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
AWS Configコスト上昇の原因を調査：QuickSight + Athenaの分析ツールを活用 - Uzabase for Engineers
ソーシャル経済メディア「NewsPicks」でSREをしている美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はAWSコスト削減の中でもConfigの料金に注目して紹介したいと思います。 コストモニタリング定例について Configのコスト分析をどうやって行なったか ConfigのレポートをQuickSightで可視化 構成 手順 QuickSightで可視化する事でわかった事 コスト増加の要因となったリソースタイプがわかったので対応する まとめ まず、SREでは週次でコストモニタリング定例を実施しているのでその内容について簡単に触れさせて頂きます。 コストモニタリング定例について 週次で主に以下のよ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Aurora MySQL と Amazon Redshift の Zero-ETL Integration について使い所を考えてみた！
これだけは知っておきたい、AWSでデータ分析を実現する方法 記事一覧 | gihyo.jp
