AWS側の目線から理解する、Google Cloud ロードバランサの世界 - How elegant the tech world is...!
はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅
Introducing native support for Apache Hudi, Delta Lake, and Apache Iceberg on AWS Glue for Apache Spark, Part 1: Getting Started | Amazon Web Services
AWS Big Data Blog Introducing native support for Apache Hudi, Delta Lake, and Apache Iceberg on AWS Glue for Apache Spark, Part 1: Getting Started AWS Glue is a serverless, scalable data integration service that makes it easier to discover, prepare, move, and integrate data from multiple sources. AWS Glue provides an extensible architecture that enables users with different data processing use cas
AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
クラウドエンジニア(AWS)ロードマップ2021 - Qiita
お知らせ 2022年初頭に本記事を元にしたAWS書籍が技術評論社より全国出版決定いたしました。 関係者各位のご協力に深く感謝いたします。 タイトル：AWSエンジニア入門講座――学習ロードマップで体系的に学ぶ 本書籍出版までの制作プロセス、チーム執筆の方法論などをまとめました チームで技術書を出版して学べた共同執筆メソッド はじめに インフラ初学者がAWSを用いた設計・構築レベルに到達するため、学習の全体像をロードマップ図にまとめました。 背景 パブリッククラウド全盛期においてAWSは全エンジニアにとって「常識」となりました。 しかしながら、情報過多によってAWS学習に必要な情報がネット上のノイズに埋もれてしまい、初学者の直感による判断が誤った学習に行き着くこともあります。 このロードマップはAWS学習の全体像を俯瞰でき、パブリッククラウドを用いた設計・構築レベルに到達するまで導く体系的なス
Reserved Instance使うなんて言うのやめてもらっていいですか, 今の時代はSavings Planですよ!! - Adwaysエンジニアブログ
はじめに こんにちは!! クラウドエンジニアの大窄直樹(おおさこ)です. 今年も花吹雪舞う季節になり, 春の訪れを感じるこの頃ですね! 2021年度最初のブログということで張り切って執筆させていただきます. 今回のブログでは, Reserved Instance (RI)の後継である, Savings Plan (SP) について紹介します. はじめに Reserved Instance(RI)とは? Savings Plan(SP)とは? RI にあって SPにない機能 SP, RIの仕様をまとめ 最後に 参考文献 Reserved Instance(RI)とは? RIはEC2の割引オプションです. またRIは, Standard RIとConvertible RIの二種類に分けることができます. Standard RIは, 下記の6項目を指定して購入することでオンデマンド料金と比べて最
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表
Google Cloudは2020年7月14日（米国時間）、アナリティクスサービス「BigQuery」のマルチクラウド対応を発表した。Amazon Web Services（AWS）やMicrosoft Azure上のデータを動かすことなく、BigQueryによるマルチクラウドのデータ分析ができる。 Google Cloudは同日、AWSの「Amazon S3」に対応したプライベートα版の提供を開始した。Azureへの対応は近い将来（「soon」）に行うという。 BigQuery Omniでは、Google Cloudがマルチクラウド対応を進めるマネージドKubernetesサービス、「Anthos」を活用する。BigQuery OmniとしてAWSやAzureに展開するAnthosクラスタ上で、BigQueryのクエリエンジンである「Dremel」をマネージドサービスとして動かす。その上
AWSの請求情報を毎日Slackに投稿してコスト意識を高めることにした - Qiita
コードの置き場所 以下に置いているので好きに使ってください。Serverless FrameworkとPythonコード合わせて150行も無いので読めば分かると思います。 https://github.com/shogomuranushi/aws-billing-police 何ができるのか こんな風に費用が発生しているAWSサービスが列挙されて毎日通知されます。 なぜ作ったのか コロナの影響もあって今後どうなるか分からないですよね。コスト意識は少しでも改善したいいところ。 で、予実管理はしてるけど月単位なのでスパンが長いので、毎日なら検知もしやすく何にいくらかかってるかもすぐにわかるようになるので、毎日通知する君を作りました。 使い方 GitHubのREADMEにも書いていますが、 SlackのWebhook URLを取得します。 こちらのURLを参考に取得してください。 -> Slac
AWSサービス一覧・3行解説 (説明網羅率82%)
S3 に置いてある CSV, TSV, JSON などの形式のファイルの内容を、SQL で検索できる。 ファイルをまるごと手元に持ってくる時間と転送量を節約できる。 まず CREATE TABLE 文を発行し、S3 上にあるファイル群と対応づけたテーブルを作成する。そうすると、そのテーブルに対して SELECT することができる。WHERE 句や、GROUP BY なども普通に使える。 また、CREATE TABLE 文を発行するのではなく、AWS Glue のカタログ機能を使ってテーブル定義 (スキーマ) を作成しておく方法もある。 Athena を使うにはコンソール上でブラウザから SQL を実行できる (下記画面)。 ほかにも、JDBC/ODBC 経由でアクセスする、API を叩く、などの方法がある。 Athena は「アテナ」と読む。同類のサービスとして S3 Select がある
.env から AWS パラメータストアの Terraform ファイルを生成するツールを作った - Qiita
envssm Docker/docker-compose で.env を使っていると本番環境のシークレットの管理がめんどうですよね。 シークレットは AWS のパラメータストアに登録して、ECS など環境変数として利用するのが一般的のようですが、一つ一つコンソールに打ち込むのは骨が折れます。 なので.env ファイルからパラメータストアの Terraform ファイルを生成するツールを作りました。 対象読者 Terraform の基本がわかっている方 docker-compose などで.env を使っている方 Terraform や Docker の使い方には触れませんのでご了承ください。 インストール
クラウドネイティブファーストストーリー - アライとウマカツの本屋さん - BOOTH
2020年2月29日(土)の技術書典8で頒布予定でした「クラウドネイティブファーストストーリー」になります。 https://techbookfest.org/product/5664527410528256?productVariantID=6255841562853376 ▼どんな本？ クラウドネイティブを支える技術である「コンテナ」と「CI/CD(継続的インテグレーション/継続的デリバリー)」を中心トピックにご紹介します。本書を通して、自分達が過去に悩んだ点、躓いた点、気をつけなければならない点などをシェアすることで、クラウドネイティブなアプリケーションの開発を考えている方々に最初の一歩をお手伝いしたい、という想いから執筆しました。 本書は、AWSのECS/Fargate/Codeシリーズなどの各種サービスを組み合わせていくことで、コンテナやCI/CDのベース環境の構築を行うハンズオ
【個人的には神ツール】AwsOrganizationFormation（OSS）でAWS Organizationsをコードで管理する | DevelopersIO
【個人的には神ツール】AwsOrganizationFormation（OSS）でAWS Organizationsをコードで管理する 中山（順）です 「AWS Organizationsをコードで管理したい・・・」 そんなことを思ったことはありませんか？ 今日はAwsOrganizationFormationというOSSのご紹介です。 READMEには以下のように記載されています。 AWS Organization Formation is an Infrastructure as Code (IaC) tool for AWS Organizations. OlafConijn/AwsOrganizationFormation AWS Organizationをコードで管理するツールのようです。 これは俺得。 AwsOrganizationFormationの機能 主要な機能として、以
EKS環境をsysdigでモニタリングしてみた（モニタリング編） | DevelopersIO
また、Sysdig Spotlightを使うと、特定領域ミドルウェアのサマリーを自動的に抽出できます。左下にあるメニューの[Sysdig Spotlight]をクリック。 すると、[Sysdig Monitor Spotlight]画面が表示されます。 すでにインテグレートされているものもありますが、[Manage Your Integrations]をクリックすると、追加できるインテグレーションが複数表示されるので、アプリ特性に合わせて選択すると、それようのビューを取得することができます。 Explore（インフラ全体のメトリクスの表示） Exploreはメトリクス収集のメイン画面です。かなりいろんな角度から分析、収集ができるっぽいのですが、機能がかなり豊富なため最初はちょっととっつきにくいかもしれません。順を追って説明していきます。 Data Sourceの選択 左上のここをクリックす
ちょいテク100本ノック。できるまで帰しません 。今から使えるちょいテク集
ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VPC Reachability Analyzer 使って人生が変わった話
AWS Control Towerを利用したマルチアカウント管理とセキュリティ統制
professional-services/tools/cloudconnect at main · GoogleCloudPlatform/professional-services
bcbf60b0c0d1
BucketList App: Getting the Data (part 1) | appendTo
The Twelve-Factor App on AWS
