Docker ComposeによるAmazon ECS対応がGAに！コンテナをローカル環境と同じノリでECS環境で起動できるぞ！！ | DevelopersIO
コンサル部のtobachi(@toda_kk)です。 先日、Docker ComposeによるAmazon ECS対応がGAになりました！ AWSによるアナウンス Dockerによるアナウンス 本ブログでも過去に記事がでていましたが、Dockerでは以前からAmazon ECS対応が進んでおりdocker ecsというコマンドがベータ版として提供されていました。 何ができるのか 今回は装いを新たにdocker composeというコマンドで、Amazon ECSでクラスターを作成しコンテナを実行できるようになったようです。 $ docker context create ecs ${context-name} $ docker context use ${context-name} $ docker compose up これだけです。もちろん事前にAWSアカウントの認証情報を用意しておく
[アップデート]DynamoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャできるようになりました | DevelopersIO
CX事業本部＠大阪の岩田です。 2020/11/23付けのアップデートによりKinesis Data Streams for DynamoDBが利用可能になりました。この機能を利用すると、DynanoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャすることが可能です。 これまでもDynamoDB ストリームを利用してDynamoDBの変更をキャプチャすることはできましたが、今回Kinesis Data Streamsによるサポートが追加されたことで、より高度なシナリオに対応できるようになりました。 例えばですが Kinesis Data Analyticsを利用してストリームされた変更内容を分析する Kinesis Data Firehoseを利用してS3やAmazonES、Redshiftといった別サービスにデータを投入する といったことが可能になりま
![[アップデート]DynamoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャできるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92798d27ecd714ee7e20f9cbdf99cfcf8d03aa46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-dynamodb.png)
「GitLab 13.6」がリリース、Amazon EC2への自動デプロイが可能に
「GitLab 13.6」では、Amazon Web ServicesでGitLab CI/CDを簡単に使い始められるよう、Auto DevOpsにAWSサポートを追加することで、Kubernetesを使用することなくAutoDevOpsによるAmazon EC2へのデプロイを可能にしている。 また、より迅速な意思決定の支援を目的に、ダッシュボードとレポートの改善を行っており、マージリクエストとコード品質レポートに含まれるコード品質の重大度によって、マージする前に解決する必要のあるコード品質違反をすばやく判断できるようになった。 ほかにも、プロジェクトセキュリティダッシュボードをアップデートし、最新の実行パイプラインにおけるセキュリティスキャンの結果と動的な脆弱性トレンドチャートに基づき、最新および過去の脆弱性トレンドを把握できる。マージリクエストには、ファズテストの結果を追加するとともに
既存のCloudFormationテンプレートファイルをAWS CDKに移行してみた | DevelopersIO
どーもsutoです。 過去にCloudFormationで作成したテンプレートファイルをAWS CDKのプロジェクトとして管理するための移行方法についてご紹介します。とは言っても、コードを書き直すのではなく、CDKコマンドでスタック作成するようにテンプレートファイルをCDKプロジェクトの管理下に置くための手順です。 前提条件 ローカルPCにDCK CLIがインストールされている（未実施の方は以下のリンクを参考） 検証環境 OS：Mac 使用言語：Python3.7.3 CDK CLI：1.74.0 事前準備として、「migration」というプロジェクト名でCDK環境を作っておきます mkdir migration && cd migration cdk init migration --language python source .venv/bin/activate 実際にやってみた
AWS、ビジュアルなデータクレンジングツール「AWS Glue DataBrew」発表。大規模データの整理を迅速に実現
AWS、ビジュアルなデータクレンジングツール「AWS Glue DataBrew」発表。大規模データの整理を迅速に実現 データを基に分析を行う場合、対象となるデータがきちんと整っている必要があります。 しかし多くの場合、日付データの中に日付に変換されなかった数値データが混ざっていたり、同じ会社なのに「株式会社」と「（株）」と「(株)」の表記が揺れているせいで別の会社に分類されたり、名前や住所のどこかに余計なスペースが入っていて別のデータになったり、データをインポートしたときのミスで2つの列が連結されて1つの列に入っていたりと、整っていないデータが紛れ込んでいるものです。 これらを整理しなければ、正確なデータ分析はできません。そこで、データ分析の前処理としてデータを整える、いわゆる「データクレンジング」と呼ばれる作業が行われます。 データクレンジングは一般に手間と時間がかかる作業です。どんな
[Update] Amazon Athena engine version 2がリリース、Federated queriesやGeospatial functions等の新機能、パフォーマンスが改善されました | DevelopersIO
本日、Amazon AthenaのクエリエンジンがVersion 2がリリースされました。Version 2の変更のポイントは、Presto0.172からPresto0.217にアップデート、Federated queriesをはじめとする新機能、パフォーマンスの改善です。あまりにも大きなアップデートで放心状態です。 今日時点（2020/11/14）では、米国東部（バージニア州北部）、米国東部（オハイオ州）、および米国西部（オレゴン）のみのサポートになります。 代表的な改善と新機能 Federated Queryは、リレーショナル、非リレーショナル、オブジェクト、およびカスタムのデータソースに格納されているデータに対してSQLクエリを実行できるようになる機能です。これまでVersion 1のクエリエンジンでパブリックベータとして公開されていたFederated queriesは、Versi
![[Update] Amazon Athena engine version 2がリリース、Federated queriesやGeospatial functions等の新機能、パフォーマンスが改善されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
AWS認定12冠を振り返る - fu3ak1's tech days
みなさん大好き（？）、AWS認定試験のお話です。 参考：AWS 認定 – AWS クラウドコンピューティング認定プログラム | AWS 私は現時点で全ての認定（12個）を持っているのですが、認定の有効期限があるうちに振り返っておきたいと思います。 ※Big Data認定は現在Data Analyticsに名前が変更されています。私は古い形式のBig Dataのみ合格しています。 →2021/3/9にData Analyticsも合格しました！Big Dataの後継になるため、認定の種類としては現在も12種類ですが、バッチ的には13個手にいれることができました。 受験日、スコア 認定 受験日 スコア Solutions Architect - Associate 2017-07-23 78% (*1) Solutions Architect - Professional 2018-11-06
【レポート】これから機械学習を学びたい方向け『AWSで始める機械学習』 #AWSSummit | DevelopersIO
2020年9月8日から9月30日までオンラインで視聴可能なクラウドカンファレンス、AWS Summit Online 2020が開催中です！ 本エントリでは、ライブセッション「AWS-42：AWS で始める機械学習」のレポートをお届けします。 概要 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 西日本ソリューション部 ソリューションアーキテクト 桶谷 拓也氏 セッション概要 機械学習（ML）は、デジタルトランスフォーメーションでますます普及しています。ほとんどの皆さんは AI / ML を活用して競争上の優位性を獲得することの重要性を理解していますが、必ずしもどこから始めればよいかを理解できているわけではありません。本セッションでは AWS を使うことでどのように機械学習を学べるのか、どのように機械学習を始めれるのかをご紹介します。 動画・資料 アーカイブ動画と資
AWS CDKでプロバイダーとしてTerraformが使える！！CDK for Terraformが発表されました！！ #awscdk | DevelopersIO
AWS CDKでプロバイダーとしてTerraformが使える！！CDK for Terraformが発表されました！！ #awscdk AWS CDKがデプロイプロバイダーとしてTerraformをサポートしました！！！まだPreview版ですが、試しにVPCを作成してみました。 はじめに おはようございます、加藤です。私にとっては今年1番熱いアップデートが来ました！AWS CDKがなんとデプロイプロバイダーとしてTerraformをサポートしました！！！ ただし、今の所アルファテストステージなので、原則プロダクション環境に使うべきでありません、使う際は慎重に判断してから使用しましょう。 今まで、TerraStackIO/terrastackという同様にCDKでプロバイダーとしてTerraformを使おうとするプロジェクトはあったのですが、あまり開発は進んでいませんでした。なので、これまで
AWS Control Towerとガードレールという設計思想 - プログラマでありたい
前回、Control Towerの削除方法だけ書いていたので、それではあんまりだと思ったのでControl Towerの簡単な紹介とその中核の一つであるガードレールという設計思想を紹介します。 ガードレールという考え方 従来の考え方では、セキュリティを保つためには多少の不便は仕方ないと、セキュリティと利便性とのトレードオフで語られることが多かったです。一方、AWSはガードレールという考え方を提唱し、『ブレーキをかけるのではなく、どんなスピードを出しても安全なセキュリティ』を確保しようという方策に舵を切っています。 利便性とのトレードオフは、Gate（関所）と読んでいます。ガードレールは安全柵ですね。何度かお見せしてたかもしれませんが、関所とガードレールの違いを表した図になります。 ガードレールの実現手段としての予防と検知 では、そのガードレールをどう実現しているのかというと予防（preve
AWS Elemental Linkが届いたので開封してみた！ | DevelopersIO
はじめに 清水です。AWS Elemental MediaLive用のセットアップ済みライブエンコーダデバイスとして機能するAWS Elemental Link、先月注文していましたが、実機が届きましたので開封してみました。写真多めで実際のLinkデバイスを確認していきたいと思います！ AWS Elemental Linkのデバイスを注文してみた | Developers.IO AWS Elemental Linkを開封してみた Linkは2個口で届きました。箱の高さはiPhone 6s（Plusでないほう）よりも少し低いぐらいです。大きいほうの箱の面積はMacBook Pro (13-inch, 2017, Four Thunderbolt 3 Ports)とおおよそ同じぐらいです。（少し縦横の長さが違いますが。）段ボール箱は（個人的な感想ですが）いかにも海外製品が入っている感じがしまし
【入門】機械学習に1時間でコードレベルまで入門する方法 #Keras #SageMakerStudio | DevelopersIO
皆さん、こんにちは。コンサル部のテウです。 2020年もあっという間に２ヶ月が経ちました。新年目標の達成進捗率はいかがでしょうか？ 今年こそ機械学習に入門しようぜ！！って決心された方もいらっしゃると思います。なので、今回は機械学習に 爆速 で入門できる方法をご紹介させて頂きたいと思います。 本記事の手順通り、ランチタイム等の時間を活かして、手軽に入門してみてください。 目次 始める前に 皆さんのご存知の通り、機械学習を一瞬でマスターすることは不可能だと思います。ですが、手を動かして、可能な限りより早く技術を体験することはとても大事だと思います。技術を実際に体験して、何ができるかを確実に把握することにより、次のステップへのチャレンジのハードルも下がりますね。 本記事は、今まで SageMaker インスタンスを一度も起動してみたことがなかった方を対象として書かれております。この機会に是非Sa
CircleCIがAWSやGoogle Cloud、Kubernetesなどへ自動デプロイするための共有パッケージ「Orb」を公開。クラウドへの自動デプロイが容易に
CircleCIがAWSやGoogle Cloud、Kubernetesなどへ自動デプロイするための共有パッケージ「Orb」を公開。クラウドへの自動デプロイが容易に ビルドやテストのプロセスを自動化する、いわゆる継続的インテグレーション（Continuous Integration）の機能をサービスとして提供するCircle CIには、「Orb」と呼ばれる、設定ファイルなどを含むCircleCI向けパッケージの共有機能があります。 Orbは、CircleCIのWebサイト上の公開レジストリ的なサービスによってまざまな設定が公開されています。 例えば、CircleCIにAWSコマンドラインツールを統合する設定、ソースコードをビルドしてDockerイメージを生成、それをDockerレジストリに登録する操作を自動化する設定などがあります。 こうしたOrbを利用することで、CircleCIでさまざ
53サービス・アプリのクラウドやフレームワーク・言語など聞いてみた！ アーキテクチャ大調査2020｜ハイクラス転職・求人情報サイト AMBI（アンビ）
53サービス・アプリのクラウドやフレームワーク・言語など聞いてみた！ アーキテクチャ大調査2020 エンジニアHub恒例のアーキテクチャ大調査。2020年版では、フロントエンドとサーバサイドの開発環境や、クラウドサービスの利用を分けてアンケートを実施。53のアプリ・サービスから回答がありました。 ソフトウェア開発には日進月歩で新しいテクノロジーが続々と登場し、開発からデプロイ・運用までさまざまな環境でトレンドが次々と移り変わっていきます。そこには、技術選択した開発者の設計思想も見えてきます。 エンジニアHubでは、2017年と2019年にさまざまなIT企業にアンケートを実施し、各社のサービスやアプリを開発しているプログラミング言語やアーキテクチャ、またインフラを構成するミドルウェアやデータベースをまとめて掲載しました。 今回の2020年版ではテクノロジーの進化にあわせ、開発環境についてWe
SmartNewsのサーバーサイドのすべて 大規模サービスを支えるアーキテクチャと技術スタック
SmartNewsのサーバーサイドのすべて 大規模サービスを支えるアーキテクチャと技術スタック サーバサイドの技術スタック・アーキテクチャ総ざらい 2019年5月28日、「SmartNews Tech Night in Fukuoka Vol.1」が開催されました。日米4,000万ダウンロード (※1)を超えるニュースアプリ「SmartNews」の今と、技術にまつわる裏側について包み隠さず語る本イベント。プレゼンテーション「サーバーサイドの技術スタック・アーキテクチャ総ざらい」に登壇したのは、SREチームのEngineering Managerを務めるNobutoshi Ogata氏。SREチームの立ち上げを行い、EMとして活躍する同氏が、SmartNewsに用いられるサーバーサイドの技術について明かします。※1:日米Google Play、App Storeのダウンロード数を合算した数値
AWS Security Toolbox (AST)
In my day-to-day job, I was wasting my time to keep reinstall, and deal with dependencies of all my favorite tools for AWS Security Audits and Assessments. So, lately, I’ve decided to start another pet project trying to solve this issue and provide a simple Docker container that contains all security-related tooling for your AWS Assessments. I’ve decided to open-source it, after some discussion wi
Nginx+NLBでHTTP/3環境をAWSに作ってみた | Developers.IO
つい最近(2019/10)CloudFlareがQUIC対応のQuicheをNginxで利用出来るパッチを公開したりHTTP-over-QUICがHTTP/3に改名したりで、HTTP/3がかなりアツくなってきています。 このビッグウェーブに乗るべく、CloudFlareのQuicheパッチを適用したNginxを用意して、NLB越しでQUICを喋ってみたいと思います。 もこ@札幌オフィスです。 つい最近、(2019/10)CloudFlareがQUIC対応のQuicheをNginxで利用出来るパッチを公開したりHTTP-over-QUICがHTTP/3に改名したりで、HTTP/3がかなりアツくなってきています。 このビッグウェーブに乗るべく、CloudFlareのQuicheパッチを適用したNginxを用意して、NLB越しでHTTP/3を喋ってみたいと思います。 NLBを利用してHTTP/3
[レポート]DynamoDBデータモデリング (CMY304) #reinvent | DevelopersIO
DynamoDBのデータモデリングって、よくわからなくないですか？正規化してはいけないとか、一つのテーブルで全データを扱うんだとか聞きますが、具体的にどうしたらよいのか… という疑問に正面から答えてくれるセッションにre:Invent中に遭遇しました！具体的なアプリケーション例を挙げて、そこでのデータモデリング方法を詳細に解説してくれます。DynamoDBデータモデリング初心者の方は是非ご一読ください！ ※「DynamoDBとは」といった前段の説明が不要な方はここからどうぞ セッションタイトル CMY304 - Data modeling with Amazon DynamoDB セッション概要 DynamoDBであなたのデータをモデリングするには伝統的なRDSでモデリングする場合と異なるアプローチが必要です。 Alex DeBrieはDynamoDBを使ったアプリケーションをいくつか実装
![[レポート]DynamoDBデータモデリング (CMY304) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/675bce0a60ea4951fd0f9587e0b829b31fbf1fb6/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F10%2F1200x630_reinvent2019.jpg)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「実践的なAWSセキュリティのインシデントレスポンス環境を作ってみた！」というタイトルでSecurity-JAWSに登壇しました！ #secjaws #secjaws19 #jawsug | DevelopersIO
AWS CDKでTerraformによるプロビジョニングが可能な「CDK for Terraform」が発表
