はじめに AWS Lambdaを使ってデプロイするときに、 Dockerイメージを使って、デプロイしたいケースがありました。 すでに、動いているLambdaをLambda Dockerへ変更する際に、 つまずきポイントがあったので、備忘録として、残しておきます Lambdaでコンテナイメージを利用とは？ Lambdaには、通常のLambda(ソースコードのみを記述するタイプ)と Dockerイメージを利用するパターンが存在する ※Dockerイメージは、ECRから参照し、Lambda上で実行が出来る なぜDockerイメージを使うのか？ 通常のLambdaとLambda Dockerには、仕様の一部に違う部分が存在している 今回、Lambda Dockerを利用したいと考えたのは、 通常のLambdaよりも、大きいパッケージを展開できる為 ●Lambda 50 MB (圧縮、直接アップロー
AWS CLIの起動が重くてつらいので aws-sdk-client-go を書いた / kamakura.go#6
kamakura.go #6 でのLT資料です https://kamakurago.connpass.com/event/316438/ https://github.com/fujiwara/aws-sdk-client-go
Amazon S3の空のバケットに対してアクセスされると、たとえそれが第三者からの不正アクセスでエラーが返ったとしてもリクエスト料金が発生してしまうという現象について、AWSが修正を完了したと5月13日付けで明らかにしました。 これまでは空のバケットへのアクセス方法を知っている第三者が大量のリクエストを発行した場合、例えその結果「AccessDenied」（HTTP 403 Forbidden） エラーが返ったとしても、バケットの所有者には大量のリクエスト処理による利用料金が請求されてしまうという問題が発生していました。また、実質的にこれを防ぐ方法はないとされていました（AWSのドキュメント）。 4月30日にあるAWSユーザーのブログによってこの現象が明らかになった後、AWSのエンジニアは直ちに修正作業に入ったことが同社のチーフエバンジェリストであるJeff Barr氏によって示されました
Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 本記事は、Amazon Aurora MySQL version 2 (with MySQL 5.7 compatibility) to version 3 (with MySQL 8.0 compatibility) upgrade checklist, Part 1 を翻訳したものです。 Amazon Aurora MySQL 互換エディション バージョン 2 (MySQL 5.7 互換)は 2024 年 10 月 31 日に標準サポートの終了が予定されています。Amazon Aurora MySQL バージョン 2 の標準サポートの終了タイムラインについて
AWSを使用したアプリケーションのローカルテスト
AWSを使用したアプリケーションのテスト方法 AWSを使用しているアプリケーションの開発時に問題となるのは、どのようにテストを実施するかという問題が発生します。 この時の選択肢は次の通りとなります。 単体テスト時にAWSのモックを作成してテストを行う AWS上にテスト用の環境を用意してテスト時に接続してテストを行う LocalStackを使用してローカルにAWSサービスのエミュレーターを動かしてテストする 単体テスト時にAWSのモックを作成してテストを行う 単体テスト時にモックアップする方法はテストに都合のいいデータを返せるため容易にテストが行えます。 モックの作成に手間がかかりますし、思い込みでモックを作成してバグを作成する場合もありますが、Motoなどを用いることでこれらの問題は軽減できるでしょう。 ただし、あくまで単体テストでしか使用できません。例えば複数プロセスを連携するようなテス
Amazon S3 will no longer charge for several HTTP error codes
Amazon S3 will make a change so unauthorized requests that customers did not initiate are free of charge. With this change, bucket owners will never incur request or bandwidth charges for requests that return an HTTP 403 (Access Denied) error response if initiated from outside their individual AWS account or AWS Organization. To see the full list of error codes that are free of charge, visit Billi
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
OCIについて知らない方向け AWSは知ってるがOCIを知らないという方は取り急ぎ以下のようなページを読むとイメージが掴みやすいかと思いますのでリンクを貼っておきます。 本件では細かい用語の違いなどの説明は省略します。 OCIへの移行理由 今回移行した理由はコスト削減が最大の理由でした。 オンプレからAWSに移行したのは3年前の2021年2月で当時のドル円相場は約106円でした。 2021年のAWS移行当時、RDSのReserved InstancesとEC2のSavings Plansを3年で購入していました。（通常は1年などで購入されるケースの方が多いと思いますが、歴史のあるサービスなので急激なリソースの増減はあまり無さそうではと考えたためとなります。結果としては円が強いタイミングで安く買えて助かりました） 移行を検討し始めたのはRI/SPが切れる1年前くらいで、その時点のドル円レート
初めてAWSを使うときのセキュリティ覚書〜利用者編〜 | コラム | クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
しばらくDevelopersIOから出張してクラソルにも投稿します。 今回はこれからAWSを使う方や使い始めた方向けに、AWSセキュリティで絶対に覚えておく必要があることを解説します。 この記事を読んでいただければ、自信を持って安全にAWSを利用し始められます！ 1.前置き〜AWSは安全？〜 みなさんはAWSやクラウドを利用する際のセキュリティに対してどんな印象をもっていますか？ 「なんだかよくわからないけど不安だ」と感じている方、いい感覚です。初めて扱う技術を怖く感じることは正常な感覚です。しかし、過剰に怖がりすぎるのは違いますね。 逆に「AWSやクラウドは安全だからセキュリティを気にせず使って大丈夫だ」と感じた方は少し危険かもしれません。自らの正確な知識と正しい根拠がないまま勝手に安全だと信じることは正常な感覚ではありません。 いずれの場合も、AWSやクラウドについてこれから学習してい
デジタル庁関係者「ガバメントクラウドの8割は自治体には不要なもの」…牛耳るアマゾン勢と、マイナのミスは富士通に押し付ける河野太郎 - みんかぶ（マガジン）
マイナンバー制度をめぐるトラブルが相次ぐ中、現行の健康保険証が12月に廃止される。国はマイナンバーカードに健康保険証の機能をもたせた「マイナ保険証」に一本化させるため、医療機関に最大20万円支給するバラマキまで始めるという。そもそもなぜこのようなゴタゴタが起きているのか。元プレジデント編集長で作家の小倉健一氏が河野太郎氏とデジタル庁の問題点を語るーー。 目次 別人の住民票が発行されるミスが立て続けに起きた際には開発会社に責任を押し付けた元アマゾン社員が幅を利かせているデジタル庁…ガバメントクラウド約8割は日本の自治体に必要のないもの本来、マイナカードの発行は任意であったはずが……本当に行政コストが下がるのだろうか河野太郎「目視であっても、丁寧にカードをチェックすれば偽造は見破れる」 別人の住民票が発行されるミスが立て続けに起きた際には開発会社に責任を押し付けた 毎日、毎日、笑い話のような話
Amazon Kendra の Custom Document Enrichment と Amazon Bedrock で画像検索に対応する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 皆さんは、「前のプレゼン資料に使った、犬の画像はどこいったかな？あの画像が欲しいので、探してくれないかな？」と無茶振りされたことはありませんか？ そんな時でも、「舌を出して喜んでいる」と検索すれば画像がヒットし、こんな無茶振りにも応えることができるシステムを Amazon Kendra （以下、 Kendra ）で構築しました。 舌を出して喜んでいる犬 ちょっと待って Kendra は機械学習を利用した検索サービスで、ウェブサイトや S3 に保存したドキュメントなどをもとに、適切な検索結果を返します。 しかし、 Kendra で検索できるのはテキストだけで、画像を S
生成AIユースケースを考え倒すためのGenerative AI Use Cases JP (GenU)の魅力と使い方
AWS Expert Online for JAWS-UG #33 (2024年5月15日実施)の発表資料です。
AWS App Runner 振り返り 2023～決別・ECSを使うぞ～ - koudenpaのブログ
AWS Containers Advent Calendar 2023の4日目です。 qiita.com AWS App RunnerはAWSで手軽にコンテナを動かせるサービスで、2021年にGAしてから緩やかに使用しつつ所感を書いてきた。 AWS App Runner はおもちゃなのでそれ以上の用途には使ってはならない - koudenpaのブログ Laravel を AWS App Runner で動かしてみる - koudenpaのブログ AWS App Runner 振り返り 2022 - koudenpaのブログ 去年のAWS App Runnerのカレンダー | Advent Calendar 2022 - Qiitaではサービス内容の振り返りをしたのだが、今年は記事のタイトルにも書いた通りApp Runnerを自分の中でどう位置付けたのかの整理記事とした。正直サービス内容には
セリプスキー氏が経営トップを務めた3年間は、良いこと悪いことさまざまな出来事があった。 売上高成長率は記録的な水準まで落ち込み、過去最大規模のレイオフ（一時解雇）実施に追い込まれ、人工知能（AI）開発競争では難題への対応を強いられた。 一方で、パンデミック期間の急成長の反動もあって一時鈍化した業績を再成長の軌道に乗せ、年間売上高1000億ドルの達成も見えてきた。 AWS広報担当のパトリック・ニーホン氏はセリプスキー氏の退任発表後、同社の現状について次のようにコメントしている。 ｢過去3年間の継続的な成長、イノベーション創出、収益拡大はそれ以上説明する必要のない実績ですし、2024年に入って現在に至るまでの売上高も、前四半期比で他のクラウドプロバイダーの数字を圧倒的に引き離しています｣ それでも、ジェネレーティブ（生成）AI市場が爆発的な成長を遂げる中、AWSが同市場で競合他社の後塵を拝する
目次 目次 はじめに 概要 セッションマネージャーとは セッションマネージャーを使うメリット 導入方法 やってみよう おわりに はじめに こんにちは、クラウド事業部の島田です。 以前、やりがちなセキュリティグループの危険な設定と改善案という記事を執筆しました。 その発展形として、踏み台サーバを使わずにインスタンスに導入する方法をハンズオン形式でご紹介します！ 今回使用するAWSサービスは・・・セッションマネージャーです！！ part1の本記事ではパブリックサブネットにあるインスタンスへの導入方法 part2ではプライベートサブネットにいるインスタンスへの導入方法 の2部構成でまとめてみたいと思います。 概要 セッションマネージャーとは AWS System Managerの機能の1つ。 ブラウザ上でインスタンスにログインすることが可能。 セッションマネージャーを使うメリット 踏み台サーバを
検証環境 検証環境は以下のとおりです。 OS : Amazon Linux 2023 (al2023-ami-2023.4.20240429.0-kernel-6.1-arm64) インスタンスタイプ : c6gn.medium (ネットワーク帯域幅最大16Gbps) 東京リージョンのEC2インスタンスから大阪リージョンのEC2インスタンスへiperf3を叩いて、その時の転送速度を確認します。iperf3の詳細は以下記事をご覧ください。 レイテンシーは8msで安定しています。 EC2インスタンスの各種設定は以下のとおりです。 $ sudo cpupower frequency-info analyzing CPU 0: no or unknown cpufreq driver is active on this CPU CPUs which run at the same hardware
無料のAI講座・Python・ITパスポート・AWS・品質管理・英文メールなど今後に役立つスキルが身に付く「Udemy」初夏のビッグセールおすすめ講座レビュー
4月は就職や転職、異動などで仕事内容が変わった人も多いはず。新たな仕事をこなしていくうちに、「どんな知識やスキルがこの先必要になってくるのか」や「どんな資格が効果的なのか」がだんだん見えてくるわけですが、動画形式で学べるオンライン学習プラットフォームのUdemyが初夏のビッグセールを行っており、スキルや資格の取得に役立つ対象講座が1講座1300円～という本1冊程度の手ごろな価格で受講できるようになっています。今回は新たな知識をスムーズに吸収できる講座を6つピックアップしてみました。 オンラインコース - いろんなことを、あなたのペースで | Udemy https://www.udemy.com/ ・目次 ◆1：GoogleのGeminiを使ってAIの使い方をマスターできる無料講座 ◆2：IT専門職ではない人にもおすすめな「ITパスポート」資格取得を目指す講座 ◆3：プログラミング言語「P
2024年5月11日 JAWS-UG DE&IでのLT資料。
[アップデート] Amazon S3でいくつかのHTTPエラーコードに対して課金されなくなりました | DevelopersIO
外部からS3バケットに対するアクセスエラー時の課金が気になる こんにちは、のんピ(@non____97)です。 皆さんは外部からS3バケットに対するアクセスエラー時の課金が気になったことはありますか? 私はあります。 Amazon S3ではAPIリクエスト数に応じて課金が発生します。 PUT、COPY、POST、LIST リクエスト (1,000 リクエストあたり) : 0.0047USD GET、SELECT、他のすべてのリクエスト (1,000 リクエストあたり) : 0.00037USD ※ いずれも東京リージョンのS3 Standardの場合 抜粋 : 料金 - Amazon S3 ｜AWS レスポンスステータスコードによって課金発生の判定は行われません。 その結果、以下記事で紹介しているとおり、外部から大量のアクセスがあり全て403 AccessDeniedであってもリクエスト数
![[アップデート] Amazon S3でいくつかのHTTPエラーコードに対して課金されなくなりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4f0f66fed1d804a85358499e6de8916d97c29394/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-s3.png)
アマゾン ウェブ サービス ジャパン（AWSジャパン）は5月16日、Amazon Web Services（AWS）が提供する生成AIアシスタント「Amazon Q」と生成AIアプリケーションの構築基盤「Amazon Bedrock」に関するアップデート情報を説明した。同日に行われた記者説明会では、AWSジャパン サービス＆テクノロジー事業統括本部 技術本部長の小林正人氏がデモンストレーションを交えながら説明した。 Amazon Qにおけるアップデートは、「Amazon Q Business」「Amazon Q in QuickSight」「Amazon Q Developer」「Amazon Q Data Integration in AWS Glue」の一般利用、「Amazon Q Apps」のプレビュー提供の開始だ。 Amazon Q Businessは、組織のさまざまなドキュメント
はじめに Redshiftのデータ共有、皆さん使われているでしょうか。 物理的なコピーをせず、Redshift間でデータの共有ができて便利ですよね。 さて、このデータ共有ですが、既に共有されているテーブルに対してデータの追加や更新（INSERTやUPDATE）をすると即時反映されますが、テーブルの作成（CREATE TABLE）はデフォルトでは即時反映されません。 テーブルの作成も即時反映させたい場合は、ALTER文で SET INCLUDENEW = TRUE SCHEMA schema を実施する必要があります。デフォルトではこれがFALSEになっており、かつGUI上ではこれをTRUEに設定できるところが見つかりませんでした。 今回はこれをクエリエディタv2で実施してみます。 前提条件 以下のRedshiftを、それぞれ別のアカウントで作成済み。 プロデューサーはRedshift Pr
AWS announces the general availability of Amazon EC2 C7i-flex instances that deliver up to 19% better price performance compared to C6i instances. C7i-flex instances expand the EC2 Flex instances portfolio to provide the easiest way for you to get price performance benefits for a majority of compute intensive workloads. The new instances are powered by the 4th generation Intel Xeon Scalable custom
Amazon Q DeveloperがGAされたのでVisual Studio Codeから使ってみる - TECHSTEP
今回は2024年4月の終わりにGAとなったAmazon Q Developerを使ってみました。 aws.amazon.com 背景 以前Amazon CodeWhispererからCloudFormationコードの開発を試しましたが、つい先日Amazon Q DeveloperがGAとなり、CodeWhispererもAmazon Q Developerの機能の一部として変更されました。 なお今回は触れませんが、GAになって以下のような機能が追加されています。 AWSアカウント上のリソース情報の提供: S3バケットやLambda関数といったリソースの個数などをチャットから質問できます。 AWSコスト情報の提供: アカウント上で利用料金の大きいリソース種別などを質問できます。 Software development: /dev コマンドと自然言語を組み合わせて、コードを生成します（Co
こんにちは、株式会社FIXER＠名古屋事業所に所属している村上です。 AWSマネジメントコンソールへのサインインを、IAMユーザー（ユーザー名とパスワード）認証でしていて疲弊していませんか？ 毎回 私は疲れています。 私が担当する案件では、特別な理由がない限りIAM Identity Centerを経由してサインインすることにしています。 IAM Identity Centerを推奨している理由 理由①：IAMユーザーの資格情報が漏洩するリスクを最小限に抑えるため 情報漏洩リスクを排除するためには、注意喚起や社内ルールを設けるだけでは十分なセキュリティ対策とはなりません。IAMユーザー認証を使用しないか、又は別の認証手段に切り替える必要があります。IAM Identity Centerでは、内部でAWS Security Token Service（STS）が発行されるため、セッション時間
Amazon S3 Transfer Manager のバージョン 1 からバージョン 2 への変更 - AWS SDK for Java 2.x
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon S3 Transfer Manager のバージョン 1 からバージョン 2 への変更 このトピックでは、Amazon S3 Transfer Manager のバージョン 1 (v1) からバージョン 2 (v2) への変更点について詳しく説明します。 高レベル変更 <dependencyManagement> <dependencies> <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-sdk-bom</artifactId> <version>1.12.5871</version> <type>pom</type> <scope>import</scope> <
こんにちはますのです。 先日、X（旧Twitter）でとある投稿を見ました。 AWSドキュメントのS3バケットポリシー制御で、IP制限にDeny使ってるけど、Allow条件入ってないからアクセス出来ないのでは？？ { "Version": "2012-10-17", "Id": "S3PolicyId1", "Statement": [ { "Sid": "IPAllow", "Effect": "Deny", "Principal": "*", "Action": "s3:*", "Resource": [ "arn:aws:s3:::DOC-EXAMPLE-BUCKET", "arn:aws:s3:::DOC-EXAMPLE-BUCKET/*" ], "Condition": { "NotIpAddress": { "aws:SourceIp": "192.0.2.0/24" } }
Storage Transfer ServiceにAmazon S3からのデータ転送をより安くするオプションが追加されました | DevelopersIO
Google Cloudデータエンジニアのはんざわです。 2024年5月17日、Storage Transfer ServiceにGoogleが管理するマネージド・プライベート・ネットワーク経由でのデータ転送のオプションが追加されました。 May 17, 2024 この記事では、新しいオプションの概要や料金などを簡単に紹介したいと思います。 マネージド・プライベート・ネットワークとは？ マネージド・プライベート・ネットワークとは、Storage Transfer Serviceを利用して、Amazon S3からGoogle Cloud Storageへデータを転送するためのオプションの１つです。 このオプションを有効化するとGoogleが管理するCross-Cloud Interconnect経由でデータが転送されます。 これにより、Amazon S3のEgress料金がかからなくなり、代
AWS のタグを jq, JMESPath, Jsonnet でいい感じに取り扱う話 - estie inside blog
estie SRE の sugitak です。今日はね、 JSON を扱っていこうと思います。 何の記事？ 手元で bash や zsh を使っていると、環境変数ってこういう形ですよね。ペアで扱います。 Environment=production Product=estie ... DD_ENV=production ところが AWS はこういうふうに保持しています。これは人間の目に優しくないので、できれば手元と同じく Key=Value っぽい形で取り扱えたら嬉しいな。そのように思っているわけです。 [ { "Key": "Environment", "Value": "production" }, { "Key": "Product", "Value": "estie" }, ... { "Key": "DD_ENV", "Value": "production" } ] これを j
EC2インスタンスを再起動すると/etc/resolv.confが元に戻る - rougeref’s diary
EC2インスタンスを再起動すると/etc/resolv.confが元に戻る ec2インスタンスの/etc/resolv.confの設定をして再起動すると、なんだかデフォルトに値に戻る。 なんでや、と調べることしばしどうもDHCPの設定が有効になっていることが原因みたい。 /etc/sysconfig/network-scripts/ifcfg-eth0を編集 このファイルの以下の行を変更。 PEERDNS=yesを PEERDNS=noに変更する。
特定のS3バケットへの通信だけプライベート接続を実現したい
こんにちはますのです。 S3バケットへのGet、Putをする際に、機密情報モリモリなS3バケットだけを内部的なプライベート接続に出来ないか？と思うことがありました。 今回は特定のS3バケットのみ内部通信を実現する方法がないか調べて実装しましたので紹介です。 実現したいこと 特定のS3バケットへのAWS CLIアクセスをプライベート接続にしたい プライベートサブネットに所属するEC2インスタンスのみ接続許可としたい パブリックサブネットに所属するEC2インスタンスは接続不可とする yumやdnfコマンドでAmazon Linuxリポジトリへのアクセスはパブリックでアクセスしたい なるべく費用はかけない 構成図 概要 パブリックサブネットからの通信はゲートウェイ型VPCエンドポイントのみ接続許可とする 名前解決はRoute53リゾルバ経由でプライベートホストゾーンを参照する 特定のS3バケット
AWS CLI のいろんな認証方式
はじめに AWS CLI を使用する場合、接続先の AWS アカウントに対して認証を行う必要があります。この認証方式には以下のような条件により複数のパターンが存在しており、覚えるのが少しめんどうです。 MFA の要否 スイッチロールの要否 IAM ユーザー Or AWS IAM Identity Center（旧 AWS SSO）を使用した SSO ユーザー 毎回設定方法を調べるのがツラくなってきたので、よく使用するパターンをまとめておこうと思います。なお、MFA を有効化していない環境はさすがにもう見なくなったので省略します。まだ MFA を有効化していない方はいますぐ設定しましょう👍 認証パターン別 AWS CLI プロファイル設定方法 比較的よく採用される認証パターンについて、AWS CLI の名前付きプロファイル設定とコマンド実行のサンプルをまじえて紹介します。 IAM ユーザー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
Amazon S3が不正なリクエストでも利用料が加算される現象、AWSが修正を完了したと報告
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
AWS から OCI に移行してコストを約半額にした話 - Qiita
AWSの生成AI事業めぐる“光と闇”。セリプスキーCEOの退任は｢必然の帰結だった｣
【AWS】セッションマネージャー導入してみた - APC 技術ブログ
東京リージョンと大阪リージョンのEC2インスタンス間の転送速度を計測してみた | DevelopersIO
チーム立ち上げにAWSを活用したらClaudeさんに褒められた話
AWSジャパン、生成AI最新情報を発表--開発者体験を一新する「Amazon Q Developer」など
Redshiftのデータ共有で元DBに作成したテーブルを即時反映させる - Qiita
Introducing Amazon EC2 C7i-flex instances
AWSアカウントにサインインするときはIAM Identity Center経由にしましょう
特定のIPまたはVPCからのみ許可するS3バケットポリシーの設定