AWS Cost and Usage Report(CUR)をTerraformで作成する
AWS Cost and Usage Report（AWSのコストと使用状況レポート、以下CUR）は、AWSのコストやリソースの使用状況をS3やRedshiftにアップロードしてくれる機能です。EC2インスタンスIDなどのリソース単位を含めることができるため、コストの追跡が容易になります。 Cost Explorerと異なり、EC2以外のAWSサービスのリソースも含まれます。1日1回以上、S3にアップロードされるので、自分たちの使い慣れたBIツールなどで分析・可視化することができます。 AWSマネジメントコンソールからCURを設定することが多いのですが、今回はTerraform（一部CloudFormation）で作成する方法を紹介します。 プロバイダの設定 今回は、CURのデータを保存するS3バケットを東京リージョン（ap-northeast-1）に作成します。 後述しますが、CURを作
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 | DevelopersIO
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 こんにちは！森田です。 この記事は「Amazon Connect アドベントカレンダー 2022」の15日目の記事となります！ Amazon Connectアドベントカレンダー2022は、クラスメソッドと株式会社ギークフィードさんでチャレンジしている企画となっており、他にもAmazon Connect関する様々な記事がありますのでぜひご参照ください！！ この記事では、Amazon Connect の通話データをバッチ処理で分析しその結果を Word 文書にする方法をご紹介します。 やりたいこと Amazon Connectの音声データの分析結果を AWS Lambda で Word 文書に変換し、 そのファイルパスを Amazon Co
AWS IAM PolicyのForAllValuesを勘違いしてた件 - LayerX エンジニアブログ
LayerX Fintech事業部（※）で、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 ※三井物産デジタル・アセットマネジメントに出向しています。 今回は、AWS IAMポリシーの条件における「ForAllValues」の仕様を誤って理解していたことから、安全でないアクセス制御を実装していたという内容です。もし同様の勘違いをされている方がいたら参考になれば幸いです。 ユースケース AWS IAMユーザーを、ロールの trust policy がユーザーのタグで制御するケースで考えます。 具体的には、「Group A あるいは Group B」に所属し、且つ「Admin」権限のあるユーザーのみが行使できる役割「AdminABRole」があるとしましょう。 この場合、Group と Admin のタグが存在し、下記のようなパターン（※）が考えられます。
Azure PipelineからAzure DevOps Wikiを更新する
まったくもって誰得なのかわからないような記事ですが、Zennに書いて見るネタが欲しかったので書いてみることにしました。 動機 社内のとある活動で経費精算を取りまとめたかったのですが、エンジニアなのにExcelシートってなんか嫌じゃないですか？ なので申請時にYAMLを書いてもらってプルリク投げてもらう運用にしたかったのです。 YAMLからMarkdownテーブルへ こっちはTypescriptでサクッと（TS2.x以降久しぶりに触ったので興味津々で調べていたのでちっともサクッとではなかったのですが）作ったので割愛します。npm start するとYAMLを食ってMarkdownを吐き出してくれるごくごく簡単なものです。 なぜGithubではない? 社内向けなので社内で使っているAzure DevOpsなのです。Azure DevOpsはその名の通りAzureの親戚でMicrosoftが提供
拒否ポリシーでBigQueryのテーブル削除を無効にする
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の疋田（ひきた）です。 珍しい苗字でなかなか覚えづらいと思いますので、是非「ヒッキー」と呼んでいただければ嬉しいです。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Platform、以下「GCP」) の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回ご紹介するリリースは、2023年8月7日にサポートするようになった、拒否ポリシーを介してのアクセス拒否機能です
私とAWSの15年 あるいはThe Bezos Mandateの話 - NRIネットコムBlog
こんにちは佐々木です。 本日よりNRIネットコムのメンバーによるイベント、「APN AWS Top Engineers/APN Ambassadors Week」を開催します！！！一番手を担当することになったので、昔を振り返りながらAWSについて考えてみます。 最初のAWSはいつだったのか？ 振り返るうえで、まずAWSは始まりはいつだったのかを探ってみましょう。最初のAWSを探ろうとすると、もはや考古学の領域になりそうですが、一般的には2004年のSQSを持って（今の）AWSの始まりとしているようです。この記事を書くにあたって裏を取ろうと思って『最初のAWS』でググると、過去に自分が寄稿した記事が出てきました。本当に、ありがとうございます。 dev.classmethod.jp ただ、AWSの名前で一般的に認知されだしたのは、S3やEC2が登場した2006年です。私がAWSに出会ったのも2
Looker Studioのデータ抽出（Extract data）機能を利用してスキャン量を減らす - LayerX エンジニアブログ
こんにちは！LayerX バクラク事業部 機械学習・データ部 データチームの石橋（@saaaaaaky）です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
[AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO
サクッとSAML認証を実装したい こんにちは、のんピ(@non____97)です。 皆さんサクッとSAML認証を実装したいなと思ったことはありますか? 私はあります。 自分でSAML認証のService Provider(SP)側の処理を実装するのは大変です。そのような場合はALBとCognitoを使うと簡単に行えます。 ということで実際にやってみました。今回はIdPとしてOktaを使用します。 「SAML認証ってなんやねん」や「OktaのSAMLアプリってどうやって作成すればいいんだ」、「CognitoでSAML認証ってどうやって行えばいいんだ」という方は以下ドキュメントをご覧ください。 初心者向けSAMLガイド SAMLアプリ統合を作成する | Okta ユーザープールへの SAML ID プロバイダーの追加 - Amazon Cognito また、せっかくなので以下アップデートで可能
![[AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/01997881325332bcbeca491a7a712a5024e39095/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cognito.png)
[Proxmox VE] テンプレートとクローンとCloud-Initを使ってVMをｻｸｻｸｼｭｯと生やす (Fedora / Ubuntu) - zaki work log
Proxmox VEには、VMのテンプレート化とクローン機能があり、さらにCloud-Initを使って初期設定込みで簡単にVMをプロビジョニングできる機能がある。 もうすぐFedora40やUbuntu 24.04がリリースされそうなので、その時にサラサラとテンプレート作成できるように、この機能を使う準備についておさらい。 といっても、ドキュメントの通り順番にコマンド実行していけば作成できる。 pve.proxmox.com ちなみにここではUbuntuの情報はあふれてるので、ここではFedora 40 betaでお試し。 (Ubuntuの場合も参考程度に記載してる) テンプレートの作成 ベースになるCloudイメージの入手 テンプレート元にするVM作成 イメージのセット Cloud-Init CD-ROMドライブの追加 テンプレートへの変換 テンプレートの設定 VM設定 Cloud-In
![[Proxmox VE] テンプレートとクローンとCloud-Initを使ってVMをｻｸｻｸｼｭｯと生やす (Fedora / Ubuntu) - zaki work log](https://cdn-ak-scissors.b.st-hatena.com/image/square/09e326e479db34e4f23c9d0d0be827d6b64ea1db/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fz%2Fzaki-hmkc%2F20240401%2F20240401230951.png)
AWS Step FunctionsとAmazon Bedrockを用いて生成AIの自動フローへの組み込みを行う - Qiita
前提 AWS Step Functionsとは、ステートマシンを使用してワークフローを構築し、アプリケーションの自動化を実現するサービスです。一方、Amazon Bedrockは、大規模な言語モデルを活用して自然言語処理の機能を提供するサービスです。AWS Step Functionsから Amazon Bedrockを実行することで、ワークフロー機能の中に生成AI機能を組み込むことが可能となっています。 生成AIはチャット機能の形式で使われることが多いですが、実業務の中での利用を考えたときにワークフローや自動化の文脈で活用できると利用の幅が非常に広がると考えられます。そこで今回、以下の記事を参考にしつつAWS上で生成AIを含んだ自動フローの実装を行いました。 参考記事：https://aws.amazon.com/jp/blogs/news/build-generative-ai-app
Snowflake 向けの DevOps の取り組みと現状の課題についてまとめてみた
本記事の背景 本記事は、某所で密かに行われていた Snowflake DevOps 情報交換会 Season 1 最終回の議論用に共有した内容です。 本会は、 DevOps を中心に、また DevOps とは直接は関係ないテーマも含め、その時々において関心のあるテーマを取り扱っていましたが、今回は最終会ということで、本来のテーマである DevOps において、私個人が中心的テーマであると考える構成管理やデプロイの自動化について議論したいと思い、整理しました。 中心的テーマを再び取り上げようと考えたきっかけの 1 つが Snowflake Data Superhero の Tomas が LinkedIn で EXECUTE IMMEDIATE FROM という新しい構文について紹介しているのを発見したことです。これはステージ上の SQL ファイルを直接実行できるという機能です。 Tomas
Snowflakeにて大規模なテーブルのクエリ実行時間を高速化するためのマイクロパーティションという選択肢について
テーブルに対して設定する場合は、複数の日付列を指定するのが良いと記載があります。この場合は日付列はTIMESTAMP型の場合はTO_DATEでキャストすることを推奨されています。 例えば、ファクトテーブルに、多くの離散値（テーブル内のマイクロパーティションの数よりも多く）を含む TIMESTAMP 列 c_timestamp がある場合、タイムスタンプではなく日付に値をキャストすることで、列にクラスタリングキーを定義できます（例： to_date(c_timestamp)）。これにより、カーディナリティが合計日数に削減され、より優れたプルーニング結果が通常生成されます。 引用元：クラスタリングキーを選択するための戦略 費用 今回の例では、DATE列に指定した場合は約5クレジット、DATE列を含む4列に指定した場合は22クレジットの消費でした。 自動クラスタリング クラスタリングキーを設定し
Twilio StudioとDialogflowで作るサーバレス自然言語による自動応答電話(IVR)システム ～Kintoneでの可視化も添えて～ - ワタナベ書店
タイトル盛りすぎ。 ところで「お前が神を殺したいなら、とあなたは言った」が完結しましたね。 このブログを読んでる各位はもうすでにお読みでしょうが、念の為に言っておきますと、とても面白いので読みましょう。 異世界転生宗教改革ものですよ。陰謀策略政治会話群像劇が好きな人絶対楽しいですよ。 なお、この話が好きな方は不朽のフェーネチカも好きだと思うのでぜひ。 不朽のフェーネチカ (アフタヌーンコミックス) 作者:竹良実発売日: 2018/07/06メディア: Kindle版 まえがき Dialogflow とはGoogle Homeのアプリ作成で使用されている自然言語対話のプラットフォームです。 ただし、Dialogflow はGoogle Homeアプリだけに使うわけではなく、APIを用いて直接自然言語対話をリクエストすることができます。 よって、Google Homeアプリだけでなく、直接スピ
Agents for Amazon Bedrock の "ユーザー入力" を CloudFromation で有効にする
この内容は執筆時点の2024年4月26日ごろに確認した結果です。きっと、直ぐにもっとスマートな方法が公開されると思います。（してくれ。） HogeHogeAgent: Type: AWS::Bedrock::Agent Properties: AgentName: HogeHogeAgent AgentResourceRoleArn: !Ref AgentRoleArn FoundationModel: anthropic.claude-3-haiku-20240307-v1:0 Instruction: | あなたはユーザーからの質問や要望に対応するエージェントです。 質問には丁寧に回答してください。 AutoPrepare: true ActionGroups: - ActionGroupName: UserInputAction ActionGroupState: ENABLED P
LambdaからIPv6でアクセスできるようにする - backyard of 伊勢的新常識
AWSでは各種サービスのグローバルIPv4アドレスが有料化されることになり、EC2などで一部無料枠もあるものの、基本的にはIPアドレスあたり概ね500〜600円程度の課金額がかかるようになりました。 無償版G Suiteが廃止されるのでAWS SESとDockerでメール送受信システムを作ったで作成したシステムでは最終的にLightsailで中継用のIMAP/POP3サーバーを作ることになりましたが、こちらもIPv6オンリーのインスタンスに変更しなければ値上げとなりました。 LightsailをIPv6インスタンスに変更するにあたって、LambdaのコードからIPv6にアクセスが必要となりましたが、そのためにはLambdaにVPCアウトバウンド接続の設定が必要となったので、上記のメール受信システムのアップデートに合わせて行った設定の要点をAWS CDKのコードベースで説明します。 要点 L
OktaとAWSサービスのシングルサインオン連携をするため、Okta Starter Developer Editionを登録してみた | DevelopersIO
OktaとAWSサービスのシングルサインオン連携をするため、Okta Starter Developer Editionを登録してみた はじめに AWSサービスのうち、以下のサービスでは、ユーザー認証のシングルサインオン (SAML 2.0 ベースのフェデレーション認証)に対応しています。 AWS IAM Identity Center Amazon WorkSpaces Amazon AppStream 2.0 AWS Client VPN OktaとAWSのシングルサインオンを試したいと思った時、Okta Starter Developer Editionが無料で利用できることを知りました。 Okta Starter Developer Editionとは、Oktaの認証、認可、ユーザー管理の機能をアプリに組み込む開発者向けに無料で提供されています。 一部制限がありますが、Oktaの機
KubernetesのSecretを1Passwordで管理する
1Password Connect Kubernetes Operator GitHub: https://github.com/1Password/onepassword-operator 1Password上に保存されているアイテムをKubernetes上のSecretリソースに同期してくれるオペレーターです。Secretリソースはその特性上GitHubに直接あげることが難しく、IaCを実現するために様々なアプローチが取られていますが1Password Connect Kubernetes Operatorもその1つです。感覚としてはexternal-secretsなどに近く、外部のCredential Storeの情報を取得しKubernetes上にSecretリソースを作成してくれるものです。 1Password公式のOrganization下で開発されています。比較的最近開発が始
Google Cloud Next ’24 振り返り勉強会でCloud RunとGKEのコスト最適化のRecapを話しました #GoogleCloudNext | DevelopersIO
Google Cloud Next ’24 振り返り勉強会でCloud RunとGKEのコスト最適化のRecapを話しました #GoogleCloudNext ども、 もこ@札幌オフィスです。 少し遅くなってしまいましたが、4月17日に Google Cloud Next '24 の振り返り勉強会である【4/17(水)ハイブリッド】クラスメソッドGoogle Cloud Next ’24ふり返り勉強会 に登壇してきたので、その内容をブログにまとめます。 資料 Cloud RunのアップデートRecap Cloud RunのProduct Ownerの方が喋るセッション、 Cloud Run: What's new に参加したところ、たくさんのアップデート情報を知ることが出来たため、本登壇ではCloud Runの最新情報をRecapしました。本記事でも口頭で話した内容を記載していきます。 V
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
IaCジェネレーターとBedrockで詳細設計書を生成してみた
