今さら聞けない!? AWSの生成AIサービス Amazon Bedrock入門！
グループ企業向け勉強会資料を公開します！ ハンズオンはこちら https://qiita.com/minorun365/items/24dfb0ea3afde6ed0a56 Anthropic来日イベントはこちら https://jawsug-ai.connpass.com/event/313318/
グループ企業向け勉強会資料を公開します！ ハンズオンはこちら https://qiita.com/minorun365/items/24dfb0ea3afde6ed0a56 Anthropic来日イベントはこちら https://jawsug-ai.connpass.com/event/313318/
分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ
はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなどを通して社内利用されています。 このデータ連携処理にはいくつかの課題があり、それを解決するためにEmbulkからAurora S3 Export機能を用いた連携処理に切り替えることにしましたので、それについて紹介していきたいと思います。 ※この切り替えについては現状、試験的に一部のDBのみの切り替えとなっていますが、運用上の大きな課題が出てこなければ徐々に切り替えていく予定です。 切替前のデータ連携処理 先述した通り、BAS
はじめに｜AWSのLambdaってなんやねん
AWSのLambdaってなんやねん
みなさんはAWSのLambdaというサービスをご存じですか？ 恥ずかしながら、私は以前まで「Lambdaってバッチ処理するだけのサービスでしょ？」としか思っていませんでした。 あるとき何となくLambdaに関して調べていたところ、Lambdaをシステム開発で利用するうえで知っておくべき概念・知識・テクニックが想像以上に多いことに気づきました。 そのため、本書に私が得た知識・感じたこと・学んだことのすべてを詰め込みました。 中には「知らなかったら危なかったかも..」・「知らなかったらエラーを起こしていたかも..」というような部分も多くありました。 Lambdaに対する知識を表面的な理解にとどめず、その裏側にある技術・設計思想・利用方法を体系的に学びたい方のために、本書は無料で公開させていただきます。 努力されている方の一助になれば幸いです。
こんにちは。エンジニアリンググループの武井です。 私は現在、デジカルチームに所属し、クラウド電子カルテ、エムスリーデジカルの開発に携わっています。 昨年夏にエムスリーに入社し、早くも半年が経過しました。 digikar.co.jp この記事では、私が入社してから4ヶ月目に取り組んだ、バッチ処理の運用改善について振り返ります。 特に、新しくチームに加わったメンバーとして意識した点に焦点を当ててみたいと思います。 これから新しいチームに参加する方の参考になれば幸いです。 改善したバッチ 現状の正確な理解 現状に馴染む技術選定 自分なりの+αを加える 改善の結果 We're hiring 改善したバッチ 今回の改善対象は、特定の医療機関に紐づく全患者の全カルテをPDFファイルとして出力する、というバッチです。 デジカルのデータを医療機関側にエクスポートする用途で使われています。 移行前のアーキテ
こんにちは、カート決済部カート決済サービスブロックの林です。普段はZOZOTOWN内のカートや決済の機能開発、保守運用、リプレイスを担当しています。 弊社ではカートや決済機能のリプレイスを進めており、これまでにカート投入のキャパシティコントロールや在庫データのクラウドリフトを実現しています。 techblog.zozo.com techblog.zozo.com 本記事では新たにクレジットカード決済処理を非同期化したリプレイス事例を紹介します。 はじめに 背景・課題 非同期化のシステム構成 パターン1 - 完全非同期化パターン パターン2 - 非同期・同期切り替えパターン パターン3 - ポーリングパターン システム構成の決定 メッセージングサービスの選定 効果 今後の展望 まとめ さいごに はじめに 本章では、非同期化前のZOZOTOWNのクレジットカード決済を用いた注文処理の流れを説明
AWS Skill Builder で 生成 AI を勉強する 4 ステップ | Amazon Web Services
Amazon Web Services ブログ AWS Skill Builder で 生成 AI を勉強する 4 ステップ こんにちは、AWS トレーニングデリバリーマネージャー の西村航です。 こんな悩みをかかえている方はいませんか？「生成 AI を勉強したいんだけど何から勉強すればよいだろう？」という方、または「基盤モデルをチューニングしたり自社開発したりすることに興味があるけど、どこかに勉強方法がまとまってないかな？」という方。本記事はそういった 生成 AI を勉強したい初学者の方や生成 AI を活用した開発がしたいエンジニアの方を対象にした記事になります。 どこで生成 AI を勉強するのか？ AWS Skill Builder で勉強しましょう。AWS Skill Builder は AWS のオンライン学習センターです。何度でも視聴できるオンデマンドの AWS デジタルトレーニ
Security Hubのアラートを Microsoft Teams に通知する仕組みをCloudFormationテンプレート化 | DevelopersIO
はじめに Security Hubのアラートを Microsoft Teams に通知する仕組みを CloudFormation テンプレートで作成しました。 以前、Security Hub で検知した内容を Amazon EventBridge 経由で Microsoft Teams に通知する仕組みの構築方法を執筆しました。 今回は、通知する仕組みをCloudFormationテンプレートで構築できるようにしましたので、紹介します。 通知される画面は、以下の通りです。 個人的にEventBridge API送信先やEventBridge 接続をテンプレートで作成することがなかったので、勉強になりました。 構成図 構成は以下の通りです。 作成されるリソース CloudFormationで作成するリソースは、以下の通りです。 EventBridge API送信先 接続 ルール IAMロール
AWS Lambda のハンドラは辛い こんにちは！AWS Lambda初心者です！ AWS Lambda と言えば、サーバレスかつ非常に安い価格で無限にスケールアウトできる処理を書けることで有名ですが1、 2022年04月の Function URL アップデート でAPI Gatewayなど用いなくてもラムダ単体かつ無料でHTTPリクエストを処理できるURLを持てるようになり、かなりの神サービスになりました。 弊社でも Function URL でラムダによる外部連携用のサーバを立てておき、ちょっとしたHTTPのリクエストを受け取って、他所のサーバにデータ連携したり、S3にリクエスト中のデータを保存したりする用途に積極的に使っています。 さて、そんな神サービスである AWS Lambda 君ですが、いざ実際にJavaScriptでHTTPサーバを書こうとすると…… ちょっと辛い！ //
フルスクラッチして理解するOpenID Connect (4) stateとnonce編 - エムスリーテックブログ
こんにちは。デジカルチームの末永(asmsuechan)です。この記事は「フルスクラッチして理解するOpenID Connect」の4記事目です。前回はこちら。 www.m3tech.blog 13 state の実装 14 nonce の実装 15 まとめ 16 参考 Wre're hiring! 今回は全4回中の第4回目です。 (1) 認可エンドポイント編 (2) トークンエンドポイント編 (3) JWT編 (4) stateとnonce編 13 state の実装 https://openid-foundation-japan.github.io/rfc6819.ja.html#anchor15 https://openid-foundation-japan.github.io/rfc6749.ja.html#CSRF state は OAuth 由来の仕様です。つまりアクセストーク
こんにちは、AWS事業本部の神保です。 先日の話ですが、このブログを書こうかと気合を入れた瞬間に地震が起きました(2024/3/21) 。 一体どうなっているのでしょうか。。これ以上地震に見舞われないことを祈るばかりです。 CLF試験を受けました さて今回のテーマは、AWS Certified Cloud Practitioner(CLF-C02) を取得した話です。 私は今まで、インフラ系のシステムエンジニア（社内）など経験したこともあり、GCPやAzureをちょこちょこ触ったことはありましたが、AWSはクラスメソッドにジョインするまで全く触ったことはありませんでした。 AWSは資格が複数あり、はじめの一歩の資格としてさほどつまづくことはないかな、などと考えていましたが、 サービスの種類が多く、覚える内容が多岐にわたったため、これは対策をしないと取れないなと感じ、自分なりに工夫して知識を
プログラミング支援AIサービスまとめ。GitHub Copilot、AWS CodeWhispererなど11種類（2024年3月版）
GitHub CopilotやAWS CodeWhispererをはじめとする、コードエディタに統合できる11種類のプログラミング支援AIをまとめた。 GitHub Copilotに代表されるコードエディタに統合されたプログラミング支援AIサービスは、まだ登場して間もないにも関わらず、多くのプログラマの生産性向上にとって欠かせない機能になりつつあります。 と同時に、プログラミング支援AIサービスはGitHub Copilot以外にもさまざまなクラウドベンダ、ツールベンダ、スタートアップなどが参入し、多様な製品が新たに投入され続けている変化の激しい分野でもあります。 ここではその中から、現時点での主要なサービスやソフトウェアを11種類取り上げ、まとめました。導入や選択の参考にしていただければと思います。 価格別の主な機能 （Copilot Individual ／ 月額10ドル／年間100ド
AWS構成図についてのLT
JAWS-UG東京 ランチタイムLT会 #9 https://jawsug.connpass.com/event/310995/ でのLT資料
はじめに RSS対応のサイトだと、更新情報追いやすいけど、RSS非対応のページも追いたいよね。って人向けの記事です。 RSS対応しているサイトなら、RSSリーダーを使った方が早いです また、Discordのチャンネルにも通知がしたかったので、メールとDiscord両方に通知を行っています。 Discord側にWebhook用のURLが必要ですが、本記事では紹介しません 参考サイトのZennの記事が細かく書かれていますので、そちらをご覧ください なお、この仕組みは更新を検知したいサイトに確認リクエストを送ります。 高頻度で設定してしまうと、サーバーに負荷がかかる為、 高頻度での設定はしないようにお願いします 参考サイト 構成図 コードについて(Lambda) コードについては、基本的に、クラスメソッドさんの記事を参考にしています Discordの通知部分については、AmazonBedrock
AWS マネジメントコンソールの「ロールの切り替え」画面の UI が刷新されたので、URL にクエリパラメーターを指定した場合の挙動を確認してみた | DevelopersIO
roleName、account、displayName クエリパラメーターを指定した場合 まず、次のように roleName、account、および displayName クエリパラメーターを指定した場合です。 https://signin.aws.amazon.com/switchrole?roleName=cm-wakatsuki.ryuta&account=XXXXXXXXXXXX&displayName=hoge URL にアクセスすると、3 つそれぞれの値が設定された状態で画面が表示されました。未指定の表示色（Display color）はデフォルトの None となりました。 さらに color クエリパラメーターを指定した場合 Display color はメニュー上では None 含めた 6 つのオプションがあります。 次のように color クエリパラメーターを指定し
PHPerKaigi 2024〜10年以上動いているレガシーなバッチシステムを Kubernetes（Amazon EKS） に移行する取り組み〜
AWS Lambdaの内部を覗いてみよう
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
TL;DR RDS の メジャーバージョンアップグレード を行なった PostgreSQL 11.6 -> 15.5 MySQL 5.7.44 -> 8.0.36 PostgreSQL は AWS CDK を利用した、自前での手動切り替えをベースにした Blue/Green デプロイによるアップグレードを行なった MySQL は AWS コンソールから AWSが提供している機能である RDS Blue/Green Deployments による MySQL のアップグレードを行なった nginx の ngx_http_proxy_module を活用してサービスのダウンタイムを防止した はじめに 初めまして。株式会社ジーニーの GENIEE CHAT開発チームのマネージャーを担当しています。 今回は、データベースのメジャーアップグレードを行った際の手順やポイントなどを書いていこうと思います
この記事について みなさん、ECS利用していますか！？ AWSでコンテナを使うのなら、ECSですよね！?(kubernetesわからない勢) ECSはタスクという単位で、アプリケーションを実行させます。 そして、タスクの中にコンテナが１つ以上稼働します。 タスクはタスク定義から作成されます。タスク定義はタスクの金型的な存在です。 また、タスク定義はJSONファイル（以後taskdef.json)として運用することが一般的です。 このtaskdef.jsonを実運用する際に迷うポイントがあります。 それは以下のどちらの方法にするかです。 – 方法① : 各環境ごとにtaskdef.jsonを用意する – 方法② : 各環境でtaskdef.jsonを共用する ①,②について、それぞれの詳細/メリット・デメリットについて洗い出しをして、どちらを採用すべきかについての見解を述べていきます。 あく
![[ECS] タスク定義ファイル(taskdef.json)の運用について考える | iret.media](https://cdn-ak-scissors.b.st-hatena.com/image/square/44fc1474c22e3382588fd4b15ee70ff7f704163b/height=288;version=1;width=512/https%3A%2F%2Firet.media%2Fwp-content%2Fuploads%2F2021%2F07%2Fimg-eyecatch-aws-02-1200x630.png)
SRE の田中 @kenzo0107 です。 社内版 ChatGPT を構築し、社内の ChatGPT 利用を促進した話です。 社内版 ChatGPT が必要だった理由 以下要望を実現する為です。 秘匿情報をクローズドな環境で OpenAI にポストしたい 社員誰もが最新のモデルやバージョンで高精度、且つ、パフォーマンスの高い ChatGPT を利用したい 構成 - Web 版 社内 ChatGPT Web サービスは AWS に配置 ALB を会社毎に分けて Google 認証する *1 ECS から Azure API Management 経由で Azure OpenAI Service に問い合わせ API Management は Azure OpenAI Service の監査ログを取得する為に配置している *2 Azure 側ではネットワークセキュリティグループで AWS N
GitHub ActionsでファイルをS3にキャッシュするアクションを作りました - プログラムモグモグ
GitHub Actionsでは依存パッケージやビルド結果などをうまくキャッシュすることで、テストやビルドの時間を短縮できます。 actions/setup-nodeやactions/setup-javaなどの各言語のオフィシャルアクションは各パッケージマネージャーのためのキャッシュ機構を提供していますし、actions/cacheを使って任意のファイルをキャッシュすることもできます。 これらは内部で@actions/cacheパッケージを使っており、キャッシュの機構はGitHub自身の機能と密に結びついています。 しかし、GitHub Actionsのキャッシュはリポジトリごとに10GBまでという制限があり、開発者の多いリポジトリではsetup-nodeのキャッシュだけでもすぐに上限に達してしまいます。 私の所属するチームのリポジトリはGitHub Enterprise Serverにホ
Khawaja Shams Tony Valderrama Erika Tharp TL;DR 2024年3月20日Redis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。この変更によりRedis社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 2009年1人の情熱的なエンジニアAntirezが作り出したRedisですが、2013年のGarantia Data社の介入により様々なドラマが勃発し2020年にAntirezはIPそしてトレードマークを同社に譲渡します。その後、Redisのコアコミュニティメンバーを中心に
基幹系システムのような社内システムにおいても、オープンソースソフトウエア（OSS）の利用が当たり前になってきた。クラウドサービスを利用する場合や、開発担当者と運用担当者が連携する開発手法DevOpsを採用する場合など、OSSの利用を避けられない。 多くの企業でOSSの利用が進む中、OSSを採用した当初は想定していなかった誤算に直面するケースが浮上している。商用のソフトウエアに比べてサポート期間が短かったり、サポートが充実していないため脆弱性が見つかっても放置してしまったりといった課題だ。ユーザー企業は安易に導入コストだけを見てOSSを採用するのは禁物だ。その後の長期間の運用・保守も含めた体制の検討が求められる。 「OSSの採用がここ数年で周辺システムから基幹系に広がった。その結果、ユーザー企業からは長期間、同じバージョンのソフトウエアを使いたいという要望が増えている」。OSSのデータベース
Redis、クラウドベンダなどによる商用サービスを制限するライセンス変更を発表。今後はRedis社とのライセンス契約が必須に
インメモリデータストアRedisの開発元であるRedis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。 このライセンス変更により、同社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 下記はライセンス変更を発表した同社ブログ「Redis Adopts Dual Source-Available Licensing」からの引用です。 Under the new license, cloud service providers hosting Redis offerings will no longer be permi
はじめに いつも聞いているポッドキャスト番組で、エンジニア転職について生々しくリアルな話が聞けたので、紹介します。今の自分がやっている仕事が市場価値を上げられているのか？ と日々の業務を振り返るきっかけになりました。詳しく知りたい方は是非、聞いてみて下さい。 転職の前提 かいちさん（転職した人）の紹介 情報系の大学院卒 中堅のバックエンド・エンジニア(30代) 社会人7年目 主に使っている言語: python, PHP アジャイル開発ができることを転職の軸に据えた 転職して感じたこと ① 30代は中堅の仕事を求められる → リーダー的立場が求められる ② 若い時の業務経験が転職の際に活きてくる → 20代はとにかく挑戦する回数を増やそう ③ 転職はどのタイミングでやってくるかわからない → 常に職務経歴書を更新し続けよう 結論 重要なポイント ・チームで開発した経験があるか？ ・AWSなど
Today we are announcing the ability for customers to return Savings Plans within 7 days of purchase. Savings Plans is a flexible pricing model that can help you reduce your bill by up to 72% compared to On-Demand prices, in exchange for a one- or three-year hourly spend commitment. Starting today, if you realize that the Savings Plan you recently purchased isn’t optimal for your needs, you can ret
AWSのECSってなんやねん
自己紹介 どもども、フリーランスエンジニアとして働いている井上弥風です。 ずっとバックエンドメインで仕事をしてきたのですが、インフラ側がヨワヨワ過ぎたので勉強を始めました ECSを自分で設定して開発時に利用して～～とかまで全部できる自信がなかったので学習していきます 対戦よろしくお願いします 初めに 記事の内容 この記事は「そもそもDockerって何？」から始まり、そのあとにECSを理解していきます ECSに関する内容だけを学びたい方は上記目次から「実際に使ってみた」まで飛んでいただけると読みやすいかと思います 記事のゴール 記事のゴールは下記です Dockerに対する理解をすること ECSに対する基礎知識を理解すること ECSに関わるサービス(ECRなど)の理解をすること そもそもDockerとは何か ECSの前にDockerってそもそも何者なんっていうのを僕が完全に理解できていなかった
2024年1月時点のAWSベストプラクティスに従って作成しました 好評でしたら続編も検討します 1. 環境ごとにアカウントを分離する 本番、検証、開発ごとにアカウントを分割しましょう ✕良くない例 ◎良い例 最初にアカウント分割しておかないと、後で分割するのはとても大変です アカウントを分割することで「検証と思って作業したら、実は本番だった」のような事故を減らすことができます コストがアカウント単位で集計されるため、環境ごとのコストを簡単に算出することができます AWS Organizationsを使用することで、各環境に応じた権限設定が簡単にでき、ガバナンスを強化することができます AWSアカウントはAWS Control TowerのAccount Factoryを使用することで、クレジットカード情報を都度入力することなく簡単にアカウントの払い出しが可能です また、AWS Contro
ZOZOTOWNのネットワークをDirect Connect 10Gから100Gに移行した話 - ZOZO TECH BLOG
はじめに こんにちは、技術本部SRE部フロントSREブロックの柳田です。オンプレミスとクラウドの構築・運用に携わっています。 ZOZOTOWNでは、既存システムのリプレイスプロジェクトを進行中です。リプレイス過渡期の現在、オンプレミスのネットワークとAWSのデータセンターを直接専用線で接続し、安定した高速通信を実現するDirect Connect（以降、DX）を利用しています。各サービスのマイクロサービス化に伴い、オンプレミスとクラウド間の通信量が増えた為、DX10Gの回線が逼迫する問題に直面しました。 本記事では、この回線逼迫の課題をどのように解決したかについて紹介します。 目次 はじめに 目次 回線逼迫の課題 ZOZOTOWNへのアクセスが困難 今後のリプレイスプロジェクトが遅延する可能性 DX10GからDX100Gへの移行 ステップ1：DX100Gの利用申請（クラウド） ステップ2：
案件でAWSの構成図を作成する機会があったので備忘兼ねて投稿します。 ※約5分で読めます 1. グループの内側から作成していく AWSの基本的なグループ構成はこんな感じ 添付の場合、個人的には Public subnet or Private subnet > Availability Aone > VPC > Region > AWS Cloudの順番で作成することをオススメします。理由は内側のグループが肥大すると外側のグループの手直しが発生するためです。 今回作成した時に外側から作成してしまい、めっちゃ時間がかかってしまいました... 2. グループの左上を掴む 日本語が下手ですみません。 なぜ左上を掴まないといけないか？試しにPublic subnetをクリックしてドラッグをすると、添付の様になりました。 クリックをするとグループの外から選択されてしまうため、選択したグループ内に存在
【Security Hub修復手順】[StepFunctions.1]Step Functions ステートマシンではログ記録が有効になっている必要があります | DevelopersIO
皆さん、お使いのAWS環境のセキュリティチェックはしていますか？ 当エントリでは、AWS Security HubによるAWS環境のセキュリティ状況スコアリングに該当する項目についての修正手順をご紹介します。 本記事の対象コントロール [StepFunctions.1] Step Functions ステートマシンではログ記録が有効になっている必要があります [StepFunctions.1] Step Functions state machines should have logging turned on 前提条件 本記事はAWS Security Hubで「AWS基礎セキュリティのベストプラクティススタンダード」を利用されている方向けの内容です。 AWS Security Hubの詳細についてはこちらのブログをご覧ください。 コントロールの説明 このコントロールは、AWS Step
![【Security Hub修復手順】[StepFunctions.1]Step Functions ステートマシンではログ記録が有効になっている必要があります | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ba983f76286d716c33249c5cd7c5d87259ff98a9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-security-hub.png)
こんにちは、後藤です。 Terraform開発を進める中で「こんなことできるのか」と思った機能があったので、備忘録も兼ねて紹介します。 それはローカルのファイルを操作できる、という機能です。 TerraformではAWSやAzure、GCPなどのパブリッククラウドプロバイダを扱えますが、localやarchiveといったHashiCorp社によるプロバイダがあります。 このプロバイダを使えば、Terraformを実行するローカル環境のファイル操作が可能になります。 当記事では、よく使われるであろう方法を3つ紹介していきます。 ※Terraformバージョン1.5.6で検証しております。 1つ目：local_file local_fileリソースを記述すればローカル環境にファイルを作成できます。resourceブロックによってファイルを作成し、dataブロックによってファイルを読み込むことが
こんにちは。ヤフー広告でデータエンジニアをしている長峯です。 LINEヤフー株式会社では、Yahoo! JAPANと関連企業が所有するデータを活用することでお客様のマーケティング課題の発見と解決を実現するサービスYahoo! JAPAN データマーケティングソリューションを展開しています。私は本サービスを通じてお客様がさまざまなデータを活用するためのデータ分析基盤となるデータレイクの構築・運用を担当しています。このデータレイクは、2.5ペタバイトのデータを保有しており、年間1,000万クエリが実行される大規模な環境となっています。 今回、私たちはAWS上に構築されたデータレイクのデータスキャン量を4人月という工数で25％削減することに成功しました。この記事では、その削減プロセスを紹介いたします。このデータレイクは、クエリエンジンとしてAmazon Athenaを主に使用しており、Amazo
varu3です。 この記事はいわゆる退職noteになります。 先日の3月15日(金)をもって最終出社となり、note株式会社を今月いっぱいで退職することになりました。 在職中お世話になった方々は数えきれず、貴重な経験をさせていただいて本当にありがとうございました。 お前、誰？varu3といいます。note株式会社には2020年9月から入社し、およそ3年と半年くらい在籍していました。 SREチームのエンジニアとして色々なプロジェクトに携わっていました。 気に入ってるこのアイコンも元同僚に描いてもったやつです。ありがたや noteでの思い出noteのインフラのサービス式年遷宮3年半の在籍期間のうち2年くらいはこのプロジェクトを進めていました。何をやったか？についての詳しくは CNDT2023 にてお話しさせていただきました。 およそ40P超のスライドなんですが自分がnoteでやっとことのほぼす
クラウドのコスト削減は、今も昔も、多くのエンジニアにとって悩みのタネだ。2月1日に開催された「第1回 AWSコスト削減 天下一武道会」に、オンラインと現地参加を合わせて3,600名以上の申込があったことからも、関心の高さが伺える。そこで本記事では、イベントレポートを通じて、クラウドコストを削減する上で重要な考え方と、エンジニアがどのようにしてコスト削減に取り組んだかを紹介する。 100社のコスト診断から見えてきたもの まずは株式会社DELTA 丹 哲郎氏による「100社のコスト診断から見えてきた、コスト削減の王道とケモノ道」の内容を紹介する。 株式会社DELTA 丹 哲郎氏 株式会社DELTAは、CTOのための技術支援サービスを提供する企業。なかでもインフラコスト削減サービスは、削減額に応じた費用を支払う成果報酬型で、発注する側から見れば実質無料というユニークなサービスだ。2022年の創業
Today, AWS announces the general availability of Amazon Timestream for InfluxDB, a new time-series database engine. Timestream for InfluxDB makes it easy for application developers and DevOps teams to run fully managed InfluxDB databases on AWS for real-time time-series applications using open-source APIs. In minutes, you can create an InfluxDB database that handles demanding time-series workloads
AWS Well-Architected Toolを使って 機械学習のワークロードをレビューする - Qiita
要約 AWS Well-Architected - Machine Leaning Lensが2023/7に更新された Well-Architected ToolでMachine Leaning Lensが扱えるようになっていた為、手順を紹介 Machine Leaning Lensの中身も簡単に紹介 はじめに AWS Well-Architected Frameworkとは AWS Well-Architected Framework（以下、WA FW）は公式に以下の説明があります。 AWS Well-Architected は、クラウドアーキテクトがさまざまなアプリケーションやワークロード向けに高い安全性、性能、障害耐性、効率性を備えたインフラストラクチャを構築する際に役立ちます。AWS Well-Architected では、6 つの柱 (優れた運用効率、セキュリティ、信頼性、パフォ
はじめに 今回は、今話題の Claude 3 でAWS CDKというAWSインフラのプロビジョニングツールを使い、簡易的なメール通知の仕組みを作成しました。 基本的にはClaudeに尋ねながら構築を行っており、AWS CDKの最初のセットアップ以外はコードをほとんど書いていません。 なので、AWS CDKに馴染みが無い方でも、最初のセットアップさえ出来れば、Claudeを活用しながら、どなたでもAWS CDKをご活用頂けるのではと考えております。 技術要素の紹介 Claude 3 2024年3月4日に発表されたAnthropic社の最新モデルの生成AIです。 特に驚いたのは「マルチモーダル」対応という事で、画像やPDFの分析もしてくれます。 anthropic.comに登録すると、Claude 3 Sonnetをお試し頂けます。 今回はこちらを利用し、AWS CDKのコードを出力しています
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
【新リリース】AWS でも マネージドな InfluxDB が使える！！ Amazon Timestream for InfluxDB が発表されました | DevelopersIO
【新リリース】AWS でも マネージドな InfluxDB が使える！！ Amazon Timestream for InfluxDB が発表されました 本日、InfluxDB が Amazon Timestream のデータベースエンジンとして利用できるようになりました。 従来は、EC2 に InfluxDB をインストールしたり、InfluxDB Cloud の SaaS を利用する必要がありましたが、AWS サービスとして利用できるようになりました。 それでは早速、触ってみたいと思います。 データベースの作成 Amazon Timestream のコンソールよりインスタンスを作成します。 認証情報は適当なものを入力してください。 DB instance name: influx-test-db ユーザー名: cm-influx-user 組織名：cm-org initial buck
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
入社4ヶ月目で73時間かかるバッチ処理を7倍以上高速化した話 - エムスリーテックブログ
SQSを用いたクレジットカード決済の非同期化 - ZOZO TECH BLOG
最近 Hono で外部連携用の AWS Lambda 書いています - Qiita
AWS初学者が、『絶対忘れない勉強法』を読んでAWS CLF試験に活かした話 | DevelopersIO
特定のページが更新されたら通知する仕組みを作ってみた - Qiita
Dockerで始めるAWS Lambda開発
Blue/Green デプロイを使用した、RDS MySQL/PostgreSQLのアップグレード
[ECS] タスク定義ファイル(taskdef.json)の運用について考える | iret.media
社内版 ChatGPT を構築し、社内の ChatGPT 利用を促進した話 - メドピア開発者ブログ
Redisよ安らかに眠れ: Garantia Dataが引き起こしたオープンソースの歴史上最大の強盗とは
基幹系への安易なOSS採用は禁物、バージョンアップ多発で運用保守が重荷に
30歳エンジニア転職で役に立たなかった経験と役に立った経験 - Qiita
AWS announces a 7-day window to return Savings Plans
業務でAWSを利用する時に知っておくべきポイント10選 - Qiita
draw.ioを使ってAWSの構成図を作成するコツ - Qiita
Terraformでローカルファイルを操作する方法 ～よくある使い方3選～ - NRIネットコムBlog
データレイクのデータスキャン量を25％削減する方法
note株式会社を退職しました｜Subaru Nakamura(varu3)
AWSコストを大幅に削減する秘訣は覚悟と根性!? Elephant in the Roomから逃げるな！
Amazon Timestream for InfluxDB is now generally available
Claude 3とAWS CDKを使い爆速でAWSの検証が出来る環境を手に入れよう！ - Qiita