Web系の会社にいると，仕事用のPCとしてMacを支給されることが多いと感じている．例にもれず俺も会社ではMacBook Proを使っていたのだけれど，最近Macが使い物にならないくらい遅くなってきた． そもそもそんなに新しいMacではないというのはあるんだけれど． もはやローカルでの開発はほぼDocker化してしまっているので，なにをするにもDockerを起動する必要がある． しかし，Docker for Macは遅い．とくにvolume mountが遅すぎて，webpackなんか走らせたらお茶を入れに行くくらいの猶予が発生する． ---追記--- webpackだけならdockerじゃなくていいじゃんと言われたので，一応弁明しておくと，webpack以外もあります． DjangoとかElasticsearchとかElasticsearchとかlocalstackとかredisとかDja
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
LocalStackを利用することで実際のAWSにアクセスすることなくローカルの環境で開発やテストを行えるようになるため、迅速な開発サイクルの実現やAWSの利用コスト削減などが期待できます。 LocalStackはオープンソースですが、無料で使える「Community」版では基本的なAPI群が利用可能、月額28ドルからの有償となる「Pro」版では全てのAPIが利用可能。さらに上位の「Team」版と「Enterprise」版も用意されています。 AWSの主要サービスをエミュレート LocalStackでエミュレートできるAWSのサービスは、Amazon S3、SQS、SNS、DynamoDB、Route53、AWS Lambdaなどをはじめとする80以上の主要なサービスです。 AWS Command Line Interface（AWS CLI）、AWS Cloud Development
ちなみに、IT業界全体のシェアとしてはMicrosoftのAzureの方がGCPを上回っていますが、Web業界においてIaaSにAzureを採用している企業さんは2019年時点ではまだまだ少ないので、現状ではとりあえずAzureへのキャッチアップは後回しにしておいて問題ないと思われます。 クラウドアーキテクチャ設計 前述したAWSやGCPの各種マネージドサービスを適切に組み合わせてアーキテクチャ設計を行い、それを構成図に落とし込める能力は必須となります。 いわゆる「アーキテクト」という職種の担当領域でもありますが、「サービスを安定稼働させたまま、バリューをユーザに迅速に届ける」ためには、自動化のしづらい構成が採用されてしまったり、無駄な機能が開発されてしまったり、アンマネージドなツールやサービスが使用されて管理工数が肥大化したりしないように、アーキテクチャ設計の段階からDevOpsエンジニ
t_wadaさんと「単体テストの使い方/考え方」の疑問点についてディスカッションしました - DeNA Testing Blog
こんにちは、SWETグループの田熊です。 現在SWETグループでは書籍「単体テストの使い方/考え方」の輪読会を実施しています。 輪読会ではメンバー同士で活発に意見が交わされていますが、著者の主張に疑問を感じる箇所もあり、一度グループ外の方とも意見を交換したいと考えていました。 そこで、t_wadaさんをお招きし「単体テストの使い方/考え方」についてディスカッションする機会を設けました。 本記事では、SWETメンバーとt_wadaさんとのやりとりを紹介したいと思います。 ディスカッションの流れ ディスカッションは事前にSWETグループのメンバーが書籍を読んで疑問に感じたテーマを挙げてもらい、t_wadaさんの意見を聞くという流れで行いました。 今回は次のテーマについて話をしました。 「退行に対する保護」があるテストとはなにか 「リファクタリングへの耐性」のトレードオフはあるのか 統合テストの
AWSの主要サービスをローカルでエミュレートする「LocalStack 2.0」リリース。機能の同等性と性能などさらに向上
AWSの主要サービスをローカルでエミュレートする「LocalStack 2.0」リリース。機能の同等性と性能などさらに向上 AWSの主要なサービスのAPIをローカルマシン上でエミュレートする機能を提供する「LocalStack」のバージョン2.0が正式リリースとなりました。 LocalStack 2.0 is here! Our next-gen cloud emulation platform comes with significant improvements in parity, performance, and efficiency for a better development and testing experience for your cloud applications. Read more here: https://t.co/7rU0pKVxW6 #LocalSt
はじめに このツイートに結構反響があったので、雑になるがとにかく自分の考えをダンプする。もともと書いていた記事はうっかりやらかしてデータロストした、泣きたい。 話をわかりやすくするために、ALB+ECS（Fargate）を使ってWebAPIと対比して説明しているが現実はもっと複雑である。 引用リツイートをもらえた部分などについてもアンサーっぽいことも書いていく。 AWS利用費と人件費の話 AWS上にWebAPIを構築する際に、AWS利用費の削減をモチベーションとしてApiGW+Lambda構成が、採用されることがある。確かにAWS利用費は下がるがApiGW+Lambda構成を設計〜運用するためにはAWSに関する知識の中でもとくに専門的な知識が必要になる。こういった人材を雇用または外部へ発注し続けることは人件費に跳ね返ってくる。 ApiGW+LambdaがWebAPIのための構成として唯一無
Serverless Days Tokyo 2019 トヨタ自動車・ダイキン工業 事例覚書 - Qiita
Serverless Days Tokyoに参加してきました。いずれも興味深い内容ばかりでしたが、ダイキン工業とトヨタのIoTシステムの中の話は、こういう機会でもなければ聞けない話でかなり貴重な話を聞けた感がありました。 その内容をメモったので残しておきます。 入り口の様子。 会場の様子。休みの日の朝9時からというのに、ほぼ満席な感じでした。 ダイキン工業：空調設備向けIoTシステムにおけるランニングコスト ダイキン工業は、全世界の空調機（エアコン等）をインターネットに繋いで、販売、運用、保守、施工に対するサービスを提供する。 システム名は「Daikin Global Network（ダイキン・グローバルネットワーク）」 想定接続台数は500万台。各空調機が1分ごとにデータをサーバーにあげる。 想定ユーザー数は30万人。 無限に発生するデータを格納できるストレージが必要。 断固としてデータ
Docker Desktop 4.16登場。AWSをローカルエミュレーションするLocalStackなど拡張機能が正式版。AppleシリコンMacでx86/amd64版Linuxバイナリの実行がβ版に
Docker Desktop 4.16登場。AWSをローカルエミュレーションするLocalStackなど拡張機能が正式版。AppleシリコンMacでx86/amd64版Linuxバイナリの実行がβ版に WindowsやMac、Linuxなどのマシンに対して手軽にDockerコンテナ環境を導入し、GUIで統合管理できるDocker Desktopの最新版「Docker Desktop 4.16」が正式リリースされました。 525,600 minutes - how do you measure a year? The space-time continuum complicates the answer, but #DockerDesktop 4.16 is out! Things to look forward (or backward) to: #DockerExtensions GA
Docker DesktopからRancher Desktopに切り替えする手順 - ANDPAD Tech Blog
どうも、ANDPADバックエンドの原田(tomtwinkle)です。 1週間ぶりくらいですね。 Rancher Desktop と Docker Desktop の差異 LocalでMySQL / LocalStack / MinIO 等のContainer立ち上げたりする程度なら特に差異はなさそうです。 今まで通り docker コマンドや docker-compose コマンドがそのまま使えます。 Rancher Desktop公式ではこんな感じに書いてますが、細かい所はもう少し使って見ないとわからないですね。 Rancher Desktop vs Docker Desktop 細かい話はリンクアンドモチベーションさんのテックブログを見てフムフムしていました。 link-and-motivation.hatenablog.com ご注意 Rancher Desktopを利用することでC
AWSのフルマネージド型サービスを使ったソフトウェアの開発でローカル開発端末からアクセスキーの漏洩を防ぐためのテスト方法 | DevelopersIO
AWSアクセスキーセキュリティ意識向上委員会って何？ 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 本記事の想定読者 本記事ではフルマネージド型サービス=IAMを使ってアクセス制御を行うサービスと置き換えられます、これらを一切使わない開発(ALB, EC2, RDSのみなど)をしている方は対象外です 本記事はAWS上にソフトウェアを構築する開発者(主にバックエンドエンジニア)や開発環境を提供するプラットフォーマーを想定読者としています Typ
2023.10.5追記: Goチームからプロジェクトの目的に応じたディレクトリ構造についてのドキュメントが公式に公開されています。 https://go.dev/doc/modules/layout 2020/11/13 「やってみてよかったことまとめ」、「やってみて困ったこと」、「外部モックサービスを使ったユニットテストの未来」の章を追記 2020/11/18 「やってみてよかったことまとめ」にSNSでもらったフィードバック内容を追記 はじめにこんにちは、TIG 真野です。秋のブログ週間連載の第9弾です。 1年弱ほどGo言語でWebAPIアプリケーション開発を行っていますが、かなり割り切った構成・テスト方針を採用しました。そろそろ1年弱になり機能開発も比較的落ち着き、保守運用フェーズの割合も徐々に増えてきた頃合いなので、やったこと・学び・反省といった振り返りを共有します。 Goのパッケー
Serverless連載3: Goでサーバーレス用の検索エンジンwatertowerを作ってみました | フューチャー技術ブログ
サーバーレス連載の3回目は検索エンジンを作ってみたお話です。 クラウドサービスが充実してくるにつれて、サーバーレスではいろいろなことができるようになっています。HTTPサーバーは動きますし、RDBやNoSQLなストレージも使えますし、PubSubみたいなサービスも利用できます。これらを駆使するとそこそこ複雑な処理も記述できます。 一方で、上から下までサーバーレスにしようとするとできないものもいくつかあります。例えば、RDBも使えるといっても制約があり、LambdaやCloud FunctionsからRDSやCloudSQLを雑に使うとコネクションを張りすぎる問題があります。LambdaにはRDS Proxyが出始めています。あと、RDBそのものは基本的に常駐型なのでサーバーレスではないです。一応サーバーレスなのもありますが、起動時間が結構かかるらしい（自分ではまだ試してないです）。それ以外
自社データ × ChatGPTで社内AIを構築するRAG ツール｜Doox β版をリリースしました - Qiita
TLDR 社内のデータを元に質問への回答を LLM が生成する仕組み（RAG）を構築するためのサービスを開発しました。 β 版として無料で公開しているので是非使ってみてください。 サーバーレスな構成で Next.js を動かしている。技術のキャッチアップは大変だ。 背景 仕事をしていると社内の規定 / 製品情報 / 過去の履歴 .. などに関する問い合わせは日常的に発生するものだし、その工数は結構ある。通常は Wiki を作ってナレッジを共有するが、結局「近い人や担当に聞く」という行為はなかなか減らない。 色々な企業が、社内のデータを元に質問への回答を LLM が生成する仕組み（RAG）を独自に開発しているようで、技術ブログとかに書いている方も多い。 社内向け RAG の構築を SaaS プロダクトで提供したら各社の社内の問い合わせ工数と独自に RAG を構築するコストを下げられて嬉しいん
はじめに CX事業本部の佐藤智樹です。 今回は先月中頃に実施したLambdaのテスト領域に関する技術共有会の資料と当日にいただいた意見を紹介します。技術共有会自体はお客様含め5人ほどで実施予定でしたが、社内の方を誘ったところ15人程と大人数でディスカッションしながら知識を深めました。有意義な時間となったのでブログで共有します。 本記事はLambdaに対してどのようなテストをすべきか、Lambdaでこれからテストを書くがどうやれば良いか悩んでいる方などは参考になるかと思います。いくつか紹介するテストパターンのメリット/デメリットもあげるので、テスト選定の上で参考にしてください。 例となる題材がなければ抽象的な話ばかりになり分かりづらくなるので、今回は以下のIoTデータ収集システムをベースにどうテストを書いていくか検討します。IoTデバイスからきたデータをRDSに保存するシステムです。色々書い
【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 1 - RAKSUL TechBlog
はじめに この記事を読んで得られること 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 1. 開発環境の構築で使用したツール AWS Lambdaのコンテナサポートを採用 Poetry利用時に開発と本番環境の適切な管理でLambdaデプロイ問題を解決 Poetry利用時に起きた問題 Dockerfileを分けてデプロイできない問題を回避 Mutagen Composeを採用 Dockerの同期遅い問題 Mutagen Composeを利用 2. 開発で活用したPythonライブラリ パッケージ管理 Poetry Ryeも検討したものの採用せず ベースのライブラリ FastAPI Mangum Powertools for AWS Lambda リンター・フォーマッター Ruff Mypy 型アノテーション自動生成ツールの活用 Black テスト Pytest p
いよいよ Docker Desktopの有償化 の期限（2/1から有償化）が迫ってきましたね。 各所で代替案が話題になっており、私も Vagrant Multipass podman Lima あたりを検証していました。 その中でも、 Lima上でDockerを動かす方法が一番簡単で、Docker Desktop for Macに近い使用感で利用できましたので、その方法をご紹介したいと思います。 Limaとは LinuxのVMをmacOS上に立ち上げることができるもので、VirtualBoxに近いイメージです。 VirtualBoxとの違いは以下となります。 導入が簡単 brewで簡単にインストールできる セットアップが簡単 起動したいVM環境を定義したyamlファイルを用意し、 limactl start コマンドを叩くだけで環境ができる macOSとゲストOS間のシームレスな連携 ファ
サーバーレスでもユニットテスト – TypeScript 製 AWS Lambda を Jest でテストする | DevelopersIO
最近は Lambda Function を TypeScript で実装することが多く、テストツールとして Jest を選択しました。導入から基本的なテスト、カバレッジ出力までやってみたので、その手順を記録します。 ユニットテストのモチベーション 変更に対する心理的な安全性を手に入れるため、という理由が大きいです。 たとえば API Gateway のバックエンドを Lambda Function で実装する場合。実装だけであれば、可能な限り any 型を使用せず、 interface や type の有効活用によりデータ型に起因する実行時エラーは大幅に少なくできます。 TypeScript を使うメリットのひとつですね。ではサーバーレスならではの難しいポイントはどこかというと、私の場合 前作った Lambda Function の挙動をすぐ忘れる ということがよくありました。それで、 L
VSCodeとDockerで作ったGolangの開発環境にLocalStackを追加して、AWSのテスト環境を整える | DevelopersIO
VSCodeとDockerで作ったGolangの開発環境にLocalStackを追加して、AWSのテスト環境を整える こんにちは、CX事業本部の夏目です。 先日、VSCodeのExtension Remote-Containersを使ってGolangの開発環境をDocker上に作りました。(リンク) 個人的な話ですが、AWSで使用するCLIツールをGolangで書いています。 そのため、AWS環境のMockとしてLocalStackを使い、テストを書きたいと思いました。 Remote-Containers ではdocker-composeを使って環境を作ることができるので、今回はLocalStackもGolangの開発用Containerと同時に立ち上げるようにしていきたいと思います。 環境構築 事前準備 Golangの環境は前回のブログで作ったものを流用したいと思います。 (compos
terraform importしてplan差分がない=環境が再現できているといつから錯覚していた？ - Qiita
はじめに 先日、Terraform v1.5.0がリリースされました v1.5の目玉はなんと言っても import ブロックと terraform plan -generate-config-out によるtfファイルの生成ですよね〜。これで既存のリソースもimportし放題だと巷で話題です。 ところで、Terraformの特徴として、「インフラをコード化することで環境が再現できる」などと一般的に謳われています。また、Terraformには「既存リソースをimportする機能」があります。別にそれぞれ単独では間違ってはないのですが、これらを組み合わせて、「既存リソースをimportしてplan差分が出なければ元の環境を再現できる」と言えるのでしょうか？ 残念ながら現実にはそうとも言い切れません。なんとなく経験上わかってる人もいるとは思いますが、意外と気づいてない人も多そうな気がしたので、ち
Qiita Conferenceは、ソフトウェア開発者が集まり、最新の技術や最先端の挑戦・ソフトウェアの未来についての考えや知見を共有し、つながる場を創出する、「Qiita」が開催するオンライン技術カンファレンスです。ここで和田卓人氏が「サバンナ便り - 自動テストに関する連載で得られた知見のまとめ（2023年5月版） 」をテーマに登壇。最後に、テストダブルとテストピラミッド、サイズダウン戦略について話します。 テスト用に使う偽物「テストダブル」 和田卓人氏：じゃあ次。テストダブルの話にいきます。「忠実性と決定性のトレードオフを理解しよう」という点です。これはもうちょっとあとにまた出てきます。 テストダブルというもので、モックオブジェクトとかスタブとかを使って、本物ではない偽物をテスト用に使ってテストをすることはよくありますよね。 データベースの偽物とか外部システムの偽物とか、Amazon
AWSを使用したアプリケーションのローカルテスト
AWSを使用したアプリケーションのテスト方法 AWSを使用しているアプリケーションの開発時に問題となるのは、どのようにテストを実施するかという問題が発生します。 この時の選択肢は次の通りとなります。 単体テスト時にAWSのモックを作成してテストを行う AWS上にテスト用の環境を用意してテスト時に接続してテストを行う LocalStackを使用してローカルにAWSサービスのエミュレーターを動かしてテストする 単体テスト時にAWSのモックを作成してテストを行う 単体テスト時にモックアップする方法はテストに都合のいいデータを返せるため容易にテストが行えます。 モックの作成に手間がかかりますし、思い込みでモックを作成してバグを作成する場合もありますが、Motoなどを用いることでこれらの問題は軽減できるでしょう。 ただし、あくまで単体テストでしか使用できません。例えば複数プロセスを連携するようなテス
Apache Solr から OpenSearch に載せ替えた話 - 弁護士ドットコム株式会社 Creators’ blog
検索しているユーザー（イメージ） はじめまして。弁護士ドットコム事業本部でエンジニアをしている狩野です。 弁護士ドットコムのサービスにはいくつかの検索機能があります。主に「みんなの法律相談」「弁護士検索」「弁護士ドットコムニュース」などで使われています。 これらは Apache Solr（以下、Solr）という検索システムで動いていました。 これを OpenSearch という別の検索システムに載せ替えました。 経緯 選定 機能 モジュール AWS サービス 実装 リリース さいごに 経緯 弁護士ドットコムのサービスにはいくつかの検索機能があり、そこで Solr を使っていました。 確認できた限りでは 2013 年から 10 年近くの間、使っていたようです。もっと以前から使っていた可能性もあります。 だいぶ昔の話なので Solr が導入された経緯などは不明ですが、当時の判断としては Sol
Introduction 最近Rustが各所で盛り上がっています。 Rustは5年連続で最も愛されているプログラミング言語になっている 開発者に人気のプログラミング言語です。 また、LinuxカーネルにRustを採用しようという動きがあったり、 AndroidのOS開発でRustをサポート 、といった具合に、 さまざまなところでRustの話題がでています。 AWS・Google・MicrosoftなどがRust Foundationを立ち上げたことも後押しとなり、 使えるようになりたいなーということで最近私もさわりはじめました。 本記事ではカスタムランタイムをつかってRustでAWS Lambdaを作成し、AWS CDKでデプロイしたり Localstackを使ってローカルでLambdaを実行したりしてみます。 本記事は、ここにあるソースほぼそのまま参考にして作成しました。 実際は(私の環
はじめにこんにちは。TIG/DXチームの栗田です。 学生から社会人になると様々な環境の変化が起きてそれに適応していくのが大変なのが世の常ではありますが、現代社会の仕事において切っては切れないPC周りの設定も変わってきます。特に会社ではあらゆる驚異から大切な情報を守るために、家庭用PCとはまた異なるセキュリティが組まれていることが往々にしてあり、ITを生業とする会社であっても設定周りで苦労することがあります。 そこで、会社に入って設定される用語とその機能関係、そしてそれによって影響を受ける開発環境（特にDocker）について、簡単にまとめます。 ここでのキーワードは以下のとおりです。 Proxy/プロキシ Docker WSLとかVMwareとかは適宜読み替えてください。VPN接続しているようなマシンも、基本的に以下社内PCとします。 🚨Notification：今回の記事においては理解を
はじめにフューチャーの棚井龍之介です。TIGグループのDXユニットに所属しています。 TerraformはLocalstackに対してもapplyできます。便利な方法なのに日本語のサイトが見当たらないので、技術ブログ化しました。 この記事を読むとできるようになること ローカル環境に立ち上げた localstack に向けて、terraform plan/apply/destroy を実行できる LocalStackとTerraformみなさんは、Localstack や Terraform を使っていますか？ アプリのローカル環境テストとしてLocalstackを、インフラ構築にTerraformを用いる開発スタイルは、今やそう珍しいものではないと思います。 しかしながら、「ローカル環境のLocalStackに向けて、Terraformを打ち込むことができる」というのは、あまり知られていな
Lambdaテスト領域のアンケート 新井成一氏（以下、新井）：ありがとうございます。ようやく全部消化できました。さっそく本日の第1回目のトピック、テスト領域の話をしたいと思います。 新井：実は投票を用意していて。ちょっとみなさん回答してもらえればと思います。 和田祐介氏（以下、和田）：「ふだんやっているLambdaのテスト領域は」。 新井：上からユニットテスト、モックやSpyを使ったユニットテスト。FakeやLocalStackを使ったものです。あとはインテグレーションテスト。Lambdaの中でもいくつかレイヤーを分けているなら、これを全部とおしたテストをやっているか。インテグレーションテストに「AWS Fake」と書いてありますが、これは実際のAWS環境につなぎに行ったテスト。 LocalStackのDynamoDBではなく、クレデンシャルなどを渡して、開発環境上のDynamoDBでその
ServerlessDays Tokyo 2019 参加報告 - カンファレンス編 | NTT Communications Developer Portal
ネットワークサービス部 伊藤(@yoshiya_ito)です。10/21-22の2日間で開催された ServerlessDays Tokyo 2019 カンファレンスに参加・登壇しましたので、その模様をご紹介します。 ServerlessDaysとは？ ServerlessDaysは、サーバーレスアーキテクチャを用いたシステムの構築・運用における経験の共有を目的とした、コミュニティ主導でベンダーニュートラルな技術カンファレンスです。 https://tokyo.serverlessdays.io/ 日本におけるServerlessの年次カンファレンスは、これまでServerlessconf Tokyoが2016年から開催されていましたが、今年から東京以外の都市での開催の要望から、SeverlessDaysに変更となっております。 もともとServerlessDaysはJeffConfという
GitHub Actions上でdocker composeを使ってCIを回すためにうまいことキャッシュする方法 - Qiita
docker compose on GitHub Actions 昨今ではDocker（コンテナ）を使った環境整備が主流になってきています。アプリケーションの実行環境自体をコード化できるため、開発環境間の差異や、本番環境の差異を吸収し、アプリケーションの開発に集中することができます。 一方、CIとDockerの相性はなかなかに良くないです。Dockerの肝はイメージやレイヤーのキャッシュにより、初回のダウンロード以降は爆速に使えることですが、環境がある程度リセットされてしまうCI環境で愚直にDockerを動かすコードを書くと数百MB単位のイメージのダウンロード、ビルドが毎回走ることになり、Dockerを準備する処理でCIの処理の大半が使われてしまうこともままあります。 今回はDockerによる環境のカプセル化の恩恵を受けつつ、GitHub Actionsでdocker composeを動か
LocalStackを用いてローカル開発のシークレット管理をセキュアにする - LayerX エンジニアブログ
この記事は、6月から始まっている #LXベッテク月間 33日目の記事です。 前日の記事はtaikyyさんの「LayerXのQAは顧客に届ける価値を最大化したい」でした。 note.com ちょりす。CTO室およびFintech事業部で色々やってる @ken5scal です。 本日はアプリ開発をローカルで行うためのSecrets管理のTipsを一部、書きたいと思います。 ぱっとアプリを書いて、さくっとコンテナイメージをビルドし、しゅっとAWS上にデリバリしたいことがありませんか？ 当社では、そういった場合にAWS App Runnerを活用することがあります。 PoCなど初期段階のものをインフラレイヤーのことを意識したくないときに重宝しています。 しかし、AWSのロードマップにもある通り、ECSでできるようなVauleサービスであるAWS.Secrets Managerとの連携ができません。
はじめにこんにちは。TIG/EXユニット所属の宮永です。 本記事ではS3バケットをtreeするCLIコマンドを紹介します。 クラスメソッドさんの記事(S3 バケットの中身を tree 形式で表示してくれる s3-tree を Amazon Linux 2 にインストールして使ってみた)を拝見して、s3-treeというツールの存在を知ったのですが、profileを指定できなかったり、バケット単位でしか指定できなかったりと細かな部分で不自由さを感じたためGoでCLIツールを作成しました。 作成したツールは以下リンク先で公開しています。 streeは「エスツリー」と読みます。先に語感の良い名称を思いついたため、衝動に身を任せて開発しました。 機能概要まずは利用画面を見ていただいたほうがイメージ付きやすいかと思いますのでgif画像を添付します。 streeは以下の機能をサポートしています。 バケッ
[AssumeRole] アクセスキーが漏洩しても被害が最小限になるIAMユーザでCloudFormationにデプロイする方法 | DevelopersIO
IAMユーザ & IAMロールを作成 デプロイ用のIAMユーザと付与するIAMポリシーについて このユーザ自身に与える権限は、AssumeRoleできる権限のみです。 そのため、万が一このIAMユーザのアクセスキーが流出しても、流出したアクセスキーでは実質何もできません。 デプロイ用のIAMユーザがAssumeRoleするIAMロールについて 「デプロイ用のIAMユーザ」がAssumeRoleする（引き受ける）「IAMロール」です。 今回作成するIAMロールには下記の権限を付与しますが、必要に応じて変更してください。 S3バケットの作成権限 S3オブジェクトの作成権限 お試しデプロイとしてAWS SAMを使うため、S3の権限も付与（Lambdaコードのアップロードをするため） CloudFormationのデプロイ準備に必要な権限 「CloudFormation用のIAMロール」はclou
サーバーレスアプリケーション向けのAWS CDK、Serverless Stackを触ってみました | DevelopersIO
先日Serverless StackというAWSでサーバーレスアプリケーションを簡単に構築できるフレームワークの存在を同僚に教えて貰いました。どうやらAWS CDKをラップして実装しているらしく興味をもったのでさっそく触ってみました。 はじめに おはようございます、加藤です。先日Serverless StackというAWSでサーバーレスアプリケーションを簡単に構築できるフレームワークの存在を同僚に教えて貰いました。どうやらAWS CDKをラップして実装しているらしく興味をもったのでさっそく触ってみました。 概要 公式サイト: https://serverless-stack.com/ Serverless StackはAWSで簡単にサーバーレスアプリを構築するためのフレームワークです。 GitHubのスター数の変化を見てみると2021年1月から注目を浴びたようです。 AWS CDKをベース
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
ZOZOTOWN カート決済機能リプレイス Phase1 〜 キャパシティコントロールの実現 - ZOZO TECH BLOG
こんにちは。ECプラットフォーム部 カート決済ブロックの高橋です。 ZOZOTOWNでは、数年前よりClassic ASPからJavaへのリプレイスが実施されています。そのリプレイスの一環として、2021年4月からカート決済機能のマイクロサービス化を開始しました。 ZOZOTOWNの中長期目標である「商品取扱高5000億円」を達成するために、リプレイス後は以下の要件をシステムが満たしている必要があります。 セールなどの高負荷イベント時にスケール可能であること キャパシティコントロールが可能であること Datadog、SentryなどのSaaSを利用した運用監視の効率化できること CI/CDなどを取り入れ、開発生産性を向上できること レガシー技術をモダン化できること そして、カート決済機能はZOZOTOWNの中でも最も大きな機能であり、最も重要な機能です。そのため、リプレイスは慎重に進めなけ
このコラムの主なテーマは、信頼できる実行結果にできるだけ短い時間でたどり着く自動テスト群の構築です。本稿では、テストダブルをうまく活用してテストピラミッドを構築する戦略を立てます。 信頼性の高い自動テスト群を求めて 自動テスト全体の中長期的な信頼性を守るために、図1のようにLargeからMediumへ、MediumからSmallへテストサイズを適宜下げ、テストピラミッドを構築します[1]。テストサイズとは、単一プロセスに閉じたテストをSmall、単一マシンに閉じたテストをMedium、そういった制約がないテストをLargeテストと呼ぶ分類基準です。 図1 テストピラミッド サイズダウンを考えるとき、テストダブルの活用が思い浮かびます。テストダブルとは、自動テストに使用する偽物、代用品のことです。単一プロセスや単一マシンに収まらない外部依存を偽物に置き換え、テストサイズを下げます[2]。 テ
【登壇資料】ServerlessDays Fukuoka 2019 で TypeScriprt と Jest を使ったサーバーレステストの話をしました #serverlessdays #serverlessfukuoka | DevelopersIO
登壇資料 私を含む、サーバーレスデベロッパーの皆様にテストコードをどんどん書いていってほしくて登壇しました。 ServerlessDays Fukuoka 2019 とは 2019年12月14日（土）LINE 福岡にて、ServerlessDays Fukuoka が開催されました。 ServerlessDays Fukuoka 2019 発表のポイント サーバーレステストのバイブル、t_wada さんの Testable Lambda Testable Lambda サーバーレスのテストで迷ったら、この資料を参考にすると良いです。 Node.js のテストにJestを使う AWS CDK でも採用されている Facebook 製テストツールの Jest。今回はコレを使ってテストを書いていきます。 Jest · ? Delightful JavaScript Testing 皆さんにテスト
2/25の東京Node学園で発表してきました。 E2Eテストはみんなしていますか？正直言うと、僕はあんまり好きじゃなかったです。お仕事では他の人が入れてくれたものが回っていたりしますが。前職で、SikuliXを使って社内向けのデスクトップアプリケーションのE2Eテストにトライしたことがあるんですが、すぐに壊れて動かなくなるので、費用対効果が出せなくてあきらめました（一人プロジェクトだったのもあります）。 絵でマッチングを行うのでボタン画像をいっぱいスクショをとっていく必要がある OCR機能はOSネイティブボタンの背景のグラデーションとかとの相性もあってあまりうまくいかず・・・自分で学習させるのも情報が少なかった。 ちょっとツールバーに新しいボタンを追加したりすると、絵が変わって動作しなくなる ボタンを画像で置くが、QtはOSごとにネイティブなルック＆フィールで描画するので、macOS用に書
Docker Desktop の Extensions を実装してみよう - kakakakakku blog
2023年1月にリリースされた Docker Desktop v4.16.0 (release notes) で GA になった「Docker Extensions」の Extensions は段々と種類が増えてきて，Disk Usage / Aqua Trivy / LocalStack など，最近使う機会もあったりする．今回は "Quickstart" ドキュメントを読みながら Docker Extensions の実装に入門してみた❗️ ＼( 'ω')／ オレオレ Docker Extension を実装するぞー docs.docker.com 🐳 docker extension コマンド まず，Docker Extensions を実装するためには docker extension コマンドを使う．コマンド一覧を以下に載せておく． $ docker extension --he
tfmigrate + Atlantis でTerraformリファクタリング機能をCI/CDに組み込む - Qiita
マイグレーションの履歴を記録することで、マイグレーションファイル名を省略して、単に tfmigrate plan や tfmigrate apply とするだけで、未適用のマイグレーションを適用することが可能になり、よりCI/CDで使いやすくなりました。また履歴モードが有効な場合、 tfmigrate list --status=unapplied で未適用のマイグレーションファイルを列挙することも可能です。 いまのところ storage の種類は s3 と local しか使えませんが、s3 以外のクラウドストレージに保存したい場合は、現状の回避策として local ストレージを使用して一旦ローカルファイルとして保存して、tfmigrate plan / apply の前後で履歴ファイルを自前で同期することは可能です。最新の状況は上記のREADMEを参照して下さい。 tfmigrate自
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
仕事用のPCをMacからThinkpadに変えてUbuntuを入れた - PartyIX
AWSでバッチ処理を実装する際の選択肢とサービス比較
AWSの主要サービスをローカルでエミュレート、「LocalStack」が1.0に到達
2019年のDevOps/MLOpsエンジニアの標準的スキルセット - Qiita
WebAPIを構築する際にAPI Gateway+Lambdaを選択するべきか？
GoのWebアプリ開発でフラットパッケージにした話 | フューチャー技術ブログ
Lambdaのテスト領域に関する技術共有会を開催しました | DevelopersIO
Docker on Limaで脱Docker Desktop for Mac
自動テスト全体の信頼性を維持するためにはどうするか 「ブレない基準でピラミッドを作り、スモールに切り出していく」
RustをつかってAWS Lambdaを実装＆AWS CDKでデプロイする | DevelopersIO
ProxyとDockerと新人社員と時々わたし | フューチャー技術ブログ
LocalStackに向けてTerraformを実行する | フューチャー技術ブログ
AWSは実環境で得られる効果が大きい アンケートから見るLambdaのテスト領域の傾向
stree：S3バケットをtreeするCLIコマンド | フューチャー技術ブログ
LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
第6回 自動テストのサイズダウン戦略 ～テストダブルを作る前に考えるべきこと～ | gihyo.jp
アクセシビリティ情報を使った壊れにくいE2Eテスト | フューチャー技術ブログ