アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3について日本語で書かれた記事はまだ少ないですが、S3に対するウイルススキャンが求められるケースでは、導入を検討する価値があるソフトです。 そこで、今回はこのAntivirus for Amazon S3の概要、私たちが本番環境に導入してみてわかったメリットやデメリット、そしてこのソフトが適した状況をご紹介します。 背景 S3に対するウイルススキャンが必要な理由 Antivirus for Amazon S3の導入前に利用していたソフト Antiv
MetaQuest3をモニターとして業務活用してみた - ANDPAD Tech Blog
こんにちは、バックエンドエンジニアをしています武山 (bushiyama) です。 この記事は ANDPAD Advent Calendar 2023 の 3日目の記事です。 これはなに Meta Quest 3 + MacBook Pro(M1 Max) でコーディング作業環境を整えてみた一例です。 手順や技術的観点は薄く、利用感にフォーカスしたレビュー的記事かと思います。 good 中堅ディスプレイ１枚分のお値段で購入できる MetaQuest3 ひとつで VR/MR 空間に 1~5 画面が設置できるので、これはコスパが良いと言わざるを得ません。 画質もとても良くなっており、コーディングに支障のないレベルになっています。 場所を選ばない作業環境 デスクでもコタツでも作業可能。分離KBなどあると寝ながらでもいけるんじゃないでしょうか。 オフィスやカフェなど人目がある場所は...まだ勇気が
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
AWS Security Hubコントロールの有効無効をコード管理するのは予想のN倍大変だった話 - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。2023年3月にアンドパッドに入社し、最近は主にセキュリティ関係の改善に取り組んでいます。 SREの経験としては、アンドパッドへの入社前からSREとして働いており、雑誌に寄稿したり、個人ブログを書いたり、SREの勉強会に運営スタッフとして長年参加したりしてきました。9/29(金)開催のSRE NEXT 2023にも、運営スタッフとして参加しています。SRE NEXT 2023には、アンドパッドもブロンズスポンサーとして参加しています！ そこで今回は、SRE NEXT 2023のCFPに応募したネタ（今回、競争率すごく高かったんですよね……）を育てて、1つ記事を書いてみました。CFP落選供養スペシャルです。 背景 AWS Security Hubとは アンドパッドでのSecurity Hubの活用 目的 実現方法 課題 Security Hubのコントロー
QAがGoで始めるテストデータ作成の自動化 - ANDPAD Tech Blog
こちらは ANDPAD Advent Calendar 2022 の25日目の記事です。 はじめまして、アンドパッドでQuality Control (≒ QAエンジニア) をやっている高木です。普段は「ANDPAD引合粗利管理」の開発チームでテストや品質に関わる業務を行なっています。 初めてのテックブログ執筆でアドベントカレンダーの最終日枠を取ってしまい非常に恐れ慄いているのですが、あまり気張らずに業務でのTryを記事にしようと思います。 直近、業務として開発経験が無い私がGo言語とWebDriverを使ってテストデータ作成を自動化を行ってみたので、その際に行ったこと・考えたことを書こうと思います。 背景 QAエンジニアとしてソフトウェアテストを行なっている中で、大量のデータを作成する必要があるテストが度々発生していました。 具体的には 各データで1度だけ確認できる挙動のテスト データを
施工管理サービスの定期実行ジョブ処理基盤をEC2からコンテナへ移行しました - ANDPAD Tech Blog
この記事はANDPAD Advent Calendar 2022の 23 日目の記事です。 こんにちは、アンドパッドSWEの あかりです。ニックネームではなく本名です。このひらがな3文字にはネット上では優しくされたいという願望が込められていますw 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービス内で定期実行されていた非同期処理(以後、定期実行ジョブとする)の実行基盤を、EC2からコンテナに移行しました。 この記事では、その移行方法について説明します。 2. 前提の説明 説明の前提として、施工管理サービスのインフラ概要図を下図に示します。左がコンテナ移行前の概要図で、右がコンテナ移行後の概要図になります。 インフラ概要 元々、施工管理サービスは3種類のサーバで構成されており、それぞれ以下のような役割を担っていました。 サーバ 説明 frontサーバ ユーザーからのリク
リモート環境におけるコミュニケーション課題に対する取り組みについて - ANDPAD Tech Blog
この記事は ANDPAD Advent Calendar 2022 の 21日目の記事です。 はじめに こんにちは。 アンドパッドでエンジニア組織のマネージャーをしている櫻井です。EMと言われたりもしますが、何をしているかというとエンジニアリングの現場での課題解決と向き合っています。 課題にも様々な種類がありますが、今回は昨今のリモート・オンライン業務におけるコミュニケーション課題の解決を目指した施策を紹介します。 そもそもリモート・オンラインの課題とは何か コロナ禍において、エンジニアの業務はリモートで成されることも増えてきたと思います。アンドパッドでも通常業務も然ることながら、ご入社いただく際の選考面談・面接段階からリモートが中心となってきています。 リモート業務にはメリットも多々ありますが、なかなかなデメリットもあると思います。私も元々オフラインコミュニケーションが好きなタイプの人間
Amazon S3の誤った公開に気づく! 通知の仕組み - ANDPAD Tech Blog
こちらは ANDPAD Advent Calendar 2022 の19日目の記事です。 こんにちは。 アンドパッドSREの宜野座です。 今回はアドベントカレンダーということで、Amazon S3の公開を検知してSlackに通知する仕組みをシンプルに行う方法に関して書こうと思います。 Amazon S3の重要性 S3バケットの公開を防ぐには S3の公開検知の例 AWS Config を利用する方法 Lambdaの作成 AWS Configでマネージドルールを有効化 Event Bridgeを作成する 動作確認 小ネタ: AWS Configで任意のタイミングでルールの評価を行う方法 Amazon Guard Dutyを利用する方法 まとめ 終わりに Amazon S3の重要性 ※ 以降、本文中ではAmazon S3をS3と短縮表記します。 AWSを利用されている場合、S3はさまざまなデータ
そびえ立つ n 万行の csv を Go 言語で簡単クッキング - ANDPAD Tech Blog
はじめまして、バックエンドエンジニアをしています武山 (bushiyama) です。 この記事は ANDPAD Advent Calendar 2022 の 1日目の記事です。 そんなルールはありませんが、アドベンドカレンダー 2022 初日なので初級な内容で暖めていきたいと存じます。 お題 非エンジニア職「ちょっとこの csv を集計したいんだけど、件数が多すぎなので助けて わたし「おｋ そもそも、システム上で集計できるよう諸々設計するのが最善ではあります。 しかしどんなに完璧なシステムを作っても、エンジニアには生涯で３回ぐらいは n 万行の CSV に立ち向かわなければならない日が来ます。 これは、わたしの直近の戦いの記録である。 なにはなくとも、まず要件整理 Excel などで開ければ vlookup と sum で簡単にとれるようですが、件数が多すぎて無理なよくあるやつです。 要望
AWS Control Tower 導入のために取り組んだこと - ANDPAD Tech Blog
こんにちは！ アンドパッド SREチームの宜野座です。 今回はアンドパッドにてAWS Control Towerを導入した経緯や導入のために取り組んだことをまとめてみました。 AWS Control Tower自体は2021年4月に東京リージョンで使えるようになったばかりの新しいサービスです。 aws.amazon.com そのため東京リージョンで導入したという事例も多くなく、AWS Control Towerを有効化して実際どういう影響があるのか読めない部分が多くありました。 導入するために悩んだ部分などを可能な範囲でまとめておりますので、ご参考になれば幸いです。 ※ AWS Control Tower の導入の取り組みを中心として行ったことも評価され、社内にてMVPを受賞することにも繋がりました。 関わってくださった皆さまありがとうございます！ ※ AWS Organizationsの
Docker DesktopからRancher Desktopに切り替えする手順 - ANDPAD Tech Blog
どうも、ANDPADバックエンドの原田(tomtwinkle)です。 1週間ぶりくらいですね。 Rancher Desktop と Docker Desktop の差異 LocalでMySQL / LocalStack / MinIO 等のContainer立ち上げたりする程度なら特に差異はなさそうです。 今まで通り docker コマンドや docker-compose コマンドがそのまま使えます。 Rancher Desktop公式ではこんな感じに書いてますが、細かい所はもう少し使って見ないとわからないですね。 Rancher Desktop vs Docker Desktop 細かい話はリンクアンドモチベーションさんのテックブログを見てフムフムしていました。 link-and-motivation.hatenablog.com ご注意 Rancher Desktopを利用することでC
Kubernetesのmanifestを検証しよう - ANDPAD Tech Blog
要約 k8sは、manifestをサービスが動くように設定するのは簡単だが、適切な設定は分かりづらい その結果、いまいちな設定をしてしまいがち kube-scoreはmanifestの問題と対応方法を教えてくれる k8s初心者にこそ、ツールによるmanifestの自動検証はおすすめ 想定読者 Kubernetes(以下、k8s)でとりあえずサービスを動かせるが、雰囲気で触っている人向けです。 k8sの設定は雰囲気で決められがち こんにちは。ANDPADでバックエンドの開発をしているzigeninです。 ANDPADでは、バックエンドのサービスをk8sで動かしています。 k8sを使っていて感じる一番の問題は、manifestで設定できることが多すぎて、良い設定が分かりづらいことです。 そのせいか、k8sに習熟していないと以下のような設定をしがちです*1。 apiVersion: apps/v
Auroraバージョンアップに伴い改めてMySQL5.7の押さえるべきポイントについて勉強会を開催しました！ - ANDPAD Tech Blog
こんにちは！エンジニアの福間（fkm_y）です。 弊社でデータベースの技術顧問をして頂いている三谷（mita2）さんに、MySQL5.7の追加機能についての開発部向け勉強会を実施いただきましたのでそのレポートをお伝えします。 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しており、3月にもMySQLロックの基礎編の勉強会を開催しました。 ANDPADでは、今年の4月にAurora MySQLをVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップを実施しました。 tech.andpad.co.jp Aurora MySQL Ver.2 になることで使えるようになった、MySQL5.7で追加された機能について開発者に知ってもらい、普段の開発に取り入れてもらうためにMySQL5.7の勉強会を開催することとしました。 今回は追加された150以上の新機能
MySQLロックについて〜基礎編〜 を開催しました！ - ANDPAD Tech Blog
こんにちは！エンジニアの福間（fkm_y）です。 先日、弊社でデータベースの技術顧問をして頂いてる三谷（mita2）さんに開発部向けのMySQLロックのデータベース勉強会を実施したのでそのレポートをお伝えします。 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しています。以前にもロックに関するMySQL勉強会を開催していたのですが、1年半経過しており参加していない開発メンバーのほうが多くなっていたことやプロダクトの成長によりデッドロックなどのロックに起因する問題が目立ち始めていたことから増強版のMySQLロックのデータベース勉強会を開催することになりました。 概要 データベースのロックについて ロックタイムアウトについて デッドロックについて まとめ データベースのロックについて なぜデータベースにロック機構があるのかから知ることが重要です。性能と安全性を両立するためにあ
複数AWSアカウントのインフラを同じコードで Terraform管理するプラクティス - ANDPAD Tech Blog
こんにちは！ アンドパッドSREの 宜野座 です。 前回は AWSのアカウント運用改善の取り組みについて記事を書かせていただきました。 今回はアンドパッドでIacへの取り組みとして行っているものの一例として、複数アカウント・複数環境を同一コードでTerraform管理するプラクティスを紹介したいと思います。 少し長くなりますが、お読みいただけると幸いです。 前回ブログ記事 tech.andpad.co.jp なぜIaC(Infrastructure as Code)に取り組んでいるのか Terraformを選んだ理由 同一コードでTerraformを複数アカウント・複数環境へplan, applyしたい terraform init terraform plan terraform apply 環境を増やしたい場合 環境ごとにリソースを作成したり、作成しないようにしたい 他の方法に関して
プロダクトにNext.jsとGoを採用した理由と背景 - ANDPAD Tech Blog
はじめに こんにちは！エンジニアの柿森です。新規プロジェクトを担当しております。 ANDPADではマイクロサービス開発を推進しており、新規プロジェクトは個別に技術選定を行い、既存システムとAPI経由で連携します。 また、マイクロサービス基盤はk8sで構築されており、死活監視やログ収集もよしなにやってくれる環境が整っております。 新規プロジェクトを立ち上げで、k8s上に乗せることを前提に技術選定を行いました。 技術選定を行うにあたって検討したポイントと、採用した技術について話していきたいと思います。(あくまで筆者個人の考えです。) 採用した技術スタックの概要 フロントエンドはBlitz-jsを参考にNext.jsを採用。 バックエンドはGo + gRPCを採用。 技術選定の方針 大きな方針としては一般的な考えを踏襲しています。 ドキュメントがしっかりしており、GitHubのStarがそれなり
Kubernetes入門 - 自作のDockerイメージをminikubeで動かす方法 - ANDPAD Tech Blog
こんにちは！アンドパッド開発部のyokohamaです。 ITコンサル、WEBサービス会社を経て昨年5月にアンドパッドにジョインしました。 突然ですがアンドパッドでは社内で様々な勉強会を開催しています。 Vue, Flutter,マイクロサービスなどいろんなテーマの勉強会が開催されていて、所属に関わらず各々好きな勉強会に参加することができます。 自分はKubernetes/マイクロサービス勉強会と機械学習勉強会に参加しています。 勉強会に参加する目的は人それぞれだと思いますが、自分は怠け者なので学習をさぼらないようにペースメーカーとして勉強会に参加し続けています。 機械学習勉強会についてもいつか記事にできればと思っていますが、今日はKubernetes（k8s）に関しての記事なります。 k8sは入社前は全く触ったことがありませんでしたが、この勉強会のおかげで少しずつ触れるようになってきました
Docker HubのイメージプルがDownloadRateLimitで失敗する問題を、認証を利用して対処した話 - ANDPAD Tech Blog
明けましておめでとうございます、ANDPAD SREチームの@DanKadoiです。 AWSサポートの一歩進んだ使い方 ~問い合わせの極意編~ の節はありがとうございました。 今回はDocker Hubのイメージプルについて書こうと思います。 困っていたこと 弊社ではいくつかの用途でDocker Hubからイメージプルしていましたが、主に以下のユースケースでDownlowdRateLimitによる失敗が頻発しました。 ECRのPrivateリポジトリでホスティングしたい自前のDockerイメージを、CodeBuildプロジェクトでビルドしているケース [1/2] FROM docker.io/library/mysql:5.6 resolve docker.io/library/mysql:5.6 resolve docker.io/library/mysql:5.6 3.0s done
Kubernetesクラスターにインストールした野良アプリケーションの再現性担保とバージョン管理 - ANDPAD Tech Blog
SREチームの須恵です。 今回は、Kubernetesクラスターの運用にまつわるちょっとした工夫について書くことにしました。 要約 何が問題か 今までのやり方 解決策 ここまでで実現できたこと Dependabotで、もうひと工夫 余談 ごあんない 要約 以下のような問題があり、 URLから直接、手動でkubectl applyしたアプリケーションが存在することにより インストールと更新が手動のためクラスターの再現性を低下させる 更新を手動で行う必要がある 誰かが更新に気がつく必要がある それぞれ、以下のアプローチで解決を試みました。 手元からインストールと更新を行うためクラスターの再現性を低下させる シェルスクリプトとDockerfileをバージョン管理する 更新を手動で行う必要がある install-from-url.shを自動的に実行する 誰かが更新に気がつく必要がある Depend
猛烈に成長するSaaSのインフラを猛烈にカイゼンする技術 - ANDPAD Tech Blog
SREチーム 鈴木心之介 です。 職歴の空白 を経て参画しました。 社名変更して co.jp ドメインを複数保有する技術 の節は皆様ありがとうございました。 たぶんそのうち書かれるだろう「Dockerコンテナ移行しました」記事の先史時代の記録として、また、事業の成長に併走してきたEC2でのアーキテクチャの御焚上として奏上するものです。 問題意識 アプリケーションはRuby on Railsで実装し、インフラはAWSにEC2, RDS, S3を中核に構成してます。運用状況はEC2に限らず大変きびしく、早くどうにかしないと事業の成長の足枷になりそうでした。入社前のカジュアル面談で伺っていた情報と、入社後の情報収集から、大枠の問題意識を以下4つに絞りました。 デプロイメント セキュリティ スケーラビリティ ディザスタリカバリ どれも解決すべきで、優先順位にみなさま一家言あるかと思います。ただセキ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
