自動化大好きエンジニアたちが語る、効率化・品質向上 Tips【26選】 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、技術広報のyayawowoです。 「自動化（オートメーション／Automation）」 今、この言葉を聞いて胸がときめいた方に必見です！ 当社主催イベントでも人気の高い 「自動化大好きエンジニアLT会」全5開催分の資料をまとめて紹介します！ イベント詳細はこちらをご確認ください！ ・自動化大好きエンジニアLT会 ・自動化大好きエンジニアLT会 - vol.2 ・自動化大好きエンジニアLT会 - vol.3 ・自動化大好きエンジニアLT会 - vol.4 ・自動化大好きエンジニアLT会 - vol.5 目次 目次 手動テストやインフラ構築は自動化しよう APIテスト品質を向上させる Datadog Synthetic Monitoring APIテスト自動化とテストピラミッド TestLinkにテスト結果を自動的に登録 Cypressでサクッと始めるE2Eテスト 自動テスト環境を
コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ
はじめに SREチームの @minamijoyo です。 先日 CrowdWorks (crowdworks.jp) の本番環境のRailsアプリケーションを Docker (AWS ECS: Elastic Container Service) に移行しました。 CrowdWorksは2012年にサービスを開始し、2019年10月現在、ユーザ数は300万人、月間で数億円規模のお仕事がやりとりされる、国内最大級のクラウドソーシングプラットフォームにまで成長しました。 サービスの規模拡大に合わせて、ソースコードも数十万行規模に成長し、 決して小さくはない規模のRailsアプリケーションに成長しました。 CrowdWorksの開発環境にDockerが導入されたのはもうかれこれ3年半前の2016年の4月頃、2017年1月頃にはCrowdWorks本体から切り出された一部の機能で本番環境に投入され
｜DMM inside
【レポート】インフラエンジニアは働かない～AWSのフルマネージドサービスでメンテフリーになるまで～ #AWSSummit | DevelopersIO
DA事業本部の春田です。 AWS Summit Online絶賛開催中！ということで、本記事では「CUS-60: インフラエンジニアは働かない～AWSのフルマネージドサービスでメンテフリーになるまで～」の内容についてまとめていきます。 セッション情報 株式会社カプコン システム開発部 中村 一樹 氏 株式会社カプコン システム開発部 中島 淳平 氏 DL数500万を超える大型タイトル、モンスターハンターライダーズ。 メンテフリー、省コスト、最先端、をテーマにしたカプコン史上最大のインフラアーキテクチャはどの様に設計され、どう運用されているのか。コンテナって実際どうなの、Kubernetes？ECS？RDBMSを使わずしてサービスを提供することは可能？大量アクセスにより生成されるログを安全に回収するにはどうする？実際に運用してみた経験や事例を踏まえて、カプコンの考えるクラウドネイティブ時代の
こんにちは。MonotaROで商品管理や受発注システムの開発を担当している中尾です。 この度、これまでcronで実行していたジョブに対してRundeckを導入し、ジョブのスケジュール管理を効率化することができましたので、導入にあたって苦労した点とその解消方法を中心に紹介いたします。 Rundeck導入の背景 Cronの限界を感じた 過去にも導入しようとしたが・・・ Rundeck導入において苦労した点 Rundeckが落ちた場合の対応の検討 GitでのRundeckジョブのバージョン管理 導入してよかったこと 複数のサーバーに跨ってジョブフローが組めること Cron式が使えること 重複起動制御ができること まとめ Rundeck導入の背景 Cronの限界を感じた MonotaROでは「注文を倉庫に連携する」、「商品の発注を自動で行う」といった様々なバッチ処理が、細かいものも含めると1日数千
こんにちは！SREチームの松嶋です。 こちらは「dely #2 Advent Calendar 2020」の20日目の記事です。 adventar.org delyのアドベントカレンダーは#1もあるので、こちらもぜひ。 adventar.org 昨日は、maseoさんの「Google Optimizeでテストをしてる話」という記事でした。A/BテストでGoogle Optimizeを導入するか検討しているフロントエンジニアの皆さんはぜひ読んでみてください！ tech.trilltrill.jp はじめに 私は昨年の11月にdelyへ入社しましたが、もう既に1年が過ぎてしまいました。体感的にまだ半年しか経っていない気持ちですが、そんな時間が過ぎるスピードの速さもdelyならではかもしれないと感じる今日この頃です。 delyのSREチームは、2020年9月までの約3年間、最大2人体制でなんとか
株式会社ラクスが開催するエンジニア向けのイベント「RAKUS Meetup」。今回は「SaaS新規プロダクトの技術」をテーマに、同社プロダクト「楽楽労務」など、AWS関連のインフラを担当する柏木達仁氏が登壇し、「積極的にAWSサービスと自動化を使ってtoBのSaaSをローンチしたその後」という内容で話をしました。 なぜAWSを多用するのか 柏木達仁氏（以下、柏木）：楽楽労務の担当をしている柏木達仁と申します。今回のテーマは、インフラから「積極的にAWSサービスと自動化を使ってtoBのSaaSをローンチしたその後」というテーマで発表します。よろしくお願いいたします。 自己紹介です。私は2010年に新卒で入社して、SIerだったのですが、パッケージシステムやSaaSに関わっていました。2017年にご縁があってラクスに入社して、インフラ開発部に所属しています。主にblastmailというサービス
Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ
はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る 現行システムで発生している問題点の解消 構成 FargateのトリガーとしてRundeckを採用 理由1： バッチ実行が行われる場所でログを見たかった 理由2： ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携について デプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について 移行後の総括 よかった点 悪かった
8月31日をもってLAPRAS株式会社を退職する．8月7日が最終出社日だった．2018年4月1日入社だったので，2年5ヶ月いたことになる． 俺が入ったときはscoutyという社名だったけど，途中でLAPRASに変わった． 辞める時点でのLAPRAS SCORE lapras.com やってたこと でかいのだと インフラリソースのterraform化 ECSからEKSに移行 Elixirでクローラー開発 とかをやっていた．SREだけど普通にアプリケーションも開発していたので，Webアプリケーションとかクローラーの機能開発等は普通にやってた．突出してこの機能を作った！というのはあんまり思い浮かばないけど． あとRundeckを入れたりDatadogを入れたりRabbitMQを入れたりサービス間通信にgRPCを入れたりもした． Datadogとは前職からの付き合いだけど，使い勝手良すぎて導入せず
BlueTeam CheatSheet * Log4Shell* | Last updated: 2021-12-20 2238 UTC
20211210-TLP-WHITE_LOG4J.md Security Advisories / Bulletins / vendors Responses linked to Log4Shell (CVE-2021-44228) Errors, typos, something to say ? If you want to add a link, comment or send it to me Feel free to report any mistake directly below in the comment or in DM on Twitter @SwitHak Other great resources Royce Williams list sorted by vendors responses Royce List Very detailed list NCSC-N
【株式会社ラクス】SaaSプロダクト別の技術スタックを一挙公開！ - RAKUS Developers Blog | ラクス エンジニアブログ
（本記事は2023/10/2時点の情報にアップデートしております） こんにちは、技術広報のyayawowoです。 突然ですが、株式会社ラクスと聞いて何を思い浮かべますでしょうか？ 弊社ラクスでは、様々なプロダクトを展開していますが正直認知度は低いと思っております。 そこで今回、弊社についてもっともっと知っていただくため・・・ ラクスが展開している全10プロダクト 全10プロダクトの技術スタック インフラ/SRE/デザイナーの技術スタック について、ご紹介させていただきます！ SaaS開発に携わる方、弊社に少しでも興味を持っている方の一助となれば幸いです！ ラクスが展開している全10プロダクトとは？ バックオフィス向け フロントオフィス向け 10プロダクトの技術スタック 楽楽販売 楽楽精算 楽楽明細 楽楽電子保存 楽楽勤怠 MailDealer 配配メール Curumeru blastmai
延べ年間1万人以上の参加者を集める、技術イベント集大成【RAKUS Tech Conference 2022を開催します】 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、技術広報のyayawowoです。 株式会社ラクスは、継続して技術イベントを開催し日々の業務で培った技術コンテンツの発信を行っております。 有難いことに、connpass上で開催しているイベント参加者は、延べ年間1万人を超えており、多くのエンジニア/デザイナーの皆様からも反響をいただいております。 そして・・・今回ついに！ その集大成として2/8(火)に「RAKUS Tech Conference2022」を開催させていただきます！ ◆こんな方にオススメ！ ・ ラクスの開発における挑戦や現状の課題、今後のビジョンを知りたい方 ・ ラクスの開発組織戦略/インフラ戦略を知りたい方 ・ 新技術を取り入れたい方（フロンエンド分離,React.js,TypeScript,GraphQL) ・ レガシーシステムのバージョンアップ対応をされる方（PHP8,Laravel） ・ モダンな開発スタ
例外はたくさんあるのでこちらの表はあくまでも参考です。 バッチ更新の場合はcrontabやAirflow、Rundeckなどのワークフローエンジンが使えます。 一方、リアルタイム更新ではAWS KinesisやGCP pub/sub等を活用したり、Apache Beamなどを用いたりしてデータパイプラインを構築することがあります。 アイテムの特性と検索時のクエリ 検索対象となるアイテムの特性と検索する際にどのようなクエリが想定されるかを考えます。 全文検索エンジンを使っているので、基本的にはテキストにより表現されているとは思いますが、どのようなフィールドが存在するか、テキスト以外の検索項目などを洗い出します。 クエリに関しても基本は「キーワード」ですが、整理したアイテム情報に対してどのようなクエリで問い合わせが可能かを考えます。 システムとして「誰」が検索結果を取得するか、検索結果をどの程
こんにちは、LayerXでインフラを担当している高江です。 今回は、弊社の請求書AIクラウドサービス「LayerX インボイス」のインフラについて、 現在のアーキテクチャ構成と、設計時に考慮したポイントをご紹介いたします。 サービス自体については事業責任者の @mosa_siru がご紹介しておりますので、こちらのエントリをご覧ください。 tech.layerx.co.jp アーキテクチャ構成 まずはみんな大好き構成図から。 LayerX インボイスのインフラはAWS上に構築されており、その構成はざっくりこのようになっています。 LayerX インボイス インフラ構成図 大きく分けると、 LayerX インボイス（本体機能） ユーザー情報管理・認証基盤 共通データ基盤 という3つの部分から構成されています。 LayerX インボイス（本体機能） ここがLayerX インボイスの本体となる部
Rundeckをインストールして"最速"でJOB実行してみる - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 インフラエンジニアをしていますknmriiです。 今回はジョブ管理ツール「Rundeck」の紹介とインストール方法、簡単な使用方法を紹介していきます。 最速でRundeckジョブのテスト実行ができるような記事構成にしていきたいと思いますのでぜひお試し下さい。 インフラエンジニアの皆様にとって、作業自動化の助けになれば幸いです。 Rundeck Rundeckとは システム要件を確認 Rundeckをサーバにインストールしてみる 事前にJavaをインストール Rundeckインストール Rundeckサーバの起動 ログインしてみる プロジェクトを作成する まずは、RundeckサーバのローカルでJOBを実行してみる Rundeckサーバから別サーバにSSH経由でJOBを実行してみる 最後に Rundeck Rundeckとは OSSのジョブ管理ツールです。 以下のような特徴があ
はじめに What is Rundeck？ これまでの問題 Rundeck の導入を進めるために行ったこと Rundeck を実際のプロダクトに導入！ おわりに はじめに こんにちは！インフラチームの高畑です！ 梅雨で空気がジメッとしていて気持ちも落ち込んでくるそんな季節ですが、これからやってくる夏に思いを馳せて気持ちを切り替えていきたいと思っています。 さて、今回はジョブ管理ツールである「Rundeck」を導入してみたお話をします！ What is Rundeck？ Rundeck とは、OSS のジョブ管理ツールで、エージェントを別途用意する必要がなく手軽に利用ができるツールです。 LDAPと連携することにより、細かいアクセス制御やログイン連携を行うことも可能です。 また、ジョブ管理ツールを使う上で欠かせないものである Slack 通知もできる優れものです。 github.com これ
YAPC::Kyoto 2023 に参加した。こういったエンジニア向けの Conference が初めてだったが楽しかった。 見たセッションやトーク 以下見たセッションの感想 小さく始め、長く続ける OSS 開発と貢献 ソフトウェアエンジニアはエモいという言葉がグッときた。楽しむことを意識していきたい。 日常業務のカイゼンで図る開発チームへの貢献 イラっとしたらメモるはすごい大事そう。Rundeck 便利そうなので使ってみたい 入門 障害対応 「サービス運用は Try::Catch の繰り返しだよ、ワトソン君」 過去の障害をテスト環境で再現して訓練しているという取り組みぶりがすごかった。 熟練者の思考と打ったコマンドは確かに知りたい。 あの日ハッカーに憧れた自分が、「ハッカーの呪縛」から解き放たれるまで 「組織が求める自分の役割を理解し、そこに自分のありたい姿を重ねる」というのはうっすら最
DSOC Infrastructure Groupの藤田です。 最近は汚い牧場物語をやりながらCyberpunk 2077を待つ日々を過ごしております。 私は昨年の11月頃からDSOCで運用している名刺データ化システムをコンテナ化、ECSへ移行するというプロジェクトに携わっていました。今回はその中で躓いたいこと、工夫したことを皆様に共有できればと思っております。 背景、ゴール 名刺データ化システム SansanやEightで取り込んだ名刺は名刺データ化システム(GEES)へ送られてきます。GEESで名刺画像をデータ化、Sansan/Eightへ結果を返して最終的にエンドユーザへたどり着きます。いわばSansan/Eightの屋台骨のような役割を担っています。データ化には様々なプロセスが含まれています。具体的にどんな処理を行っているかはDSOCのウェブサイトでわかりやすく説明されています。こ
はじめに こんにちは。クックパッドレシピサービス開発部の宮崎（HN：どや）です。 私は2021年新卒としてクックパッドに入社し、そろそろ１年が経とうとしています。時の流れははやいですね。 さて、表題にも記しましたが、去年の末に新しくサーバーサイドのアプリケーションを作成しました。 クックパッドではサービスメッシュを用いたマイクロサービスアーキテクチャを採用しており、ドメインやチームに応じてアプリケーションが小さく分割されています。今回、クックパッドで利用されるマイクロサービスの１つとして、新しいアプリケーションサーバーを立ち上げました。 社内のマイクロサービスの状況については以下の記事が詳しいので、ぜひ読んでみてください。 techlife.cookpad.com 「アプリケーションサーバーを立ち上げる」と一口に言っても、新しいアプリケーションを作るのは意外と大変です。そもそも、新しいアプ
GitHub - meirwah/awesome-workflow-engines: A curated list of awesome open source workflow engines
Activepieces - Open source no-code business automation, alternative to Zapier Airflow - Python-based platform for running directed acyclic graphs (DAGs) of tasks Argo Workflows - Open source container-native workflow engine for getting work done on Kubernetes Arvados - Open Source data and workflow management platform with emphasis on reproducibily, scale, and secure data sharing, deployable on cl
KomercoとFirebaseの話【後編】 - Firebase運用の仕組化 - クックパッド開発者ブログ
Komercoの高橋です。 昨日は前編でFirestoreの設計パターンについてお話しましたが、後編はFirebase運用の仕組化についてです。 前の記事でも述べたように、昨年はWeb版のリリースや送料無料イベントもあり、ユーザ数がさらに増加してきています。 サービス規模が大きくなるにつれて運用コストも大きくなり、その効率化も求められるようになってきました。 ここではKomercoで行っている、運用に関する仕組みについてご紹介します。 Komercoの構成 まず前提としてKomercoの構成について簡単にご紹介します。 Komercoは器や料理道具、食材や調味料を扱うECサービスで、商品の販売者から直接購入ができるC2Cサービスとなっています。 商品を購入するユーザを「カスタマー」、販売するユーザを「クリエイター」と呼んでいます。 Komercoではこのカスタマー、クリエイターそれぞれに対
2023年 crowdworks.jp の SRE チームでやったこと - クラウドワークス エンジニアブログ
この記事は クラウドワークス Advent Calendar 2023 シリーズ1 6日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 この記事では crowdworks.jp の SRE チームが2023年にやったことを記載していきます。 やっていることは色々で、まとまりはありませんが、そこら辺はご容赦ください。 2022年の振り返り 2023年にやったこと CircleCI インシデント対応 RundeckのECS化 Railsで使用しているMemcachedをRedisに寄せる 課題 1. Memcachedでは停止時にデータが揮発する 2. Memcached単体ではマルチAZ構成でデータのレプリケーションができない 3. Memcached/Redisともにバージョンアップをしていない 4. MemcachedとRedi
Amazon EMR のバージョンアップ 1/3：メジャーバージョンアップの前にやったこと - Repro Tech Blog
Development Division/Platform Team/Sys-Infra Unit で実施した Amazon EMR 1 のバージョンアップについてどのようなことをやったのか紹介します。 Repro では Presto や Hive などのセットアップに EMR を使用しており、以下の用途で活用しています。 プッシュ通知の配信対象を抽出する 管理画面で参照するデータを抽出する S3 などに貯まっているイベントデータを集計する EMR のアプリケーションとしては以下を使用していました。 Presto Tez Hadoop Hive Hue 経緯 Repro では多くのミドルウェアを運用しており、日々バージョンアップしているのですが、最近まで2019年2月18日にリリースされた EMR 5.21.0 というバージョンを使用していました。もちろん Log4Shell のような脆弱
Tech Solvency: The Story So Far: CVE-2021-44228 (Log4Shell log4j vulnerability).
Log4Shell log4j vulnerability (CVE-2021-44228 / CVE-2021-45046) - cheat-sheet reference guide Last updated: $Date: 2022/02/08 23:26:16 $ UTC - best effort, validate all for your environment/model before use, unofficial sources may be wrong by @TychoTithonus (Royce Williams), standing on the shoulders of many giants Send updates or suggestions (please include category / context / public (or support
Terraform: Up & Running, 2nd edition Early Release is now available!
In late 2016, we released the Comprehensive Guide to Terraform blog post series. It got so much attention (the series is now approaching 2 million views!) that a few months later, in early 2017, we turned it into a book, Terraform: Up & Running. It’s remarkable just how much has changed in the two years since then: 4 major Terraform releases, a language change (HCL to HCL2), a revamp of Terraform
Agile Tech EXPO mini #4 チームの相乗効果を生むVPoEの企て https://agiletechexpo.connpass.com/event/206455/ でお話した資料です。 Envoyの作者Matt Klein氏が自身のブログにて「DevOps is the practice of developers being responsible for operating their services in production, 24/7.」と記したことは有名です。この考えに共感した私たちが、これまで実際にどういった考えで、この思想の体現にむけて取り組んできたかについて、技術と組織の観点からお話します。 技術が先行しすぎると専門性でチーム同士がサイロ化してしまい、組織の構造だけが先行してもチームで個別最適化しすぎてしまいます。単に自動化すればよかったのか？単にチ
マイクロアドでアプリケーションエンジニアをしているタカギです。 バッチ開発がメインのチーム（第４開発ユニット：通称ゆーよん）に所属しています。 バッチといえば避けては通れないのが、アラート対応ですね。 そういうわけで、今回の記事では、アラートメールのslack通知について記事を書いていきたいと思います。 背景 マイクロアドでは、非常に多くのバッチ処理が走っています。バッチスケジューラとしては、最近はDigdagが主流ですが、一部にはJenkins、Rundeckなどから実行されるバッチも存在します。また、監視ツール系のバッチはcrontabで動いていたりもします。 大抵の場合、アラートメールはメーリングリスト宛に送信され、所属しているメンバーの会社の個人メールアドレスに届く事が多いと思います。 個人のメールボックスには、アラートメール以外にも多くのメールが届いているはずなので、必然的にアラ
AWS Batchの使い所 - Qiita
この記事は、ゆめみ Advent Calendar 2020の10日目の記事です。 AWS Batchを調べたので、そのことを書いてみます。 AWS Batch is 何 バッチコンピューティングのための環境をフルマネージドで提供 ・ AWS Batchがインスタンスの起動や停止をおこなうため、スケジューラや計算ノードなどの管理が不要 ・ ジョブはDockerコンテナイメージを元をに作成し、自動でスケールするコンピューティング環境で実行する ・ コンピューティング環境ではインスタンスタイプやvCPU数、スポットインスタンス利用有無などを任意に指定可能 ・ 100万vCPUクラスの大規模な計算にも対応 https://www2.slideshare.net/AmazonWebServicesJapan/20190911-aws-black-belt-online-seminar-aws-ba
digdag + embulk でSaaSのレポートを検査する仕組みを作った話 - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
こんにちは！SREセクションの林（@morihaya55）です。 本記事はOisix ra daichi Inc. Advent Calendar 2018の17日目の記事です。 昨日は@yymzkの社内でキーボードつくる会を企画した話でした。 同僚がキーボード沼に沈んでいくのを横から暖かく見守るのは気持ちが良いですね、どんどん沈んで欲しいです。 ちなみに私は無難に既製品のErgoDox EZを使っています。分割キーボードは肩が広がる感じが良いですね。 さて今回は digdag + embulk でSaaSのレポートを検査する仕組みを作った話 と題してつらつらと書きます。 やったこと 目的 正常時の件数確認を楽に行いたい 異常時の検知をしたい 対策を検討した どうやったのか digdag、embulkとは Python、pandasとは embulkのプラグインの豊富さが凄い コードのご紹
こんにちは、記事の更新頻度が安定しません。 Rundeckの記事を書くことを今季の目標としてしまったために(勝手に)追い詰められながら記事を書いています。 まぁやるからにはちゃんと書きます。Rundeckは機能が多いから時間がかかるのは仕方ないでしょう？俺は悪くない。 infoこの記事はRundeckの概要・用語・主な使い方について書きます。内容はリファレンスっぽい感じに仕上がっているので実際に使いながら参照することをオススメします。DockerでRundeckをちょっとだけ試してみたかった でセットアップできます。この記事はRundeck 2.5.3 を使用しており、バージョンによっては動作が異なる可能性があります。概要Rundeckは一言で言うと「すごいcron」です(ドドーン hirokiky氏 や shimizukawa氏 の発表でもそう言っていたからいいよね？ 少しだけ補足します
terraform を使った Infrastructure as Code 実践でインフラを簡単に横展開する | スペースマーケットブログ
こんにちは、エンジニアの藤田です。 最近は趣味で iOS 開発に挑戦しています。 体験したことない DX に戸惑いつつも、新しい言語やフレームワークはわくわくがいっぱいです！ とはいえ、iOS 開発を進めていたら API が欲しくなって、気がついたら API の実装を凝り始めてしまっている今日この頃です。 さて、前回の私のエントリーでは AWS CodePipeline で CI/CD の仕組みを構築したお話 をご紹介しました。 今回のエントリーではこの CI/CD のインフラ・仕組みを 別環境・別サービスに横展開する ために行った 「terraform を使った Infrastructure as Code 実践」についてご紹介します。 terraform とは HashiCorp社が開発している コードからインフラを作成/コードでインフラ構成を管理する ためのツールです。 ここでいう「
[レポート]CAPCOMがコンテナ、データ、MLを使ってユーザーに楽しませるゲームを高速に構築する方法 #GAM302 #reinvent | DevelopersIO
こんにちは、AWS事業本部の島川です。 本記事ではラスベガスで開催されたAWSの一大イベント AWS re:Invent 2019で発表されたセッションをご紹介いたします。 冒頭、日本のカプコンの社員さんがボケをかましていたセッションで面白かったです笑 今回紹介するセッション How CAPCOM builds fun games fast with containers, data, and ML スピーカー Liang Fan - Solution Achitect, Amazon Web Services Inoue Shinichi - VPoE, General Manager, CAPCOM Co., Ltd. Jumpei Nakajima - Engineer System Development Section, CAPCOM Co., Ltd. Kazuki Nakam
![[レポート]CAPCOMがコンテナ、データ、MLを使ってユーザーに楽しませるゲームを高速に構築する方法 #GAM302 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
こんにちは。LAPRAS社のシニアエンジニア、データベーススペシャリストの山田(@denzowill)です。以前書いたこちらの記事は古くなってきた上に、scoutyから社名まで変わってしまったので、最新のLAPRASでの状況を改めてご紹介させていただきます。更新のついでに折角なので数は10->20で2倍にしました。 全体図 まず先に、LAPRAS社のサービスを取り巻く状況がどのようになっているか、全体の構成をお伝えします。 前回記事を書いてから大きく変わったところとしては以下です。 * 従来のscoutyというサービスがLAPRAS SCOUTにリニューアル * toCのLAPRASというサービスが新規公開 * ECSからk8sへの移行 このあたりに触れながら現在の状況を紹介していきます。 利用言語 LAPRAS社はscouty時代からPython3系をメインで採用しています。Web系は依
I am going to introduce Ansible into my data center, and I'm looking for some security best practice on where to locate the control machine and how to manage the SSH keys. Question 1: the control machine We of course need a control machine. The control machine has public SSH keys saved on it. If an attacker has access to the control machine, it potentially has access to the whole data center (or t
これは Livesense Advent Calendar 2023 DAY 24 の記事です。 リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクが大好きなおじさんです。 現在、リブセンスではオンプレミス環境からAWS環境への移行を進めています。移行が必要な対象は沢山ありますが、今回は非エンジニアがクエリを実行する基盤の移行について書きます。 非エンジニアがクエリを実行する基盤が作られたきっかけ 毎月4時間のCSV取得作業 管理画面で取得できないクエリを実行したい場合のフローが煩雑 広いデータ参照のリスク 移行前のクエリ実行基盤について 移行前のクエリ実行基盤の構成 移行前のクエリ実行基盤が抱えていた課題 原因がよくわからない状態で半年に1回完全に壊れてしまう 1回の復旧に半日持っていかれる 移行後のクエリ実行基盤について 移行後のクエリ実行基盤の構成
リリースエンジニアリングの一環 RDBを利用するアプリケーションの話 MongoDBのようにスキーマレスなNoSQLではスキーママイグレーションという概念が存在しない 2024/04追記 https://planetscale.com/blog/how-planetscale-makes-schema-changes PlanetScaleチームのマイグレーション方法 小中規模のアプリケーションはデプロイパイプラインの中でschema migrationを行う 大規模のアプリケーションになると 大量データのあるテーブルにDDLを流すのが危険になっていく 大規模チームが頻繁にデプロイするとお互いの変更でブロックされて調整コストが高くなる そこでOnline Schema Migrationツールを使うようになる 2018 Why and How Database Changes Should
Rundeckを使ってみた - Qiita
ジョブ管理ツールについて調べていた時にJenkins以外にRundeckというものをみつけたので調べたり使ってみました。 Rundeckとは ひと言で 使い勝手のよいOSSのジョブ管理ツール もう少し詳しく ホームページ https://www.rundeck.com/ RundeckはOSS(Community版)として公開（Apache2.0 License）しています PagerDuty社が主なメンテナー?であり、Community版のほかにEnterprise版やCloud版と展開しています プロダクトの種類について 以下のラインナップを展開しているようです。 Rundeck(Community版, OSS) PagerDuty Process Automation On Prem Software(Enterprise版) PagerDuty Runbook Automation
はじめに こんにちは。 CTO 室の id:riseshia です。 最近は STORES の開発環境とか運用周りの改善する仕事をしており、今回の記事ではデプロイプロセスの改善の話をします。 やったことはデプロイ用の Slack コマンドを用意しただけなのですが、このような ChatOps を導入しました記事は数年前から（具体的な手段は時期によって変わるものの）世の中にたくさんあり、 大変面白みが不足すると思ったので、今回はどのような要求があり、どのような点に気をつけながら進めていったかを解説します。 背景 となれば、まずは導入前のデプロイプロセスに関する解説が先ですね。 今までは決められた Slack チャンネルで「デプロイ宣言」というワークフローを使っていました。 CI が通ったのを確認して該当ワークフローを実行するとフォームが現れます。 そのフォームにデプロイに関する情報(i.e.
「こんな自動化に取り組んで、開発の効率化・品質向上しました！」というお話が聞きたい！！（ライトニングトーク：1人5分～10分程度） 今回のLT（ライトニングトーク）は自動化をテーマに行います！ 自動化（オートメーション／Automation）って聞くと胸がときめきませんか？ 登壇希望の方は、登壇者申込みより登録をお願いいたします！ 視聴者として参加される方も大歓迎です！！ 【テーマ例】 コードレビュー自動化（Java，PHP，Python，Javascript、SonarQube) テスト自動化（JUnit、PHPUnit、Serverspec） E2Eテスト（Selemium、Puppeteer） サーバ構成自動化（AWS、Azure、Terraform） リリース自動化（Jenkins、Ansible、Chef） チェックリスト自動化 DevOps CI/CD（継続的インテグレーション
最近 GraphQL の素振りのため、シンプルな Web アプリケーションを作ることを考えていた。 で、どうせなら最低限の機能はシングルバイナリ + いくつかのファイルを用意するだけで動作させようと思い、以下のような構成だけなんとなく考えた。 フロントアプリは build 結果を rakyll/statik で Go のバイナリに埋め込む データベースはデフォルトで SQLite を使い、必要に応じて利用者が用意した RDBMS を利用できる ところで、facebook/ent をご存知だろうか。 entgo.io これは facebook connectivity の中の人が書いている ORM で以下のコンセプトを持つ。 // facebook connectivity はどうやらネットワークの会社っぽい...? Schema As Code DB スキーマは Go のオブジェクトとして
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レガシーとの向き合い方 〜cron から Rundeck へ〜 - DMM inside
Cron→Rundeckに乗り換えた話 - MonotaRO Tech Blog
システム管理者に贈る「運用改善に役立った！」AWSの機能4選 - dely Tech Blog
AWSと自動化で顧客とサービス運用に寄与し自分たちも楽に ラクスのインフラエンジニアが自動化にこだわる理由
LAPRAS株式会社を退職する - PartyIX
新規サービスの検索システム立ち上げ時に考慮すること - Qiita
LayerX インボイスのインフラアーキテクチャ - LayerX エンジニアブログ
ジョブ管理ツール「Rundeck」を導入した話 - WILLGATE TECH BLOG
YAPC::Kyoto 2023に参加した
名刺データ化システムをECSに移行した - Sansan Tech Blog
クックパッドの基盤をフル活用して新卒が新規アプリケーションを作った話 - クックパッド開発者ブログ
Self-Serviceとサイロ化と組織構造
アラートメールのslack通知の話 - MicroAd Developers Blog
そんなスケジューラで大丈夫か？ Rundeck超入門(基礎編)
LAPRASを支える約20個の技術 | LAPRAS株式会社
Ansible security best practices
非エンジニアがクエリを実行するための基盤を移行した話 - LIVESENSE ENGINEER BLOG
Separation of schema migration and deploy - ohbarye
デプロイコマンドを作りながら気をつけたもの - STORES Product Blog
【LT満員御礼！】自動化大好きエンジニアLT会 - vol.7 (2022/06/08 19:00〜)
facebook/ent を使ってみた - あれ