技術的負債になりかけていた機能をリアーキテクティングしたら、めちゃくちゃ改善した話 - カミナシ エンジニアブログ

ソフトウェアエンジニアの 鈴木 (@szk3) です。 先日、カミナシにおいて古くから存在する１つの機能をリアーキテクティングしました。 その結果、処理時間は4分の1以下、コストは90%程度削減 と大きな成果を出すことができました👏 本記事では、その機能が抱えていた課題に対しどのような改善のアプローチをして上記の結果に結びついたのか？について共有します。 Excel変換とは 今回、リアーキテクティングの対象となった機能は、カミナシに帳票として記録されたデータをExcel形式に変換して出力する機能です。 これを、”Excel変換” と呼んでいます。 Excel変換は、カミナシのサービスの中でも比較的古くから存在する機能です。 ここ数年での利用ユーザーの増加と共に、設計当初のシステムアーキテクチャが技術的な負債となっている状態でした。 Excel変換の課題 まず最初に、設計当初のアーキテクチ

[toricls]

「でっかいバッチ処理」を処理単位に合わせて分割実行できるアーキテクチャ変更をしたことで、処理完了までの時間が4分の1になってインフラ費用も大きく削減できた話です‪🤗‬

[iwamot]

SIerのバッチ界隈の人ではないので、とても参考になった。

[juve534]

AWS CodeBuild でバッチ実行の発想はなかったので面白い。バッチ設計は難しい上にバッチ失敗のリカバリもしんどいよねー。ちゃんと改善する姿勢が素敵。

[yosio_ism]

eventbridge->sqs->lambdaとかでも良さそう。最小単位の実行時間が結構かかるのかな？

[joker1007]

自分も大体同じ様なことやるかな。個人的にはAWSBatchはイマイチ扱いづらいのでStepFunction嚙ます方向に行くと思うけど。

[miyasakura]

CodeBuildでジョブ実行というアレな構成だったというのはともかくちゃんと作り直す選択ができるのは良いよね。個人的にはAWS BatchでやるにしてもStep Functionsを挟むと実行失敗の検知やリトライがやりやすくて好き

[Eiichiro]

バッチハムズカシイ。Excel変換って、絶妙に時間掛かるし、メモリも食うからなぁ。PDF生成処理も同じく。

[koogawa]

“このプロジェクトをチームでやりきることで、メンバー間のお互いへの信頼感や団結感が高まった” こっちも成果として大きいよね

[gfx]

"このプロジェクトをチームでやりきることで、メンバー間のお互いへの信頼感や団結感が高まった"

[NOV1975]

SIerのバッチ界隈の人だとクソがましになりました、という話にしか見えないと思うが…

[integrated1453]

AWS Batch、ジョブをリトライするインターフェースがあるの良いな “結果、エンジニア1人が1日単位で実行していたリカバリは、AWS Batchのジョブをリトライするだけになり、リカバリ効率を格段に上げることができました。”