月間1.6億秒の Lambda x Node.js 利用から得られた知見

はじめにStockmark のプロダクトでは、各メディアから記事を収集するために AWS Lambda (実行環境はNode.js) を大量に利用しています。「大量」とは実際にはどの程度なのかを紹介すると、月間で 1.6億 秒ほど(1日で約60日分) 使用しています。もしかしたら「えっ、なんでそんなに使っているの？」と思われているかもしれません。 本記事ではその疑問に回答しつつ、実運用から得られた知見を一部共有していきます。段階的に理解いただけるように、技術選定理由から説明していきます。 なぜ Node.js なのか？なぜ AWS Lambdaなのか？Lambda x Node.js でスクレイピングする際の落とし穴ということで、早速1つ目からいってみましょう！ なぜ Node.js なのか?ストックマークのプロダクトでは、Web記事などを中心としてスクレイピングして収集した情報をベースに

[remonoil]

Lambdaインスタンスが使いまわしなのはドキュメントに普通に書いてあるしストレージは前は512MBしかなかったので当然の結果。SQSからの起動は上限1000に達しているのでは？

[masalib]

スクレイピングしているのね・・・正直、契約とかしていないなら拒否したい。

[dkfj]

Lambdaが出た当初にスクレイピングさせてみたことがあった。Lambdaとスクレイピングって実はコスト効率悪いのではという気がする。スクレイピングは、処理時間より通信時間の方が多いので、もっと安くつく手段はある

[door-s-dev]

Lambdaでスクレイピングする話

[irimo]

うおおすげー。監視、ボトルネック発見の手順もせっかくなら欲しかった。

[akymrk]

“もともとはJavaScriptですべて処理していたのですが、巨大なXMLを提供しているサイトは数十あることから、部分的なパフォーマンス・チューニングとしてRustで記述してコンパイルしたWASMを利用”

[juve534]

"最大並列実行数に実並列実行数が到達しないと観測してわかった" この辺は実際にここまで運用していないと分からないことで参考になるな。

[ebo-c]

1日30時間のトレーニングをするジャック・ハンマーも吃驚

[tk_musik]

スクレイプする対象がバラけてるなら別に問題なくない？月間1.6億を特定のサイトに集中砲火してるわけではないのでは？

[mr_mayama]

Anews用かな

[iwashi86]

書きました