ぐるなびにあった２億ファイルをAWSにデータ移行しました - ぐるなびをちょっと良くするエンジニアブログ

こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ

[superchibita]

ぐるなび生きとったんかワレ！

[JULY]

初期のデータ移送に snowball を使わなかった理由が気になる。典型的な snowball 案件に見えるんだよなぁ。時間かかって良いから、コストが安い方法で、かなぁ。

[ttkazuma]

食べ●グがクソだからぐるなびとかホットペッパー使うようになったわ

[kw5]

20 TB だとまだ AWS Snowball よりネットワーク越しのほうがいいのだろうか

[Wafer]

ぐるなびのファイルの中には貴重な日本サッカー史(インタビュー)があるからね

[toytoycy]

CloudFront+Lambda+S3で静的コンテンツ配信って最高だよね

[sisya]

今までオンプレミスだったことに驚いたが、データ量的には大したことない（個人で持てるレベル）ので、回線の太ささえなんとかできれば、運用可能かもしれない。

[bopperjp]

すげぇのぉ

[kenzy_n]

膨大なファイルのAWSへのお引っ越し

[tkzwtks]

何並列くらいでs3 syncしたんだろう。差分検出は2回目以降も結構時間かかるはずだから並列実行する時のファイル数が多すぎると現実的な時間で差分同期するの難しいんじゃないか

[longroof]

"違ければ"ってどうやって変換してんだろう(´・ω・｀)…

[TimerTan]

どんだけ食べログがクソでもぐるなび使うことはないわ。写真ばかり綺麗で行ってみたらがっかりな店が大量に並んでる媒体というイメージ。

[uxlayman]

あんまり本題関係ないけど、いわゆる「ファイル」のことを非構造化データと呼んでるの、なかなか興味深い

[ken2mer]

s3 syncを並列で実行 (ディレクトリを分けて複数サーバからコマンド実行)

[syunnchang]

ぐるなびぐらいで2億ファイルしかデータなかったの？

[ledsun]

すごい

[mayumayu_nimolove]

食べログはこういうのにお金かけなさそう

[napsucks]

まだあったんだ。コロナで大変そうだね

[hiby]

＞レスポンス性能が劣化します　それS3のほうの性能限界ちゃうんけ、とは思ったけどEFSはたっけーのよな。

[akulog]

しゅごい

[nowandzen]

ぐるなびとか誰が使ってんねん