YappoLogs: なぜ SQL_CALC_FOUND_ROWS や LIMIT OFFSET のページングが良く無いのか

なぜ SQL_CALC_FOUND_ROWS や LIMIT OFFSET のページングが良く無いのか ここ最近の大規模サービス関連したデータページング考です。 mysql 5.5.34 で試して記事書いてます。 bigdata テーブルは id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, PRIMARY KEY (id) なカラムがある前提です。もちろん InnoDB です。 2014年なんだからCOUNT(*)とかSQL_CALC_FOUND_ROWSとかLIMIT OFFSETのページングはやめようぜ - Togetterまとめが発端にみえるけど、わりと昔から話されてる事なんだけど、「nippondanji SQL_CALC_FOUND_ROWS」でググっても有用な情報ないし文書化されてないからしとく。 ページング処理で使われがちな機能です。 S

[t-wada]

いくつかの追記に書かれている tips がとてもいい “SQL_CALC_FOUND_ROWS を付けると、内部的には LIMIT 無しの状態で全てのレコードを読み込むまで処理をして、結果を返す時に LIMIT で指定された行数に絞り込んでるだけ”

[myfinder]

“果たしてそういったページング処理は本当に必要なんでしょうか?”

[k-holy]

MySQLはSQL_CALC_FOUND_ROWSのが速いというのは間違いだったのか…件数10万超えることないし、部分一致検索とか「全99件 先頭 前 1 2 3 4 5 6 次 末尾」みたいの必須なので、世界が違うのかなぁと思いつつ

[akiyan]

例外だけど、検索エンジン依存してる場合はこの解決方法をそのままURLに反映しちゃうとクローラが相手にしなくなるので、追加のソリューションが必要ですね。

[kisa_yoshi]

SQL_CALC_FOUND_ROWS や LIMIT OFFSET は使うべきではない。

[t_f_m]

(コメント追加:2019年1月10日)2014年3月の記事 / セルフメタブ用

[kadoyau]

“SQL_CALC_FOUND_ROWS を付けると、内部的には LIMIT 無しの状態で全てのレコードを読み込むまで処理をして、結果を返す時に LIMIT で指定された行数に絞り込んでるだけ”

[toydev]

[

[kairi-m]

まさにこれにハマったシステムの緊急対応をやってる…

[luccafort]

今後DB設計する際に気をつけたい、非常に勉強になった。

[rokujyouhitoma]

SQL_CALC_FOUND_ROWS／(^o^)＼

[ymm1x]

検索結果の行数を得るときのコストの話。Twitter のように次の検索結果があるかどうかが分かるだけで済むデザインにしておくと楽そうだね。

[HHR]

理由は単純で SQL_CALC_FOUND_ROWS を付けると、内部的には LIMIT 無しの状態で全てのレコードを読み込むまで処理をして、結果を返す時に LIMIT で指定された行数に絞り込んでるだけ。内部処理的には LIMIT してない→遅い。

[jonysand]

“Yokohama.PM #10 でひとつ上のmysql について話してきました #yokohamapm »”

[stealthinu]

今まさにこれで実装しようとしたところなのに…　ぐぬぬ。でもクライアントの要求がこうなんだもん！しかたないじゃん！！だからSQL_CALC_FOUND_ROWS使うしLIMIT/OFFSET使うしか無いもん！（逆ギレ）／使っても意味ないのか…

[Hash]

あとで読む... がしかし読みにくいレイアウトだ

[terurou]

どこまでMySQLというかRDBMSでがんばるのっていう話でもある

[mikage014]

確かにTumblrはそんな感じ／「深遠な理由でこれやって大変な事になってる人が「paging できる API とかは hasNext とかそういうのにすべき」って言ってた。」

[teppeis]

まとまってる。

[skyriser]

“「前へ 1 2 3 4 5 6 次へ」みたいなリッチなページングの実装には役に立たないかもしれません、でも果たしてそういったページング処理は本当に必要なんでしょうか?”

[h5y1m141]

昨日みてたまとめやつで代替え案ってどういうのがあるんだろって悶々としていたのでこうやってまとめてもらうと勉強になる。まぁ自分はそもそもそういう仕事してるわけじゃないので知らなくってもいいんだけどね

[NetPenguin]

なぜ、hasHitotsumae ww そこは、hasPrevじゃないのかw

[Untouchable]

全件数は出さないほうが良い

[ryonext]

勉強になる

[xaicron]

"ただし、深遠な理由がある場合には使っても良い"

[hiromark]

良記事

[akkun_choi]

"SELECT * FROM bigdata WHERE id > ? ORDER BY id LIMIT 10;"

[uokada]

最初からsolrに持っていったほうがいい気もするな

[lesamoureuses]

ほんとそう “自分以外の誰かがメンテナンスをする事になった時に、その誰かが良くわからないでコピペで新機能を作ってしまう、その新機能がわりとデカイデータを取り扱う仕様だった！ という状況は日常”

[tarao]

OFFSET使わないとSEO的につらそう、「次のページ」と「前のページ」でパラメータ名を変えないといけなくてややこしい、というあたりの解決が待たれる

[itochin2]

とてもわかりやすかった。