[B! CSV][Rails] shozzyのブックマーク

Railsで大量データを扱うときに気をつけていること - LCL Engineers' Blog

バックエンドエンジニアの横塚です。 Railsで中規模以上のサービスを運用していると、大量のレコードやcsvをバッチで処理したい場面などが出てくると思います。当たり前のように意識できている人も多いかと思いますが、今回はおさらいの意味も込めてバッチで大量データを扱うときに気をつけていることをまとめていこうと思います！大量レコードに対して処理をするときはfind_eachやfind_in_batchesを使う DBからデータを取得してきて処理をしたい場合、eachで処理しようとすると対象データがすべてメモリに展開されてしまいますが、find_eachは1行ずつメモリに展開するため、レコード数を気にせず処理をすることができます。 User.each do |user| # なんか処理 end ↓ User.find_each do |user| # なんか処理 end また、find_in_

shozzy 2020/01/18

Rails
CSV

リンク

Railsアプリの処理を100倍以上に高速化して得られた知見 | Recruit Tech Blog

はじめまして。2019年4月から妊娠・出産アプリ『Babyプラス』の開発チームにJOINした濱田です。『Babyプラス』のバックエンドはRailsで実装されているのですが、とあるCSV生成処理がとても遅かったので100倍以上に高速化しました。この過程でRailsアプリの処理高速化に関する以下の知見が得られたので、具体例を交えて共有します。この知見は、ActiveRecordを使用してMySQLなどのRDBMSからデータ抽出をする様々な場面で活用できると思います。いわゆる「N+1問題」を起こさないのは基本「ActiveRecordインスタンスの生成コスト」はそれなりに高い pluckはjoinsと組み合わせることで他テーブルのカラム値も取得できる前提: DBスキーマとデータ規模今回の処理高速化に関わるモデルのDBスキーマとデータ規模は以下の通りです。なお、これらは本エントリ向けに少

shozzy 2019/08/05

リンク

Ruby on RailsでCSV一覧出力する３つの方法 - TIS ENGINEER NOTE

ユーザーが画面に表示されている一覧情報をダウンロードしたい、という場合によく使われるのがcsv形式。 Ruby on Railsでcsv出力をしようとして、情報を集めていると色々な実装手順を見かけました。使っているライブラリなどはほとんど変わらないのですが、実装箇所が異なっているので、ちょっと混乱してしまいました。今回は自分が調べた結果のまとめとしてRuby on Railsでcsv出力を行う際の３つのアプローチをご紹介していきます。前提基本的にRubyのライブラリであるCSV.generateを利用します。もっともシンプルにcsvの出力を行えます。名前(name),説明(description),価格(price)という情報を持った製品(product)モデルのデータを表示させるとしましょう。 csv_data = CSV.generate do |csv| csv_column

shozzy 2019/01/10

Rails
CSV

リンク

Rails で動的にテーブルを作成して、大きな CSV のデータをインポートする方法 | feedforce Engineers' blog

こんにちは！SQL 大好き kano-e です。「データ更新のたびに新規にテーブルを作って、そこにデータを投入したい」とか。「お客様を DB に登録したら、合わせてそのお客様専用のテーブルを作っておきたい」とか。「とにかくこの CSV の内容を DB に投入したい、10万件」とか。こんな状況、意外と遭遇していませんか？この記事では、そんな時に多分役立つ「Rails で動的にテーブルを作成して、大きな CSV のデータを PostgreSQL にインポートする方法」について、思いつくままにまとめてみました。合わせて読みたい「動的に作成したテーブルを db/schema.rb に含めない方法」のおまけ付きです。はじめにこの記事では、以下の内容についてまとめています。 Rails で動的にテーブルを CREATE/DROP するテーブルに対応するモデルを用意せずに SQL を組

shozzy 2018/12/12

動的な処理の参考

Rails
CSV

リンク

CarrierWaveでファイルのアップロードをテストしたいときは

今北産業・ここにあるようにfixture_file_upload railsを使うと良い｡・このやり方は効果がない・Paramにファイルパスをじかに渡すとCarrierWaveが You tried to assign a String or a Pathname to an uploader, for security reasons, this is not allowed. と出て受け取ってくれない経緯 CSVファイルをアップロードして､その内容をDBに登録し､データに操作をくわえて､CSVファイルを吐き出す｡という業務用のCSV編集アプリをRailsでつくろうとしてました｡ CarrierWaveをいれて､CSVをアップロードしてやるためにコントローラーをつくりました｡ def import @uploaded_file = CsvUploader.new @uploade