【初心者】CSVファイルをRedshiftにインポートするまでの軌跡 - Qiita
最初に 今までMySQL workbench を使っていて「RedshiftのテーブルにCSVからインポートするだけ？ 簡単でしょ」と思っていましたが、初心者には低いハードルではありませんでした。。。 エラーとの闘いと完遂までの軌跡を、自分用のメモも兼ねて引っかかった部分をまとめます。 前提 TeratermからEC2にSSH接続 EC2からRedshiftにログイン コピー先のテーブルは "CREATE TABLE" であらかじめ作成済 1. EC2から直接COPYするのが難しかった 最初に試したのは、EC2にCSVファイルを置いて、COPYコマンドで指定する方法でした。ですがパスを指定しても一向に動かない…… ドキュメントを確認したところ、Redshiftにインポートするには データファイルまたは Amazon DynamoDB テーブルから、テーブルにデータをロードします。ファイルは
UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話
UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話 利用シーン UTF-8で記述されたテキストをShift-JISエンコードに変換する機会はあります。 UNICODEで表現できる文字の種類の方がShift-JISに比べて圧倒的に広いのですべての文字が変換できるわけではありませんが、「これは変換できてよかろう」というものまでこぼれ落ちるケースは多数あります。 以下こぼれ落ちる例とその対応を示します。 サンプルコード まずはサンプルコード。 rubyで記述していますが、原理はどの言語でも同じです。 str = "あ～あ①髙島屋パバぱ" sjis = str.encode(Encoding::Shift_JIS, :invalid => :replace, :undef => :replace) File.
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
Ruby標準添付CSVライブラリのCSV::Convertersについて調べてみた - tech-kazuhisa's blog
CSVの書き出しでちょっとやりたいことがあって標準添付のCSVライブラリについて調べてたんだけど、結局標準のままだと出来なそうという結論に至りました。その際にCSV::Convertersについて色々ほじったのでメモがわりに残しておきます。 CSV::Convertersって何？ ドキュメントを読むと「このハッシュは名前でアクセスできる組み込みの変換器を保持しています。」と書かれています。変換器と言われてもどう使えばいいのかピンと来ませんでした。ググッてもサンプルとかあんまり無いし。 とりあえず使ってみる まぁ、こんな感じで使えます。 require 'csv' CSV.parse("2011-11-23,123,456",:converters => :date) do |csv| p csv end 実行すると [#<Date: 2011-11-23 (4911777/2,0,2299
CSV.open で Encoding::UndefinedConversionError になる場合 - Qiita
Ruby 標準添付ライブラリの CSV で Windows-31J (Shift_JIS でも良いけど) な CSV を作っていたのだけれども、特定の文字が含まれていると Encoding::UndefinedConversionError になってしまう。 irb(main):011:0> CSV.open(File.join('/var/tmp/hoge.csv'), 'w', encoding: 'Windows-31J') do |csv| irb(main):012:1* csv << %w( d é f ) irb(main):013:1> end Encoding::UndefinedConversionError: U+00E9 from UTF-8 to Windows-31J irb(main):014:0> CSV.open(File.join('/var/tmp/h
Ruby | BOM付きUTF-8のCSVファイルを出力してExcelで開けるようにする - Tbpgr Blog
概要 BOM付きUTF-8のCSVファイルを出力してExcelで開けるようにする 詳細 BOM付きUTF-8のCSVファイルを出力してExcelで開けるようにします サンプル # encoding: utf-8 class File def self.insert_bom(input_filename, output_filename) src = File.read(input_filename) File.open(output_filename, "w:UTF-8") do |f| src = ' ' + src src.setbyte(0, 0xEF) src.setbyte(1, 0xBB) src.setbyte(2, 0xBF) f.print src end end end file = $*[0] exit unless File.exists? file File.in
RailsでCSV/Excel/OpenOfficeのアップロード機能の実装方法 - Rails Webook
RailsでCSV/Excel/OpenOfficeのアップロード機能の実装方法について説明します。 動作確認 Ruby 2.1 Rails 4.1 Roo 1.13.2 目次 Railsプロジェクトの作成 CSVのインポート機能の実装 Excelのインポート機能の実装 1. Railsプロジェクトの作成まず、Raislのプロジェクトを作成します。 rails new csv_import_test cd csv_import_testそして、必要なコントローラー、ビュー、モデルを作成します。 rails g controller Products index rails g model Product name:string price:integer released_on:date rake db:migrate CSV出力するためのデータを作成します。 # db/seeds.rb
Rails4 csvファイルをアップロードして読み込む - ayaketanのプログラミング勉強日記
ユーザーをCSVファイルから登録したかった。 csvファイルをアップロードして読み込む方法をメモする。 ルーティングの設定 アップロードするCSVファイルの指定画面と、CSVファイルの読み込み処理のルーティングを設定する。 config\routes.rbに下記のように記載する。 resources :users do collection do get 'import_csv_new' post 'import_csv' end end ビューの作成 CSVファイルの指定画面を作成する。 app\viewsにimport_csv_new.html.erbファイルを作成し、下記のように記載する。 ※form_tagでは、multipartを別ハッシュにすること。 <h1>社員登録（CSVファイル）</h1> <%= form_tag({controller: "users", action
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
