Re: Goでcsvを操作するための基本的な知識
はじめに Println で標準出力してみると以下のように表示されるかと思います。（SHIFT-JIS形式なのでmacでみると文字化けしていますがひとまず置いておきます） 日本では一般的に CSV ファイルは Shift_JIS でエンコードされている事が多いです。Go 言語は内部のエンコーディングが UTF-8 なので、Shift_JIS な CSV ファイルを読み込むと文字化けします。 そこで便利なのが エンコーディングの変換は golang.org/x/text/transform が便利です。このパッケージと、golang.org/x/text/encoding/japanese を使う事で、os.Open で開いたファイルがさも初めから UTF-8 であるかの様に扱う事ができます。 どんな風に扱うか japanese パッケージには japanese.ShiftJIS や jap
Apple MusicのプレイリストをCSVで保存するショートカット - iPhone Mania
Apple MusicのプレイリストをCSV形式で保存できるiOS用ショートカットが公開されました。CSVから読み込むショートカットも公開されています。 Apple MusicのプレイリストをCSVで出力 Apple Musicでは、数多くのプレイリストが公開され、収録されている楽曲が頻繁に入れ替わっています。 このプレイリストを保存しておきたい！という場合や、Apple Musicを退会後に他のサービスで同様のプレイリストを再現したい場合に役立つショートカットを、iOSアプリ開発者のApp Shack氏（@ZuwFNRuFlGZ6Ivc）が作成、公開しています。 利用手順はこちら ショートカットは、App Shack氏のブログ（記事末尾のリンク（1）参照）に掲載されているリンクからダウンロードします。 初期設定だと、リンクをクリックした際に「”プレイリストをエクスポート”を開けません」と
Geolonia 住所データ
Skip to the content. Geolonia 住所データ 全国の町丁目、大字、小字レベルの住所データ（277,543件）をオープンデータとして公開いたします。 本データは、国土交通省位置参照情報ダウンロードサービスで配布されている「大字・町丁目レベル位置参照情報」をベースとしていますが、「大字・町丁目レベル位置参照情報」データは年に一回更新であるのに対して、本リポジトリで配布するデータは毎月更新しています。 latest.csvをダウンロード latest.dbをダウンロード リリースノート 住所データ仕様 ファイルフォーマット latest.csv: CSV latest.db: SQLite3で読み込めるバイナリ形式 列 都道府県コード 都道府県名 都道府県名カナ 都道府県名ローマ字 市区町村コード 市区町村名 市区町村名カナ 市区町村名ローマ字 大字町丁目名 大字町丁目
【ExcelとCSV】本気で理解したい初心者のためのCSV勉強会資料 - わえなび ワード＆エクセル問題集 waenavi
エクセルでCSVを保存？ 変換？ CSVファイルをエクセルで開くと壊れる？？ 仕事でCSVファイルを扱うことがあります。しかし、「CSVの意味」を本気で教えてくれる人はなかなかいません。それは、「CSV」を本質的に理解するには、その前提となる知識が必要で、仕事中にそんな面倒くさい説明をするヒマがないからです。 今回は、本当にCSVのことを知りたいのに誰も教えてくれないとお悩みの初心者の皆さんのために、CSVとは何か、を徹底的に解説します。 「リスト形式とCSV」完全マスターシリーズ（この記事は第２回です） ８個の基本パターンで完全習得「リスト形式」の教科書 本気で理解したい初心者のためのCSV勉強会資料 CSVファイルとExcelの関係を本気で理解するための確認テスト10問 初心者のためのCSV取り込み事例演習教材（勉強会資料） 初心者が「CSVで保存してアップ」を理解するのは意外と難しい
CSVの処理で使えそうなコマンドラインツール（column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview） - もた日記
column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。 以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi
Excelで開くと文字化けするCSVファイルへの簡単な対応方法
CSVファイルをダブルクリックでExcelで開くと、下の画像みたいに文字化けしてることありますよね。 文字化けしたCSVをエクセルで開いた状態 このファイルをちゃんと見れるようにするには、 Windowsのメモ帳で開いて保存しなおす Excelの外部データの取り込みを使う（Excel2013まで） Excelのデータと取得と変換を使う（Excel2016以降、または、Microsoft 365） CSVファイルをWindowsのメモ帳で開いて保存しなおす 僕はいつもこの方法でやってます。一番簡単です。 Windowsのメモ帳で文字化けするCSVファイルを開いて、「ファイル（F）」>「名前を付けて保存（A）」をクリック。 Windowsのメモ帳で名前を付けて保存 名前を付けて保存のウィンドウで、文字コードが「UTF-8」になってると思います。「UTF-8（BOM付き）」に変えて「保存」してく
DB Browser for SQLite
DB Browser for SQLite The Official home of the DB Browser for SQLite Screenshot What it is DB Browser for SQLite (DB4S) is a high quality, visual, open source tool to create, design, and edit database files compatible with SQLite. DB4S is for users and developers who want to create, search, and edit databases. DB4S uses a familiar spreadsheet-like interface, and complicated SQL commands do not hav
Cassava Editor - あすかぜ・ねっと
CSVファイルを手軽に作成・編集する Windows 用のソフトウェアです。 テキストエディタと同じような感覚で表形式のデータを編集できます。 マクロ機能や簡易表計算機能をはじめ、編集作業に必要なさまざまな機能を備えています。 ダウンロード 正式版： Ver.2.5.4 (64 bit) (3.47 MB) ／ Ver.2.5.4 (32 bit) (2.28 MB) 開発版： Ver.2.6 β2 (64 bit) (3.05 MB) ／ Ver.2.6 β2 (32 bit) (2.31 MB) 過去のバージョン： Ver.2.5.3 (64 bit) (3.47 MB) ／ Ver.2.5.3 (32 bit) (2.28 MB) ／ Ver.2.4.5 (64 bit) (3.45 MB) ／ Ver.2.4.5 (32 bit) (2.26 MB) ／ Ver.2.3.4 (64
EmEditor テキスト エディタ - Unicode、巨大ファイルにも対応する Windows 用テキスト エディタ。Windows 7 完全対応！
EmEditor は、高速・軽量で拡張性のある Windows 用テキストエディター、コードエディター、CSVエディター、巨大ファイルエディターです。64 ビットと32 ビットの両方のビルドが利用可能で、さらに 64 ビット版には SSE2 (128 ビット)、AVX-2 (256 ビット) と AVX-512 (512 ビット) 命令セット用の別ビルドが含まれます。 EmEditor は、すべてのテスト カテゴリで、他のテキストエディターより2倍から187倍も高速です。テキストエディターの速度比較をご覧ください。 米国 ZDNet は、EmEditor が “世界で最も速いテキストエディターがさらに良くなった” と評価しています。 窓の杜は、“もう「Excel」はいらない? 最強 CSV エディター” と評価しています。 サイバー ディフェンス マネージャーの Riccardo Tani
「タブ区切りは CSV じゃなくて TSV だろ」問題がついに解決した
CSV ありますね。カンマ区切りのデータ形式。 なんか根強いファンがいて、どうしてもこの形式のファイルをダウンロードしたりアップロードしたりしたいという要望をよく聞きます。 CSV がほしい理由 これをやりたい理由のひとつとして、Microsoft Excel からエクスポートしたデータを読み込ませたいとか、逆にシステムにあるデータをエクセルで見たいとかいうのがあると思います。あると思いますっていうかほとんどそれじゃないかな。 けどこの場合、カンマ区切りである必要はないんですよね。要するにエクセルとやりとりできさえすればいいわけで。 だったらカンマじゃなくてタブですよタブ。 カンマ区切りをやめてタブ区切りにすると、いろいろいいです。 何もエクスポートしなくても、エクセルの画面で「すべて選択」して「コピー」したら勝手にタブ区切りになってるからそのまま貼っけるだけでいい。 テキストエディタなど
Excel で UTF-8 の CSV ファイルを出力する VBA プログラム - 知に至る病
2014-04-25 Excel で UTF-8 の CSV ファイルを出力する VBA プログラム Excel VBA Excel 標準の機能だけでは UTF-8 の CSV ファイルを出力することができません。 メニューから［名前をつけて保存］すれば CSV 形式で保存することはできるのですが，残念ながらエンコーディングを指定することができません。 ワークシートを CSV 形式で保存した場合，エンコーディングは強制的に Shift_JIS になってしまいます。 Excel で UTF-8 の CSV ファイルを出力するには VBA を使います。 ADO（ActiveX Data Objects）の ADODB.Stream オブジェクトを利用すれば，エンコーディングを指定してデータを読み書きすることができます。 ただし，この方法で UTF-8 のデータを出力すると BOM が付加される
CSVテキストをMarkdown形式のテーブルに変換するツールをつくった
Markdown形式のテーブル記法をいつまでたってもうろ覚えで、毎回検索したり、変換サイトにアクセスするのが面倒だったのでツールをつくりました。嘘です。Go書きたかっただけです。 使い方 CSVテキストを標準入力から受け取って整形済みのMarkdown形式テーブルを出力します。 $ mdt < hoge.csv | headerA | headerB | | ------- | ---------------------- | | short | very very long content | 連携 コマンドラインツールなので、pbpasteやAutomatorと組み合わせて好きなように使えます。 以下は、Automatorのサービスとして登録したmdtをGitHubのIssue作成時に呼び出している様子です。 便利っぽい。 機能 CSV/TSVに対応 タブ区切りにも対応しているのでエク
それでも独自のCSVを書くつもりですか？ | POSTD
一部誤訳の指摘があったため、修正しました！ご迷惑おかけして申し訳ございません！ あなたは自分でCSVを書いてみたいですか？ フィールドはコンマで区切り、行は改行で分けます。簡単ですよね。数行書けば勝手が分かるというものです。 でも、ちょっと待ってください。 フィールド内にコンマがある場合は？ ダブルクォート（”）で、該当のフィールドを囲みましょう。簡単ですね。 では、ダブルクォートで囲めるフィールドに例外はあるのでしょうか？ フィールド内にダブルクォートがある場合は？ フィールド内の各ダブルクォートに対して、ダブルクォートを二重化して適用しましょう。そうすれば元のダブルクォートをエスケープすることができます。 なお、二重化したダブルクォートと空フィールドを囲んでいるダブルクォート（ ...,"",... ）を勘違いしないように気を付けてください。 フィールド内に改行がある場合は？ その場合
Win/Mac どちらの Excel でも正しく開ける Unicode な csv の出力方法 - Qiita
2018/11/27 追記 Excel for Mac 2016 のあるアップデートから UTF8-BOM が開けるようになったようです。 https://www.ka-net.org/blog/?p=7764 手元の 16.16.4 で試してみましたが開くことが出来ました。 平和になってよかったですね。 あらまし まず UTF-8 で吐いた csv を Excel で開いてみます。化けます。 仕方がないので BOM をつけてみます。 Win だと正しく開けました！でも Mac で化けます。 それならと UTF-16LE で吐いてみましょう。Win/Mac どちらも化けずに表示されました！これで大丈夫かと思いきやなんとカンマ区切りされず A 列に 1 行まるごと収まっています。死にます。 仕方がないので tsv で出力してみましょう。すごい！ちゃんと表示されています！でも .tsv はデフ
データ作法
[2019-02-04] ざっと改訂した。 [2020-10-03] 最後に追記を設けた。 [2023-10-13] Excelの問題はかなり改良された。詳しくはExcel で CSV ファイルを扱う場合の注意参照。 はじめに 例えば日本の人口は1.26億人であるといった個々の「事実」は自由に伝達できる（著作権法第十条2「事実の伝達にすぎない雑報及び時事の報道は、前項第一号に掲げる著作物に該当しない」）が，事実を集めたデータベースは一般に著作権法で保護される（著作権法第十二条の二「データベースでその情報の選択又は体系的な構成によつて創作性を有するものは、著作物として保護する」）。 政府統計の総合窓口（e-Stat）にはたくさんのデータが収められているが，そのご利用にあたってには「商用目的で複製する場合は、予め個々の情報に関する著作権を有している各府省等までご相談下さい」と書かれており，一定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
GitHub - mithrandie/csvq: SQL-like query language for csv
GitbookでCSVファイルを表示する - Qiita
rakugakibox.net
Product - SmoothCSV