プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
全国民に配るべき！総務省が示した「データ入力の統一ルール」｜Excel医ブログ
2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口（e-Stat）」で本日から１２月１日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020
正確でカスタマイズ可能な日本の祝日・休日判定処理を求めて | DevelopersIO
はじめに 業務システムで、曜日の判定はできても、祝日・休日の判定が難しいと思うことないですか。今年は特に、平成最後の年ということで祝日がイレギュラーですよね。 以前開発していたAlexaスキルで、祝日・休日の判定が必要な場面がありました。"JavaScript 祝日判定"などのキーワードで検索すると、『国民の祝日に関する法律』を基に祝日の判定処理をハードコードしたnpmパッケージやサンプルプログラムがたくさん見つかりますが、以下の点で問題がありました。 今年のような祝日の例外に対応できない 事業所休業日の反映など、お客様のご要望に合わせたカスタマイズができない 継続的な運用(情報の更新)が難しい これらを満たせる祝日・休日判定処理の実装と運用方法を考えてみました。 祝日データの取得 まずは、今年のような例外にも対応した、正確な祝日のデータが必要です。 祝日に関する事務を所掌するのは内閣府大
CSVのためのSQLライクなクエリ言語 – csvq – を試してみた #csvq | DevelopersIO
今朝方、CSVに対してSQLを実行できる「csvq」というライブラリを知りました。業務の関係で快適にCSVを操作する方法を求めていたこともあって、操作感等含めて試してみました。 mithrandie/csvq 特徴 関係するオプションも合わせて表記してみました。 標準のデリミタがコンマ--write-delimiter 出力先指定オプションがある --out 色つけできる --color 標準で罫線がついてる--format タイムゾーンの設定ができる --timezone 手軽に対話シェルとして実行できる Ambiguous Character を全角文字の幅で表示可能--east-asian-encoding ゼロ幅スペースを半角文字としてカウント--count-format-code 改行コードを指定可能--line-break CSVに対して各種操作を行う際に、あると助かるオプショ
Ruby 2.6.0とより高速なcsv - 2018-12-25 - ククログ
Rubyの標準添付ライブラリーのcsvをメンテナンスしている須藤です。 歴史 csvは名前の通りCSVを読み書きするための便利ライブラリーです。 もともとRuby本体とは別に開発されていたのですが、Ruby 1.8.0のときにRuby本体にバンドルするようになりました。dRubyやREXMLがRuby本体にバンドルされたのも同じタイミングです。Ruby 1.8.0のときにバンドルするライブラリーをすごく増やしたのです。（その頃の様子がわかるURLをここに置いておきたかったけど見つけられなかった。。。） Rubyではcsvのようにrequireするだけで使えるライブラリーを「標準添付ライブラリー」と呼んでいます。Stringのようにrequireしなくても使えるライブラリーは。。。なんだろう。組み込みクラスかしら。 その後、Ruby 1.9.0のタイミングで実装をFasterCSVに置き換え
TextQL - CVSファイルに対してSQLを実行できるコマンドラインツール | ソフトアンテナ
CSVファイルやTSVファイルはさまざまなデータを格納できるデータベース的な構造を持つテキストファイルですが、データベースで使用できる便利なSQL言語は使用することができません。 表計算ソフトに取り込んでデータを活用することはできるものの、SQLに慣れ親しんだ方ならば、SQLを使って直接作業したいと思った経験のある方も多いでしょう。 本日紹介する「TextQL」はこのアイデアに基づいて開発されたコマンドラインツールです。サンフランスのソフトエンジニアPaul Bergeron氏によって作成されたGo言語製のオープンソースソフトとなっています。 SQLiteでCSVファイルを取り込んでも同じような作業が可能ですが、次に示すような違いがあるとのことです。 sqliteインポートは標準入力を受け取らずUNIXパイプを破壊する textqlはクオートでエスケープされたデリミタをサポートする tex
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
JavaScript CSV -> ObjectArray - Qiita
CSV(文字列)をObject配列に変換します 前提 個人的にライブラリに頼れるなら頼ったほうが良い派です。 勉強のためにとかライブラリ使えないだとかそういった感覚で読んでいただけると 2016年に書いたソース&記事みたいなので、リファクタ&リライト？してみました。
pythonでcsvを読む方法 - 標準ライブラリ, pandas, numpy - minus9d's diary
pythonでcsvを読み込む方法についてまとめました。ライブラリによって微妙に読み込み方が異なるので大変です。 この記事では、以下のdata.csvを読み込む場合を考えます。最初の行がヘッダ行で、それ以降の行がデータ行です。 a,b,c 2,5.6,1 1,7.0,0 3,6.2,1 3,7.9,1 方法1: 標準ライブラリのcsvを使う方法 csv.readerオブジェクトを使って一行ずつ読んでいく方法です。ヘッダ行の部分を特別扱いする必要があります。 import csv def open_with_python_csv(filename): data = [] with open(filename, 'r') as filename: reader = csv.reader(filename) # ヘッダ行は特別扱い header = next(reader) # 中身 for r
Pythonの基礎 ファイル(CSV)を読み込む編 - Pythonの学習の過程とか
PythonでCSVファイルを読み込んでみる テキストファイルに続き、CSVファイルを読み込んでみます。 CSVはカンマ区切りのテキストですから、テキストファイルと同じように読み込めばいいのですが、CSV用に便利なモジュールが用意されています。 その名もズバリ、"CSV" では公式ページの参考にして、簡単な例をあげてみましょう。 #今回のCSVの中身 カンマで区切ったデータです。 1,11,111,1111,11111 2,22,222,2222,22222 3,33,333,3333,33333 4,44,444,4444,44444 #coding:utf-8 import csv #csvモジュールをインポートする f = open('data.csv', 'rb') dataReader = csv.reader(f) for row in dataReader: print ro
CSVからモデルオブジェクトを生成する際に気をつけたこと - クックパッド開発者ブログ
こんにちは、クックパッド編集室の加々美です。 現在、食や暮らしのトレンドを発信するメディアであるクックパッドニュースの開発に携わっています。 クックパッドニュースは、1週間に100本以上の記事を配信しています。 このように比較的多くの記事コンテンツを作成する際、記事の基本的なパラメータ(例えば配信時間や記事の執筆者)をWebアプリケーション上で一つ一つ設定して記事を作成するのは時に煩雑な作業になりがちで、特に編集スタッフにとっては、スプレッドシート上で記事のパラメータを設定できた方が分かりやすく、作業がより確実になる場合があるかと思います。 (また、スプレッドシートであれば楽に複数人で編集できるというメリットもあります) 今回は、スプレッドシートからエクスポートしたcsvを用いて、モデルオブジェクトを生成する際に気をつけたことを紹介します。 ※ 本稿ではGoogle Driveのスプレッド
python で csv, tsvデータを行列に変換する - MovieLensを例に - Qiita
pythonで機会学習入門中です。 どのようなアルゴリズムを扱うにせよ、csvあるいはtsv形式のサンプルデータを行列に変換することは必須になるので、いくつか方法を調べてみました。 今回、サンプルデータは協調フィルタリングのベンチマークで最もよく使われると言われている MovieLens Dataset のうち 100K のもの MovieLens 100K Dataset を用います。 MovieLens Dataset Datasetについて詳しくは README を読めばいいんですが、主に使うのは u.data になるかと思います。 user_id, item_id, rating, timestamp の 4カラムのtsvです。 196 242 3 881250949 186 302 3 891717742 22 377 1 878887116 244 51 2 880606923
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows/Mac/Linux対応のシンプルなタブ切り替え型CSVエディター「CSV+」が公開／作者のWebサイトから無償でダウンロード可能
【Excel】CSVファイルをダブルクリックするのは絶対NG！CSVファイルはPower Queryで取り込みましょう【いまさら聞けないExcelの使い方講座】
CSVやプレーンテキストのデータをJSONやMarkdown等に変換できるOSSなコンバーター・「Mr. Data Converter」
pythonでcsvファイルに書き込みするところで、ちょっと間違えた結果納期に間に合わなかった話 - Qiita
CSVファイルを読み込むNode.jsモジュールを作ってみよう
csv.js: ES5 規定の JSON と同じインターフェースを持つCSVパーサ
PC
CSVファイルフォーマットの解説：CodeZine
