xlsxファイルにSQLを実行するxlsxsql - Qiita
xlsxファイルに対してSQLを実できるxlsxsqlというツールを作りました。 GitHubのxlsxsqlからダウンロードできます。 これは何？ xlsxsqlは、xlsxファイルに対してSQLを実行するツールです。 また、CSV,LTSV,JSON,YAMLといったファイルに対してSQLを実行することもでき、その結果をxlsxファイルに出力することもできます。 trdsqlにxlsxファイルの読み書き機能を追加したものになります。 使い方 単純にファイルをテーブルとして指定できます。 -oまたは-outオプションは出力ファイル形式を指定します。 CSV, LTSV, JSON, JSONL, YAML, TBLN, AT, MD等が指定できます。
Fast CSV processing with SIMD
This article was discussed on Hacker News. I recently learned of csvquote, a tool that encodes troublesome CSV characters such that unix tools can correctly process them. It reverses the encoding at the end of the pipeline, recovering the original input. The original implementation handles CSV quotes using the straightforward, naive method. However, there’s a better approach that is not only simpl
GitHub - lana-k/sqliteviz: Instant offline SQL-powered data visualisation in your browser
Sqliteviz is a single-page offline-first PWA for fully client-side visualisation of SQLite databases or CSV files. With sqliteviz you can: run SQL queries against a SQLite database and create Plotly charts and pivot tables based on the result sets import a CSV file into a SQLite database and visualize imported data export result set to CSV file manage inquiries and run them against different datab
VS Code の使い始めに入れておくと便利な拡張機能 10 選
はじめに この記事では、IT エンジニアである/ないに関係なく、Visual Studio Code (以下、VS Code) をこれから初めて使い始める人が、最初に入れておくと後々便利になるだろうと思われる拡張機能を紹介しています。 拡張機能 (Extension) とは、サードパーティー製の追加機能のようなものであり、誰でも自由に開発・公開することができるようになっているものです。VS Code は無償で提供されているテキストエディタですが、それだけでは不便というユーザーの悩みを解消してくれるものです。 (という立ち位置で存在していた当初でしたが、最近は標準機能のみでも最早テキストエディタという範疇を超えている気がしなくもないです) まだ拡張機能を使い始められていない/使いこなせていないという方は、是非この記事を参考に、VS Code の拡張機能を使い始めるきっかけにしてもらえれば幸い
trdsqlはCSV,LTSV,JSONをDB(PostgreSQL,MySQL)にインポートするツールです
trdsqlはCSV,LTSV,JSONに対してSQLを実行するツールと書いてあって、「PostgreSQLやMySQLに接続できるため、データをインポートする方法もある」と書いてあるため、オマケ的に捉えられているかもしれませんが、専用ツールを上回るくらい便利に使えます。 データをインポートしたい時に、そもそも候補としてすら挙がっておらず、寂しい気持ちがあるのですが、それよりも何よりも、それtrdsqlでサクッと出来ちゃうのに...という場面を度々目にするので、ここで紹介させていただきます。 そもそものtrdsqlの動作 そもそもtrdsqlの動作は、（デフォルトでSQLite3ですが）データベースに、テキストファイルを読み込んで、インポートし、SQLの処理をデータベースにお任せして、処理結果をテキストのいろんな形式に変換する。という動作になってます。 つまり、毎回データベースにテキストフ
Phoenixでシードデータを投入するときにCSVを使いたい - Qiita
概要 動機 表題の通りなんですが、もうひとつ、seeds.exs にまとめて書くんじゃなくて、テーブルごとに Seeder を分割したい、という欲求もあります (ベタに Ecto.Repo.insert!/2 を呼んでもいいし、CSVからロードしてもいいし、YAML使ってもいいし、テーブルごとにストラテジーを変えられるようにもしたいので)。 とにかく Elixir 始めたばかりなので、もっといい方法あるよ、というのがあったら教えていただけると助かります。 環境 Elixir 1.3.1 Erlang/OTP 18 [erts-7.3] Phoenix 1.2.0 やったこと CSVファイルを読んで、行ごとに Ecto.Repo.insert!/2 を実行する ちなみに一般的なやり方は… 調べた限り、priv/repo/seeds.exs に Ecto.Repo.insert!/2 書いてい
SmoothCSV 2 - マクロを備えたJava製のCSVエディタ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました システム開発をしていると、CSVファイルを利用する機会がまだまだあります。面倒だとは思いつつも編集している人は多いのではないでしょうか。しかし、そこでExcelなどを使うと文字種が自動で変換されてしまって予期せぬ不具合に繋がるケースもあります。 そこで使ってみたいのが純粋なCSVエディタです。今回はSmoothCSV 2を紹介します。 SmoothCSV 2の使い方 SmoothCSV 2はJava製のCSVエディタなのでマルチプラットフォームで動作します（最新のバージョン2は現時点ではMac OSXのみサポート）。 普通に文字が書けます。 マクロ機能があり、記録もできます。 ショートカットやコマンドを呼び出せます。 ソート機能。 検索と置換。正規表現もサポートされています。 Sm
シンプルかつ軽量なMac用CSVエディタ「Table Tool」がリリース。
シンプルかつ軽量なMac用CSVエディタ「Table Tool」がリリースされています。詳細は以下から。 Table ToolはオーストラリアのソフトウェアエンジニアJakob Eggerさんらが開発＆公開したMac用CSVファイルエディタで、CSVファイルの編集に特化し、シンプルで軽量なエディタとなっています。 TableTool handles these issues automatically. It detects the specification of a CSV file for you and displays its contents in a table view. Using TableTool is the easy way to create, edit and convert CSV files. Table Tool on the Mac App Store
CSVファイル変換を自動化！nextCSVがEC運営で超便利 - ECサイト構築運営に役立つ情報発信｜モバイルファーストマーケティングラボ
CSVファイル変換を自動化！nextCSVがEC運営で超便利 2016.06.01 2017.07.07 おすすめ 自社ECサイトやモール店舗、また送り状発行ソフト、会計ソフト等と受注データや商品データをやり取りする場合、 CSVでデータを利用することが多いですが、CSVファイルの形式が異なっている場合は、手動で変換し、項目を合わせる作業が発生します。 今回はこのCSVの変換作業を自動化出来るツールをご紹介します。 nextCSV3でCSVの変換を自動化 まずはnextCSV3をダウンロードしましょう。 nextCSV3のダウンロード またnextCSV3のドキュメントは以下にあり、CSVの変換だけでなく、編集などの使い方も網羅されています。 参考：nextCSV3 — nextCSV3 1.0.0 ドキュメント nextCSVでできること nextCSVでは、エクスポートしたCSVファイ
Go言語でCSVの読み書き(sjis、euc、utf8対応) - Qiita
Go言語でCSVファイルの読み書き このサンプルで詰まっている要素 CSVファイル入出力(CRLF、デリミタ指定) 文字コード変換 引数 ログ出力 スライス処理 数値→文字列変換 カラムが2つ以上あるsjisなcsvファイルを用意してください。 /* GOROOT、GOPATHの設定を忘れずに 例) GOROOT=c:\tools\go GOPATH=c:\tools\go PATH=c:\tools\go\bin 最初にパッケージのダウンロードとインストール c:\>go version go version go1.4.2 windows/amd64 go get golang.org/x/text/encoding/japanese go get golang.org/x/text/transform go run csv.go "入力ファイル.csv" "出力ファイル名.csv"
CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
CSV形式のデータをSQLを使って解析する方法 - プログラマの思索
小川 明彦, 阪井 誠 : チケット駆動開発 日本のソフトウェア開発の現場で生み出された「チケット駆動開発」という概念を、数多くの実例を元にモデル化・体系化を試みた最初の本。 小川 明彦, 阪井 誠 : Redmineによるタスクマネジメント実践技法 Redmineによるチケット駆動開発の実践技法に関する最初の本。アジャイルなソフトウェア開発への適用方法、TestLinkによるテスト管理手法についても言及。 清水 吉男: 「派生開発」を成功させるプロセス改善の技術と極意 組込システム開発をベースとして、ソフトウェア開発特有のスタイルである派生開発、特にXDDPについて解説した世界でも稀な本。既存製品を保守するのではなく継続的に機能追加していく昨今の開発では、派生開発特有の問題を意識しなければならない。XDDPはプロセス論だけでなく、要件定義などの上流工程の品質改善にも役立つので注意。 Le
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - multiprocessio/dsq: Commandline tool for running SQL queries against JSON, CSV, Excel, Parquet, and more.
Home
GitHub - TomWright/dasel: Select, put and delete data from JSON, TOML, YAML, XML and CSV files with a single tool. Supports conversion between formats and can be used as a Go package.
「Visual Studio Code」でExcelスプレッドシートやCSVデータを表示「Excel Viewer」 - 窓の杜
Rで解析：データを解析する前におこなっている作業の紹介
Golang : Json to CSV
Golang : Convert CSV data to JSON format and save to file
Golang : Read tab delimited file with encoding/csv package