Python で大量のファイルを並列で速く読み込む - Qiita
from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 columns = [f'col{i}' for i in range(col_n)] for i in range(10000): df = pd.DataFrame(np.random.randn(row_n, col_n), columns=columns) df.to_csv(f'data/{i:04}.csv',
『Pythonデータサイエンスハンドブック』は良書（NumPy, pandasほか） | note.nkmk.me
この本は良い。原著のKindle版を持っているのに買ってしまった。 注意点と良い点を紹介する。 目次・内容 注意点 / こんな人にはオススメできない 英語版はオンラインで無料公開されている Pythonの基礎には触れられていない 良い点 / こんな人にオススメしたい NumPyの説明が（比較的）詳しい 新しいバージョンのpandasに対応 Matplotlibの説明が詳しく、サンプルが豊富 機械学習のアルゴリズムへの理解が深まる 類書との比較 『科学技術計算のためのPython入門』 『Pythonによるデータ分析入門』 まとめ 目次・内容 正式な書名は『Pythonデータサイエンスハンドブック ――Jupyter、NumPy、pandas、Matplotlib、scikit-learnを使ったデータ分析、機械学習』。 サブタイトルにある、Jupyter（IPython）、NumPy、pa
まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita
ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
