タグ

pandasに関するskypenguinsのブックマーク (4)

  • PandasのMultiIndexについて理解する

    MultiIndexとは MultiIndexでの階層 階層名を指定する 階層の数を指定する MultiIndexの使い方 MultiIndexを作成する MultiIndexのあるDataFrameの要素指定 MultiIndexでのlocを使った要素指定 xs関数を使った途中の階層までの指定 まとめ 参考 PandasのMultiIndexは特異的で見慣れない人も多く、初めてPandasを触る人にとってはかなり戸惑う部分の1つだと思います。 MultiIndexを使いこなせるようになることで、より高度なデータ分析をすることが可能となり、分析対象のデータを柔軟に整形することができるようになります。 記事ではMultiIndexを使いこなせるようにするために、概要と使い方を解説します。 MultiIndexとは 公式ドキュメントでは階層的インデックス(Hierarchical index

    PandasのMultiIndexについて理解する
  • pandasで1000万件のデータの前処理を高速にするTips集 - Qiita

    はじめに 当社にアルバイトに来ていた人(来春に新卒入社の予定)に「pandasを高速化するための情報は無いですか?」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春(2019年4月)にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな

    pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
  • データ分析で頻出のPandas基本操作 - Qiita

    はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 頁では、データ処理の基ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…!、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対

    データ分析で頻出のPandas基本操作 - Qiita
  • ゆるふわPandasチートシート - Qiita

    import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline

    ゆるふわPandasチートシート - Qiita
  • 1