PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧：AI・機械学習のデータセット辞典 機械学習やディープラーニング用の主要ライブラリが提供する「画像／音声／テキストなどのデータセット」の名前とリンクを表にまとめ、典型的な使い方を簡単に紹介する。 連載目次 本連載「AI・機械学習のデータセット辞典」では、ここまで主に、scikit-learnやKeras／TensorFlow（tf.keras）、TensorFlow Datasets、PyTorchといった主要なPythonライブラリに共通的に含まれる代表的なデータセットを紹介し、各ライブラリでの典型的な実装コード例を示してきた。しかし、これらの全ライブラリに共通的に含まれているデータセットはまれで非常に少ない。よってこれからは、個々のライブラリに1つしか含まれていないようなこまごまと
【PyCaret入門】機械学習を自動化するライブラリ「PyCaret」を入門する - Qiita
PyCaretとは つい先日Announcing PyCaret 1.0.0という記事を拝見しました。 面白そうなライブラリだったため、この記事では、実際にPyCaretの使い方を解説していきます。 PyCaretとは、機械学習のモデル開発においてデータ前処理や可視化、モデル開発を数行のコードで出来てしまうPythonのライブラリです。 PyCaretはいくつかの主要な機械学習ライブラリ（scikit-learn, XGBoost, LightGBMなど）をPythonでラッパーしたものです。 分類や回帰、クラスタリング、異常検知、自然言語処理が扱えます。 言わば、PyCaretは、DataRobotの無料版のようなイメージです。 基本的に、前処理、モデリング、性能評価、チューニング、可視化まで一通り出来るそうです。 さらに、スタッキング等も出来ます。 （時系列解析やLog lossなどの
Python: アンサンブル学習の Voting を試す - CUBE SUGAR CONTAINER
今回は機械学習におけるアンサンブル学習の一種として Voting という手法を試してみる。 これは、複数の学習済みモデルを用意して多数決などで推論の結果を決めるという手法。 この手法を用いることで最終的なモデルの性能を上げられる可能性がある。 実装については自分で書いても良いけど scikit-learn に使いやすいものがあったので、それを選んだ。 sklearn.ensemble.VotingClassifier — scikit-learn 0.20.2 documentation 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.1 BuildVersion: 18B75 $ python -V Python 3.7.1 下準備 まずは今回使うパッケージをインストールしておく。 $ pip insta
scikit-learn-contrib の Metric Learning を試す - u++の備忘録
Metric Learning について Metric Learning は、データの教師情報を基にデータ間の距離や類似度などの Metric を学習する手法です。日本語で手軽に読める記事だと、*1, *2 などが詳しいです。 このたび、phalanx さんの tweet *3で、 Metric Learning の基礎的なアルゴリズムのいくつかが scikit-learn-contrib *4に搭載されていると知りました。 本記事では、scikit-learn-contrib の metric-learn パッケージを用いて、簡単にMetric Learning を試します。 インストール README や PyPI *5 に記載のある通り、次の通りにインストールします。 pip install metric-learn 利用するデータセット 今回は、sklearn に含まれている lo
Python: scikit-learn の Dummy{Classifier,Regressor} を試してみる - CUBE SUGAR CONTAINER
つい最近 scikit-learn に DummyClassifier と DummyRegressor という実装があることを知ったので試してみた。 これらの実装は、説明変数の内容は使わず、主に目的変数の内容を代わりに使って、その名の通りダミーの結果を返す。 特定のデータセットと評価指標を使ったときの、最低ラインの性能を確認するのに便利そう。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.5 BuildVersion: 18F132 $ python -V Python 3.7.3 下準備 まずは scikit-learn をインストールしておく。 $ pip install scikit-learn DummyClassifier DummyClassifier は、その名の通りダミーの分類器となる。
機械学習を使って630万件のレビューに基づいたアニメのレコメンド機能を作ってみよう（機械学習 k近傍法 初心者向け）
「この商品を購入したお客様はこちらも一緒にお買い上げいただいてます」「このビデオを見た方はこちらも見てます」。このよう�なオススメをされた経験はありませんか？これらは、「レコメンド機能（レコメンドエンジン）」と呼ばれるもので、近年ではインターネット上の様々なECやサービスで使われています。 レコメンド機能ですが、実にありとあらゆる業種で活用されています。 商品（EC） 映画 音楽 ニュース 動画 …その他多数 今回の機械学習初心者向けチュートリアルでは、k近傍法（K-nearest neighbor）というアルゴリズムを利用して、アニメのレコドメンド機能をPythonを使って一緒に構築してみましょう！ レコメンド機能（エンジン）とは？ まずは、このレコメンド機能とは何かについて一緒に紐解いていきましょう。レコメンド機能とは、データを活用して顧客やユーザーに「お勧め」を提供する情報フィルタリ
sklearnでナイーブベイズによるテキスト分類にチャレンジ - Qiita
実践 機械学習システム の第6章にナイーブベイズによるテキスト分類事例があったので、自分でもチャレンジしてみます。 やること sklearnのデータセット 20newsgroups を sklearn.naive_bayes.MultinomialNB 使ってカテゴリ分類します。 CountVectorizer を利用して、 ドキュメントを単語出現頻度の行列に変換する MultinomialNB を利用して、ナイーブベイズ分類器を学習させる テストデータによる検証を行う という流れになります。 実装 ストップワードの設定以外は全てデフォルトのままです。 import numpy as np from sklearn.datasets import fetch_20newsgroups from sklearn.naive_bayes import MultinomialNB from sk
sklearn.model_selection.ShuffleSplit — scikit-learn 0.20.0 documentation
sklearn.model_selection.ShuffleSplit¶ class sklearn.model_selection.ShuffleSplit(n_splits=10, *, test_size=None, train_size=None, random_state=None)[source]¶ Random permutation cross-validator Yields indices to split data into training and test sets. Note: contrary to other cross-validation strategies, random splits do not guarantee that all folds will be different, although this is still very lik
「実践力を身につけるPythonの教科書」の「Scikit learn」でエラーが出たので対処した話｜てくてくぷれいす
環境macOS Mojave(10.14) pyenv Python3.6.7 scikit-image 0.14.1 scikit-learn 0.20.0 scipy 1.1.0 スポンサーリンク impをimportlibへ書き換えるまずはエラーの全文を見てみましょう． /Users/USERNAME/.pyenv/versions/3.6.7/lib/python3.6/site-packages/sklearn/externals/joblib/externals/cloudpickle/cloudpickle.py:47: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses impo
Python: scikit-learn のロジスティック回帰を使ってみる - CUBE SUGAR CONTAINER
最近、意外とロジスティック回帰が使われていることに気づいた。 もちろん世間にはもっと表現力のある分類器がたくさんあるけど、問題によってどれくらい複雑なモデルが適しているかは異なる。 それに、各特徴量がどのように働くか重みから確認したり、単純なモデルなのでスコアをベンチマークとして利用する、といった用途もあるらしい。 今回は、そんなロジスティック回帰を scikit-learn の実装で試してみる。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.6 BuildVersion: 17G65 $ python -V Python 3.6.6 $ pip list --format=columns | grep -i scikit-learn scikit-learn 0.19.2 下準備 まずは scikit-
pythonでgensim+scikit-learnを使って文書分類してみた - Qiita
はじめに 文書分類をしたくなったが、fasttextによる自動分類が思ったように上手くいかなかった その理由は教師データの件数が少なかったかもしれないと考えた 少ない教師データでも上手くいく自動分類が欲しい 少し調べてみたら、gensim+scikit-learnでも分類できそうなので、そちらも試すことにした 前提 Windows 10 pro バージョン1803 Windows Subsystem for Linux(WSL)版ubuntu バージョン8.04 LTS (Bionic Beaver) Python 3.6.5 :: Anaconda, Inc. gensim==3.5.0 scikit-learn==0.19.1 mecab-python3==0.7 全体の流れ Linuxを用意する pythonを入れる 日本語コーパスを手に入れる 日本語パーサを入れる 分類ライブラリを
K-meansクラスタリング - Qiita
2016年に作った資料を公開します。もう既にいろいろ古くなってる可能性が高いです。 本実習では教師なし学習の一種であるK-meansクラスタリングを行ないます。 K-means とは何か、知らない人は下記リンク参照↓ K-平均法のアルゴリズム クラスタリングの定番アルゴリズム「K-means法」をビジュアライズしてみた まずはサンプルデータの取得から # URL によるリソースへのアクセスを提供するライブラリをインポートする。 import urllib # ウェブ上のリソースを指定する url = 'https://raw.githubusercontent.com/maskot1977/ipython_notebook/master/toydata/SchoolScore.txt' # 指定したURLからリソースをダウンロードし、名前をつける。 urllib.urlretrieve(u
Pythonでのカテゴリ変数(名義尺度・順序尺度)のエンコード(数値化)方法 ～順序のマッピング、LabelEncoderとOne Hot Encoder～ - Qiita
Pythonでのカテゴリ変数(名義尺度・順序尺度)のエンコード(数値化)方法 ～順序のマッピング、LabelEncoderとOne Hot Encoder～Pythonscikit-learnpandas前処理 カテゴリデータの前処理 性別や血液型、郵便番号などの名義尺度、サイズや階層、評価など順序に意味のある順序尺度はカテゴリデータと呼ばれる。データ分析や機械学習アルゴリズムに使用するためには、数値化しなければならないので、そこらへんのやり方をまとめておく。 全コードはこちら https://github.com/uratatsu/categorical-encoding 順序尺度の数値化 ファーストフード店の飲み物のサイズ 「L>M>S」 などは順序に意味があるため、順序尺度となる。カテゴリデータのなかでも、順序尺度については S ⇒ 1 M ⇒ 2 L ⇒ 3 として、わかりやすく数
Scikit learnより グリッドサーチによるパラメータ最適化 - Qiita
Grid search とは scikit learnにはグリッドサーチなる機能がある。機械学習モデルのハイパーパラメータを自動的に最適化してくれるというありがたい機能。例えば、SVMならCや、kernelやgammaとか。Scikit-learnのユーザーガイドより、今回参考にしたのはこちら。 3.2.Parameter estimation using grid search with cross-validation Example:Parameter estimation using grid search with cross-validation やったこと 手書き数字(0~9)のデータセットdigitsをSVMで分類 GridSearchCVを使って、交差検定でハイパーパラメータを最適化 最適化時のモデルの評価関数にはf1を使用 データの準備 手書き数字のdigitsをインポ
scikit-learnでtf-idfを計算する - Qiita
この投稿は現実逃避アドベントカレンダー2013の4日目の記事です。 2日目の記事でBing APIを使ってフェッチしたhtmlを使うので、2日目を先に読んでおくと理解しやすいです。 本稿を3行でまとめる scikit-learnというPythonのライブラリを調べた 2日目で保存したhtml内の語のtf-idfを計算した 語とtfidfのマッピングを確認した 参考 scikit-learn公式、テキストの素性抽出ドキュメント scikit-learnを使ってTweet中の単語のtfidf計算 完成品 Fork me! 理論 tfidfの定義 tf-idfは tf * idf の値。あるドキュメント（文書）集合において、あるドキュメントの、ある単語につけられる。tf-idfが高い語は重要と考えることができる。情報検索において、語への重みづけに使える。 tf (Term Frequency)は
バックエンドエンジニアがscikit-learn入門しました【教師なし学習編】 - Qiita
はじめに 機械学習ライブラリのデファクトスタンダード的存在であるscikit-learnの"教師なし学習"とその定量的評価手法をまとめる。 数学レベルでの理解は途中で挫折したため、まずはライブラリから概要を理解しようと思いまとめました。 教師あり学習編はこちら 前処理編はこちら 教師なし学習とは 教師なし学習とは、入力データのみが与えられ正解ラベルがない状態で学習を行う手法である。 教師なし学習を使う場面は以下。 正解ラベルを用意できないケース 教師あり学習や他の教師なし学習の前処理をするケース データを可視化するケース データをなんとなく理解したいケース 教師なし学習は、次元削減とクラスタリングの2つの大きなタスクに活用される。 次元削減 次元削減とは、データを表現する特徴量の数（次元数）が多すぎる場合に、その特徴量の数を減らすことである。 本記事では、アルゴリズムとして以下をまとめる。
バックエンドエンジニアがscikit-learn入門しました【精度を高めるための前処理編】 - Qiita
はじめに 機械学習ライブラリのデファクトスタンダード的存在であるscikit-learnの"精度を高めるための前処理"をまとめる。 数学レベルでの理解は途中で挫折したため、まずはライブラリから概要を理解しようと思いまとめました。 教師あり学習編はこちら 教師なし学習編はこちら 前処理とは 本記事で対象とする"前処理"は、scikit-learnに入力データを食わせるためにデータをNumPy配列(多次元配列)に変換する方法ではなく、NumPy配列データに対して精度を向上させるための処理のことを指す（一部one-hot-encodingは除く）。したがって、本記事でまとめる前処理を実施しなくてもひとまずは機械学習アルゴリズムを動かせる。しかし、実際の業務や研究では精度を求めることは必須なので、そのステージにあれば本記事は役立つかと思います。 前処理は、データの全ての特徴量に実施するのではなく一
Pythonでベイズ最適化を使ってハイパーパラメータを探索するライブラリ実装のメモ - Qiita
はじめに ベイズ最適化(参考：ベイズ最適化入門, 機械学習のためのベイズ最適化入門)を使うと、機械学習の時の各種Try&Errorで決めざるを得ないようなハイパーパラメータの探索を効率よく実施できる可能性があります。 考え方などは最近色々解説記事が増えてきたおかげで理解はできるのですが、GridSearchのライブラリみたいな形ではWeb上で見つけられなかったので、今回作りました。きっと車輪の再発明なのだと思うのですが、まあ再発明は勉強にはなるので良しとします。 今回使っている各種Version Python3.5 numpy==1.11.1 scikit-learn==0.17.1 コード from itertools import product from sklearn.gaussian_process import GaussianProcess # The MIT License
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
scikit-learnのモジュール全部説明する - Qiita
scikit-learn 0.20 | sklearn.model_selection.ShuffleSplit - 解決方法