Anaconda の NumPy が高速みたいなので試してみた - Morikatron Engineer Blog
こんにちは、モリカトロンでプログラマおじさんをやってる岡島です。 pip install で導入した NumPy と conda install で導入した NumPy とでは内部で使われているライブラリが違い、後者の方が高速だという記事を見つけました。 orizuru.io minus9d.hatenablog.com 要約すると Anaconda と pip では NumPy に使われている数値計算ライブラリが違っている pip が提供する Numpy は OpenBLAS を使っている Anaconda が提供する NumPy は Intel MKL (Math Kernel Library) を使っている 両者を比較すると、Anaconda が提供する NumPy のほうが速い という事みたいです。 今まで僕は Python のパッケージ管理を pip で行ってきましたが、Anac
だから僕はpandasを辞めた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita
データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型
NumPyによるデータ分析入門
NumPyは、配列計算が高速に行えるPythonの数値計算用ライブラリです。科学技術分野を中心に人気が高く、数値計算、データ分析、機械学習に欠かせないツールとなっています。本書ではまず配列の仕組みとその演算をていねいに説明します。続いて、機械学習を理解する上で欠かせない線形代数について、NumPyを使った基本的な演算を行います。これらの準備の後で、実データを使ったデータ分析で機械学習の基礎を学びます。さらにNumPyと一緒によく使われるSciPy、pandas、scikit-learnなどのライブラリとの関係を示して、いくつかの例を紹介します。最後に扱うのは効率化の追求です。本書は、NumPyとそれに関連するPythonの配列と演算についての知識とスキルをコンパクトにまとめているので、NumPyの機能と威力が体感できます。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新さ
【初心者向け】図解でわかるNumPyとデータ表現｜Saya｜note
Jay Alammar氏の記事「A Visual Intro to NumPy and Data Representation」を共訳しました。「実用的な使い方」より前の部分の訳は私が行い、もう片方は上杉周作が行いました。ちなみに原文はCC BY-NC-SAライセンスで公開されているので自由に翻訳できます。この文章も同じくCC BY-NC-SAで公開しています。 NumPyは、Pythonによるデータ分析、機械学習、 科学技術計算において大活躍するパッケージです。NumPyを使うことで、ベクトルや行列の計算がいとも簡単になります。 また、scikit-learn、SciPy、pandas、tensorflowといった人気のパッケージは、NumPyを基にしてつくられています。つまりNumPyをマスターすれば、データの扱いに強くなるだけでなく、NumPyが基になっているパッケージの扱いにも強く
CuPyをOpenCLで動かすフレームワーク ClPy を先行リリースしました - Fixstars Tech Blog /proc/cpuinfo
本日、フィックスターズは、PythonからNVIDIA GPUを使うためのライブラリCuPyをOpenCLでも使えるようにしたClPyをGitHubにて公開しました！ ClPyを使えば、例えばChainerのようなニューラルネットを用いた機械学習を、OpenCLが動くデバイス（例えばAMD Radeonなど）でも動作させることができるようになります。 詳細 CuPyとは、Python上での数値計算におけるで事実上の標準となっているNumPy互換でCUDAを使ったGPGPUが利用できるようにするためのライブラリです。もともとCuPyは、Preferred Networksさんが作っているChainerというニューラルネット用フレームワークをCUDAで動かすためのバックエンドとして統合されていました。現在では分離・独立して、Preferred Networksさん主体で「NumPy互換で動く」
NumpyやPyTorchで使える超便利ツールを作った - シバニャンだニャン！
この記事は，CAMPHOR- Advent Calendar 2018の7日目の記事です． この記事は，NumPyやPyTorchなどの開発に使える「shape_commentator」という便利ツールを使った話です．このツールはpipでインストールできるので，サクッと試してみたい方はGitHubのページに飛んで使ってみてください． 加筆修正(2019/12/12) IPython拡張を追加したことでIPythonやJupyterNotebookでの使い心地が良くなったので，IPythonの例の部分を中心に一部修正しました． はじめに こんにちは．シバニャンです．最近は卒論で画像系の研究をしています． 卒業研究ではNumPyやPyTorchを使ってコーディングしているんですが，今までUnityのコードをC#で書いてVisual Studioのコード補完のぬるま湯に浸かってきた僕とっては，型
Pythonでxy座標上の2点間の距離をforループを使わずに計算する方法 – Shikoan's ML Blog
機械学習でカーネル法やらクラスタリングをやっていると、何かと「2サンプル（点）間の距離」を計算することが多いです。ここではより一般的に「Pythonで2点間の距離をforループを使わずに行列（テンソル）計算として求める方法」を見ていきます。 動機 カーネル法やクラスタリングをしていると、ニューラルネットワークの出力層（潜在空間）に対して、サンプル間の距離を求めるということがよく目にします。ディープラーニングになると損失関数の中で計算しないといけないので、forループが使うのが厳しい、行列（テンソル）計算でなんとかできればめっちゃ嬉しいというシチュエーションがあります。 実はKaggleのとあるカーネルを見ていたら、TensorFlowの場合ですが、行列計算であっさり求めていたので目からうろこでした。今回はTensorFlowではなくNumpyの問題として一般化します。 問題：日本の都市間の
NumPy配列ndarrayとPython標準のリストを相互に変換 | note.nkmk.me
NumPy配列ndarrayとPython標準のリスト型listは相互に変換できる。 リスト型listをNumPy配列ndarrayに変換: numpy.array() NumPy配列ndarrayをリスト型listに変換: tolist() なお、便宜上「変換」という言葉を使っているが、実際は元のオブジェクトはそのままで新たな型のオブジェクトが生成される。 リストをNumPy配列ndarrayに変換: numpy.array() NumPy配列numpy.ndarrayを生成するnumpy.array()の引数にPythonリスト型のオブジェクトを渡すと、リストを元にndarrayが生成される。 import numpy as np l_1d = [0, 1, 2] arr_1d = np.array(l_1d) print(arr_1d) print(arr_1d.dtype) # [
NumPyで使われる多次元配列のデータ構造「ndarray」とは？
Pythonで数値計算を行なうためのライブラリであるNumPyでは、多次元配列を基本的なデータ構造として操作します。この独自のデータ構造を「ndarray」といい、知っておくことでデータ処理の際に高速化や省メモリ化したコードを書けるようになります。今回は『現場で使える！NumPyデータ処理入門』（翔泳社）からndarrayの基礎を紹介します。 本記事は『現場で使える！NumPyデータ処理入門 機械学習・データサイエンスで役立つ高速処理手法』の一部を抜粋し、掲載にあたって編集したものです。 NumPyとは NumPyは、Numerical Pythonの略称で、Pythonの数値計算のためのライブラリです。高速に数値計算ができることが特徴です。 NumPyで使われる主なクラスはnp.ndarrayと呼ばれる多次元を扱う配列です。NumPy配列は、公式ドキュメントでは単に配列と称されることが多
NumPyでの画像のData Augmentationまとめ - kumilog.net
Python Advent Calendar 2017 の 18日目 の記事です。 画像のData Augmentationの手法をNumpy(とSciPy)で実装し、まとめてみました。 使うデータ Data Augmentation Horizontal Flip Vertical Flip Random Crop Scale Augmentation Random Rotation Cutout Random Erasing さいごに DeepLearningで画像分類など画像系の問題に取り組むとき、画像の枚数が精度に大きく影響を与えます。そこで、画像を数を増やすために、画像をちょっと傾けたり、反転させたりと画像を加工したりします。加工して数を増やすことを一般にData Augmentationと呼びます。 Data Augmentationは前処理で使うだけでなく、推論時にも使うこと
のび太と学ぶ「機械学習」【第3話】完成：FX予測プログラム（線形回帰版） - Qiita
本シリーズでは、「FXの予測プログラム」を作りながら、機械学習・ディープラーニングを解説します。 （注）のび太くんは有名漫画のキャラとは一切関係ありません。 この物語は、大学生のび太くんが、家庭教師のすぐるさんから機械学習を学び、将来D-mind社を起業して、汎用人工知能搭載型ロボットを誕生させるまでの記録です。 これまでのお話 のび太くんはiPhone Xを買うために、FX予測プログラムを作成しようと、すぐるさんから機械学習を学び始めました。 第1話：のび太、if文でFXを予想する 第2話：のび太、線形回帰を学ぶ 今回は、前話で学習した線形回帰を利用して、ついにのび太くんのFX予想プログラムが完成します。 （注）本ページを参考にして生じた損益については責任を持てませんので、あしからず。 第3話：のび太、完成：FX予測プログラム（線形回帰版） さて、のび太くん、本日は「線形回帰」を利用した
今日覚えたNumPyのテクニック - くじらにっき++
今日覚えたNumPyのテクニックを紹介します。 numpy.stack で2次元配列を繋げて3次元配列を作る 1次元配列を繋げて2次元配列を作りたいような場合には numpy.vstack や numpy.hstack という関数があります。 a = numpy.array([1, 2, 3, 4]) b = numpy.array([2, 4, 6, 8]) c = numpy.array([3, 6, 9, 12]) numpy.vstack([a, b, c]) # array([[ 1, 2, 3, 4], # [ 2, 4, 6, 8], # [ 3, 6, 9, 12]]) 2次元配列を繋げて3次元配列を作りたいような場合にはどのようにすればよいか知らなかったのですが，numpy.stack という関数があることを知りました。 a = numpy.array([[1, 2, 3
NumPyの使い方（ユニバーサル関数） - abcdefg.....
NumPyのユニバーサル関数の使い方のメモです。 NumPy NumPyは数学関数ライブラリです。 インストール方法は下記を参照。 pppurple.hatenablog.com IPythonで使ってみます。 In [1]: import numpy as np ユニバーサル関数(ufunc) ユニバーサル関数(ufunc)はndarrayの各要素に対して演算した結果を戻します。 数学演算 abs 各要素の絶対値を返す。 In [10]: arr2 Out[10]: array([ 0, -1, -2, -3, -4, -5, -6, -7, -8, -9]) In [11]: np.abs(arr2) Out[11]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) sqrt 各要素の平方根を返す。 In [3]: arr Out[3]: array([0,
numpyやchainerでのベクトル、行列、テンソルの積関連演算まとめ - verilog書く人
年末年始にテンソル積と格闘しわけがわからなくなったのでメモ。 numpyのいわゆる積と呼ばれるAPIには、 numpy.multiply, numpy.dot, numpy.vdot, numpy.inner, numpy.cross, numpy.outer, numpy.matmul, numpy.tensordot, numpy.einsumとまあ結構たくさんあります。 特にnumpyについてまとめますが、chainerやtensorflowで同名のAPIが存在する場合、numpyと同じインターフェイスで設計されていますのでほぼ同じ計算をします（はずです）。 コンテンツ 要素ごとの積(*,numpy.multiply) ベクトルの積(numpy.dot, numpy.vdot, numpy.inner, numpy.cross, numpy.outer) 行列積(numpy.matm
PIP Install Numpy throws an error "ascii codec can't decode byte 0xe2"
I have a freshly installed Ubuntu on a freshly built computer. I just installed python-pip using apt-get. Now when I try to pip install Numpy and Pandas, it gives the following error. I've seen this error mentioned in quite a few places on SO and Google, but I haven't been able to find a solution. Some people mention it's a bug, some threads are just dead... What's going on? Traceback (most recent
計算高速化のための強力な武器、NumPyのブロードキャスティングとSciPyの疎行列処理
プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説していきます。 連載第1回の「Pythonで機械学習／Deep Learningを始めるなら知っておきたいライブラリ／ツール7選」では、ライブラリ／ツール群の概要を説明しました。前回は、その中でもJupyter Notebookの基本操作と設定について説明しました。 前回から連載第1回で紹介した各種ライブラリを使う具体的なコードを例示していますが、Jupyter Note
レコメンドに画像の情報を活用する方法 - ZOZO TECH BLOG
データサイエンティストの中村です。 ファッションアイテムの画像から抽出した特徴量は検索以外にも利用することができます。 今回はレコメンドにおける画像特徴量の活用について、以下の3トピックを考えてみたいと思います。 画像特徴量を利用したコンテンツベースレコメンド モデルベース協調フィルタリングにおけるコールドスタート問題の軽減 画像特徴量を利用したモデルベース協調フィルタリングの高度化 画像特徴量を利用したコンテンツベースレコメンド あるアイテムを好きなユーザーはとよく似たアイテムも好きであると仮定します。このユーザーへの推薦は、と似ているアイテムを推薦すれば良いわけですが、このとき、アイテムの類似度を評価する尺度として画像特徴量が使えます。 アイテムの画像特徴量をとしたとき、アイテムとアイテムの類似度はとの間の距離を用いて表現できます。類似度（距離）にはコサイン類似度やユークリッド距離がよ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
numpyでの行列とベクトルの結合に関するメモ - Qiita
Kerasで文章生成を行う際のメモリーエラーを回避したい
CentOSにpipでscipyを入れようとしてlapack/blasがいないと言われた : mwSoft blog