主成分分析(PCA)の数学的な理論とPythonによる実装
$$ \newcommand{\bm}[1]{\mathbf #1} $$ 主成分分析(PCA)の数学的な理論とPythonによる実装¶ Author: Yuki Takei (noppoMan) Github: https://github.com/noppoMan Twitter: https://twitter.com/noppoMan722 Blog: https://note.com/noppoman これは、noteの主成分分析の背景にある数学理論の話(最適化問題)の本文です。 主成分分析の数学的な理論の理解に必要な知識¶ 主成分分析は、アルゴリズム的な観点で見るとデータの分散を最大化させる最適化問題であり、その理論は数学（とくに微分学、線形代数）により与えられている。以下は、主成分分析で使われる数学の分野をざっくりとリストしたものである。 データ分析 分散、共分散 解析学 多
Fluent Python
一歩先行くパイソニスタを目指す人のためのPython解説書。Pythonはシンプルです。使い方を覚えるのも簡単で生産性を短期間で高めることができます。しかしこれは、Pythonに備わっている豊富な機能のほんの一部しか使っていないということでもあります。本書では、とても有用なのにあまり使われていないPythonの特徴的な機能を活用し効果的で慣用的なPythonコードを書く方法について解説します。読者は、Pythonicな思考とコーディング手法を身につけ、コードをより短く、より速く、より読みやすくする方法を学べます。本書では、どうすれば熟練のPython 3プログラマーになれるのかを徹底的に追及します。 賞賛の声 監訳者まえがき まえがき 第Ⅰ部 プロローグ 1章 Pythonのデータモデル 1.1 Pythonicなトランプ 1.2 特殊メソッドの使用方法 1.2.1 数値型のエミュレーショ
行列プログラマー
本書では数学的概念を実装するプログラムで実際に問題を解決しながら、その応用法を探求します。具体的には、図形変換、顔検出、画像圧縮、画像補正、ページランク、機械学習、暗号と秘密共有などの例を使い、ベクトルと行列、それらを動かすアルゴリズムについて学びます。対象は、プログラマーおよび具体計算を通じて線形代数を学びたい学生。厳密な証明が目的ではないので数学に詳しくなくてもかまいません。Python 3プログラムを用いることで図やグラフからベクトルと線形変換を視覚的にとらえることができるため読者はイメージをつかみやすいでしょう。章末の問題を解くことで自分がその章で何を学んだのか、また自分の理解度を確認できます。 関連ファイル サンプルコード サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書
PythonによるWebスクレイピング
TOPICS Programming , Web , Database , Python 発行年月日 2016年03月 PRINT LENGTH 272 ISBN 978-4-87311-761-4 原書 Web Scraping with Python FORMAT PDF EPUB 「Webスクレイピング」とは、インターネットからデータを機械的に集め、必要な情報を抽出するプロセスのこと。検索エンジンだけでは限られた情報しか集められませんが、この技術を使えば、インターネット上の膨大な情報の中から本当に必要な情報を入手できます。小売業、金融業をはじめ多くの業界で情報収集に活用され、アカデミックでも広い分野で使われ注目されています。本書は、前半でWebスクレイパーとクローラの基礎をていねいに解説し、後半でOCRを使った情報抽出や、JavaScript実行、Seleniumによるインタフェース
より良いビジネス意思決定のために、機械学習の閾値を可視化する | POSTD
機械学習のモデルを構築した際、データサイエンティストとしての私たちの最終的なゴールは価値の創造でした。モデルが無かった(あっても今より原始的だった)頃よりも、何かしら良いものを生み出すためにモデルによる予測を活用したいのです。結果に焦点を当てるということはつまり、私たちのモデルのパフォーマンスの最終的な評価は、その有効性によって為されるということです。それは、モデルを利用したアプリケーションが生み出した価値の量として計測されます。この投稿では、ビジネスの価値を最大限にするモデル構築による意思決定を、選択したり理解したりする際の強力なツールとして、データの可視化を活用したいと思います。 分類アルゴリズムにおいて、最も一般的な利用パターンの1つが 閾値（しきいち） です。閾値以上のスコアを持つ全てのケースに対して、何らかの特別な処置を行うのです。以下に例を挙げます。 不正の防止： あなたはソー
R vs Python：データ解析を比較 | POSTD
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
Project Jupyter
Free software, open standards, and web services for interactive computing across all programming languages JupyterLab: A Next-Generation Notebook Interface JupyterLab is the latest web-based interactive development environment for notebooks, code, and data. Its flexible interface allows users to configure and arrange workflows in data science, scientific computing, computational journalism, and ma
moco(beta)'s backup: 辞書内包／Pure Python実装の形態素解析器 Janome を公開しました
一応の基本機能がととのったので、できたてほやほやではありますが、Python製の形態素解析器 Janome を公開しました。 http://mocobeta.github.io/janome/ インストール方法や使い方は上記ページを見てください。 ソースコードはGithubにおいています: https://github.com/mocobeta/janome 【公開にいたった背景など】 日本語テキストを分析したりテキストマイニングする場合、まずは形態素解析から始めると思います。 Python の場合、そのためには MeCab をインストールして、mecab-ipadic をインストールして、mecab-python をインストールする、という手順を踏むことが多いと思うのですが、環境依存のところでハマって面倒な思いをしたり、サーバ構築の手間がかかったり、しますよね。なので、Pythonモジュ
OCaml: what you gain - Thomas Leonard's blog
Way back in June, in Replacing Python: second round, I wrote: The big surprise for me in these tests was how little you lose going from Python to OCaml. Of course, I was mainly focused on making sure the things I needed were still available. With the port now complete (0install 2.6 has been released, and contains no Python code), here's a summary of the main things you gain. Table of Contents Func
スピログラフ
スピログラフに初めて触れたのは小学校に上がる前だった。当時はそれがスピログラフという名称であることを知らず、輪っかをぐるぐる回して綺麗な模様を描ける道具としてお気に入りの玩具になっていた。自分はマンデルブロ集合やジュリア集合のような数学的に表現できる図形や模様にともて魅力を感じるのだが、幼少のころのスピログラフがその切っ掛けだったのかもしれない。 長方形の定規に大きさの異なる3枚の歯車が付属しており、そして2つの円がくり抜かれている。さらに、矢印、五角形、半円などの型が子供心をくすぐったものだ。因みに、歯車と円に付いている歯数は刻印されており、3つの歯車はそれぞれ36、52、63、円の方は96、105の歯を持っている。 幼少のころ以来、スピログラフを見かけることはなかったのだが、最近になって100円ショップでも売られているという噂を聞き、少し探ってみた。近くの100円ショップでは扱っていな
Finding the K in K-Means Clustering
A couple of weeks ago, here at The Data Science Lab we showed how Lloyd’s algorithm can be used to cluster points using k-means with a simple python implementation. We also produced interesting visualizations of the Voronoi tessellation induced by the clustering. At the end of the post we hinted at some of the shortcomings of this clustering procedure. The basic k-means is an extremely simple and
Falcon | The minimal, fast, and secure web framework for Python
# sample.py import falcon class QuoteResource: def on_get(self, req, resp): """Handle GET requests.""" quote = { 'author': 'Grace Hopper', 'quote': ( "I've always been more interested in " "the future than in the past." ), } resp.media = quote app = falcon.App() app.add_route('/quote', QuoteResource()) $ pip install falcon gunicorn $ gunicorn sample:app Fast Falcon is a blazing fast, minimalist Py
Prime Number Diagrams in Python and SVG | AlphaPixel
I was inspired by "Prime Number Pattern P Mod 40" by Jason Padgett. Padgett was mugged in 2002, sustaining a head injury that caused "a form of synesthesia and savant syndrome". Jason sees visions of geometrical and mathematical forms and illustrates them. Here's a video about him. As a fan of prime numbers myself and having been teaching them to my son, I decided to replicate his prime number dra
Anatomy of a Python Package
If all subsystems can communicate with all other subsystems, you lose the benefit of separating them at all. Make each subsystem meaningful by restricting communications. Steve McConnell Below is a tool for examining how modules in a Python package communicate with each other. Module Graph Each node in this graph is a module in the selected package. Edges indicate imports. Placing the mouse over a
scikit-image: Image processing in Python — scikit-image
scikit-image is a collection of algorithms for image processing. It is available free of charge and free of restriction. We pride ourselves on high-quality, peer-reviewed code, written by an active community of volunteers. Download If you find this project useful, please cite: [BiBTeX] Stéfan van der Walt, Johannes L. Schönberger, Juan Nunez-Iglesias, François Boulogne, Joshua D. Warner, Neil Yage
CodernityDB pure python, fast, NoSQL database — CodernityDB
CodernityDB pure python, fast, NoSQL database¶ CodernityDB is opensource, pure Python (no 3rd party dependency), fast (even 100 000 insert and more than 100 000 get operations per second, check Speed if you don’t believe in words), multi platform, schema-less, NoSQL database. You can also call it a more advanced key-value database, with multiple key-values indexes in the same engine (for sure it’s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2019年Python商標事件 - 西尾泰和のScrapbox
Amazon.co.jp: ハイパフォーマンスPython: Micha Gorelick (著), Ian Ozsvald (著), 相川愛三 (翻訳): 本
Loading...
GitHub - topazproject/topaz: A high performance ruby, written in RPython
