この資料では、Pythonのデータ分析ライブラリーである「pandas」を使う練習を目的として、データ分析の初歩的な内容を解説しています。 2015/11/25 ver1.0 公開 2015/12/11 ver1.1 仮説検定の説明を分かりやすく修正 2016/11/15 ver2.0 改訂版公開、scikit-learnの利用例を追加 2017/06/11 ver2.1 仮説検定パートを削除、sklearnの利用例をアップデート
自前の物理環境を用意せずにTensorFlowを動かしたかったので、AWSのmicroインスタンス上に環境を構築した際の手順まとめ。 TensorFlowって? 2015/11/10にGoogleが公開した機械学習技術のライブラリで、サンプルを眺めただけでも以下のような学習機が使えるようだ。 - 手書き文字認識 - リカレントニューラルネットワーク(RNN) - 畳み込みニューラルネットワーク(CNN) 前提環境 AWS EC2 上のVM Amazon Linux AMI 2015.03.1 (HVM), SSD Volume Type - ami-1c1b9f1c Docker 1.7.1 Ubuntu 14.04LTS(Docker上のコンテナ) AWSへの登録や仮想マシン登録は終わっている前提 AWS EC2 上のVMにDocker導入 VMにsshでログインし、以下のコマンドを入力
米Microsoftは11月9日、機械学習ツールキット「Distributed Machine Learning Tookit(DMLT)」をオープンソースで公開した。米Googleが先日公開した「TensorFlow」に続くものとなり、分散型システムでの機械学習システム構築を簡素化するものとなる。 Distributed Machine Learning Tookit(DMLT)は、Microsoft Research Asiaが開発した分散型の機械学習技術。さまざまな分野で機械学習の活用事例が増える一方で、利用には巨大なコンピューティングリソースを要することから、ビッグデータ処理における機械学習の利用は研究者や利用者にとって課題となっており、これの解決を図るものと位置付けている。オープンソースで公開することでビックモデルのトレーニングをクラスタで効率よく行うことができるようにする、と意
Deep Neural Networkを使って画像を好きな画風に変換できるプログラムをChainerで実装し、公開しました。 https://github.com/mattya/chainer-gogh こんにちは、PFNリサーチャーの松元です。ブログの1行目はbotに持って行かれやすいので、3行目で挨拶してみました。 今回実装したのは”A Neural Algorithm of Artistic Style”(元論文)というアルゴリズムです。生成される画像の美しさと、画像認識のタスクで予め訓練したニューラルネットをそのまま流用できるというお手軽さから、世界中で話題になっています。このアルゴリズムの仕組みなどを説明したいと思います。 概要 2枚の画像を入力します。片方を「コンテンツ画像」、もう片方を「スタイル画像」としましょう。 このプログラムは、コンテンツ画像に書かれた物体の配置をそのま
巷ではDeep Learningとか急に盛り上がりだして、機械学習でもいっちょやってみるかー、と分厚くて黄色い表紙の本に手をだしたもののまったく手が出ず(数式で脳みそが詰む)、そうか僕には機械学習向いてなかったんだ、と白い目で空を見上げ始めたら、ちょっとこの記事を最後まで見るといいことが書いてあるかもしれません。 対象 勉強に時間が取れない社会人プログラマ そろそろ上司やらお客様から「機械学習使えばこんなの簡単なんちゃうん?」と言われそうな人 理系で数学はやってきたつもりだが、微分とか行列とか言われても困っちゃう人 この記事で行うこと 数学の基礎知識に慣れるための、数式が最初から出てこないプログラマ向けの数学入門書の紹介 機械学習の初学者には鉄板の、オンライン講座(MOOC)の機械学習コース紹介 環境 WindowsでもMacでもLinuxでも大丈夫(MATLAB/Octaveというツール
Pythonで機械学習アプリケーションの開発環境、具体的にはNumpy/Scipy/scikit-learnを導入する手順について解説します。 なお、環境はPython3ベースを想定しています。 Minicondaベース(推奨) 機械学習系のパッケージはコンパイルが面倒なものが多いため、コンパイル済みバイナリをインストールできるconda(Miniconda)での環境構築を推奨します。 まずはPython本体(Python3想定)、パッケージ管理ツールであるpip、仮想環境を作成するvirtualenv、といった基本的な環境の構築を行います。 ※virtualenvについては今回(condaを使う場合)は不要ですが、Pythonで開発を行うなら入れておくべきパッケージなので併せて入れておきます。 Mac/Linux デフォルトのPythonと分けてインストールするため、pyenvを利用しま
機械学習には様々な種類・アルゴリズムが存在するが、それらにほとんど100%共通して言えるのは、機械学習とは 「データの分類を計算機で自動化する」 技術である。 現代社会では至る所に機械学習が応用されているが、スパムフィルタも言語判定も文字認識も含め普く機械学習は 「計算機で自動的に受け取ったデータをいずれかのクラスに分類する」ことになる。 機械学習の種類 機械学習には学習の仕方によっていくつかの種類がある。 教師あり学習(Classification) 学習時に学習データとラベル(つまり答え)を一緒に学習させる。手書き数字認識なら 学習データ: 手書き数字の画素 ラベル: 手書き数字が0〜9のどれなのか 教師なし学習(Clustering) 学習時にラベルを与えず、学習アルゴリズムに勝手に「いい感じの」境界を作ってデータを分類させる。例えば自然言語で書かれたテキストの分類など。 発言を自動
みなさんこんにちは。アナリストの荒木です。近い将来さまざまな仕事がロボットに置き換わっていくと多くの人が予想しており、そのコアテクノロジーの一つが機械学習です。GoogleがDeepMindを買収したことで機械学習という言葉も身近になりつつありますが、すでにamazonレコメンドや画像認識などで活躍しています。 そこで今回は、ウェブ担当者が「機械学習ってどんなことをやっているのだろう?」という場合に勉強できるスライドをまとめました。 ↓【無料DL】「SEO内部対策チェックシート」を無料ダウンロードする 機械学習によるデータ分析まわりのお話機械学習でどんなことをしているのかをまとめたスライドです。データのこと・機械学習のこと・評価のこと・分析のことの4部構成で、データマイニングの一連の流れを学ぶことができます。 Deep LearningGoogleの猫認識例で有名になった手法を紹介したスラ
ディープラーニングが猛威を振るっています。私の周りでは昨年から多く聞かれるようになり、私も日経BPさんの連載で昨年5月にGoogleの買収したDeep Mind社について触れました。今年はさらに今までディープラーニングについて触れていなかったメディアでも触れられるようになってきましたね。例えば、イケダハヤトさんも先日。高知でも話題になっているのですね。 私事ですが、今度湯川鶴章さんのTheWaveという勉強会で、人工知能とビジネスについて一時間ほど登壇させていただくことになりました。有料セミナーということです。チャールズべバッジの解析機関についてはこのブログでも以前触れましたが、「機械が人間を置き換える」みたいな妄想は100年位は言われていることですね。「解析機関」「機械学習」「人工知能」「シンギュラリティー」など、呼び名はどんどん変わり、流行り廃りもありますが、最近ロボットの発達も相まっ
精度95%以上! ソースコードは指紋、作者はほぼ特定できる2015.02.11 19:0010,327 ほぼドンピシャでバレバレです。 スペースやタブ、大文字やアンダーバーを組み合わせた命名規則、コメント…コードの書き方には、人によってスタイルがありますよね。それはもう指紋のようなもので、それさえ見えれば、誰がコードを書いたかほとんどわかってしまう…そんな驚きの研究結果が発表されました。 米ドレクセル大学、メリーランド大学、プリンストン大学、独ゲッティンゲン大学の共同チームの研究によると、自然言語処理と機械学習によるコード分析により、95%の精度で作者は特定できるそうです。 解析されるのは、レイアウトや語彙の特性と、「抽象構文木(AST)」です。ASTとは、「コードの書き方からまったく影響を受けずに、コードの型の特性をとらえる」もので、つまり、関数の名前、コメント、スペース入れ方などのクセ
このところDeep Learningが相当流行っているようで、ほとんど至るところで話題になっているのを見ます。 Deep Learningは深層学習とも呼ばれ、ニューラルネットワークの層をこれまでより深くして機械学習を行う技法です(だそうです)。 画像認識コンテストで他の方法と比べて非常に高い精度を示しており、以前は人の手で行っていた特徴の抽出まで行えます。 以前であれば車を認識するには車はどのような特徴を持っているかを人がモデル化して入力していたわけですが、この特徴を入力画像と与えられたラベルからニューラルネットワークが捉えてくれます。詳しいことはDeep Learningで検索して出てくる記事やスライドを参照のこと。 Deep Learning自体は容易に実装可能なものではなさそうですが、多くの研究グループがDeep Learningを行うためのソフトウェアをオープンソースにしているた
Azure MLって何? からワークスペース作成まで:Webブラウザーでできる機械学習Azure ML入門(1)(1/2 ページ) 数学的な知識やソフトウェア知識がないと挑戦しにくい印象の機械学習を、Webサービスとして利用できる環境が「Azure Machine Learning」です。全体のプロセスを見ながら体験して理解してみましょう。 連載バックナンバー 本連載では、GUIやWebブラウザーなど手軽な環境を活用して、機械学習そのものの考え方の基本を理解していきます。 いきなりですが、読者の皆さんに質問です いきなりですが……、 機械学習って興味ありますか? 機械学習を実際にしたことはありますか? おそらく、こうした問いかけに対して、「興味はあるけど触れたことがない」という読者の方がほとんどだと思います。その理由を筆者は、どうやってやったらいいのか分からないからじゃないかなぁ、と思って
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く