この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はココをクリックしてください。 こんなことをしてみたい ↑これがしたい pythonによる機械学習の勉強をしたので、実践ということで、人気アイドル「乃木坂46」の個人的に好きな5人のメンバーを区別して見ました。大きな流れはこんな感じです。 web上から五人の画像を100枚ずつ取ってくる 画像から顔部分を取り出して保存、テストデータの取り出し 画像の水増し モデルを定義して、学習 テスト(顔を四角く囲って、その人の名前を出力) 説明はこんなもんにして、彼女らの可愛さについて語りたいところですが、そういうブログではないので、少し技術的なことを書きます。 今回はjupyterを使って作業を進めました。notebook形式なので結果が見やすく初心者にはいい環境でした。環境は以下。 macOS:10.13.1 python:3.6.

Transcript Deep Learning以外の⼿法で ユニクロコンに参戦してみた @mamas16k Kaggle Tokyo Meetup #3 Outline 0.はじめに 1.ユニクロコンペとは？ 2.結果 3.⼿法 4.上位の⼈の⼿法まとめ 0.はじめに • Twitter ID: mamas16k • 物理系の学部2年⽣ • 機械学習暦・プログラミング暦共に1年ぐらいの初⼼者 • データ分析系の企業でインターンしてました • ユニクロコンは初の機械学習コンペ 今回のKaggle Meetupの初⼼者枠なので、あまり真に受けずにた くさんマサカリを投げてくれると有り難いです＞＜ 1.ユニクロコンペとは？ • Kaggleではなく、オプトDSLで2017年4⽉ ~ 7⽉に開催 • スポンサー：Fast Retailing (ユニクロの親会社) • 服、靴下、ベルト等の画像を2

はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は

自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． #!/usr/bin/env python def main(): print('hello, hello, hello!') if __name__ == '__main__': main() pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後

タイトルの本を頂きました。ありがとうございます。僕は原著を少し読んだことがあり、こちらで非常に評判が高い本です。翻訳にもかかわらず原著とほぼ同じ値段で購入できます。 先にJAGSになじみのない方へ説明しておきますと、JAGSはRコアメンバーの一人でもあるMartyn Plummer氏によってC++で開発されたMCMCソフトウェアです。Rから使うのが多数派ですが、PythonからもPyJAGSによって使うことができます。 複雑なモデルでなければStanより収束が早く、離散値をとるパラメータも使えるため、プログラミングがそんなに得意でない人がベイズ統計モデリングをはじめるには一番向いていると思います。最近、再び活発に開発され始めたようで、先日JAGS 4.3.0がリリースされました。 JAGS 4.3.0 is released https://t.co/3jExabWcPI— Martyn

先日、以下のイベントで話しました。 『StanとRでベイズ統計モデリング』読書会(Osaka.Stan#5) : ATND 発表資料は以下です。 MCMCサンプルの使い方 ～見る・決める・探す・発生させる～ from Kentaro Matsuura 理論的には事後分布や予測分布の使い方というのが正しいですが、プログラミング言語との相性を考えてMCMCサンプルの使い方というタイトルにしました。自著ではモデリングのやり方の体得にフォーカスしていますが、事後分布や予測分布が得られるメリットについては分野や人によって異なるので詳細は省きました。いつか補おうと思っていたので良い機会でした。 読書会では、小杉先生の発表やLTもめちゃ面白く、東京のStan勉強会では見たことがない盛り上がりを見ました。ネット上でしか知らなかったベイジアンにたくさん会って話すことができてよかったです。調子に乗って3次会ま

総務省のデータを Elasticsearch にぶち込んで、緯度経度から市区町村の何丁目までを取り出すgeoElasticsearch （この記事は２０１３年に書かれたもので、内容については古くなっています。ご注意ください。） いわゆる「逆ジオコーディング」と呼ばれる機能ですが、きっかけはこれら２つの記事です。 PHP - 総務省のデータを使って、緯度経度から市区町村の何丁目までを取り出す PostgreSQL - 国土交通省のデータを使って、緯度経度から市区町村までを取り出す Solr や Elasticsearch でも同じことができるのでは、という事で Elasticsearch でやってみました。 Elasticsearch の導入 は、 Elasticsearch で位置情報を検索する手順 - Experiments Never Fail をご覧ください。 1. 総務省のデータを

fakerモジュールを使うとダミーデータをいっぱい作れる。 インストール pip install fake-factory ダミーデータファイル作る 今回は id, 10桁の数字, 単語10個 のような形式のcsvファイルを作る。 from faker import Factory import csv with open("dummy_data.csv", "w+") as f: csv_writer = csv.writer(f) fake = Factory.create() for i in range(10000): l = [fake.md5(), fake.random_number(10)] l.extend(fake.words(10)) csv_writer.writerow(l) 2109993cebbf9e68b5a74344798c19a3,0,sit,corru

はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0

【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ

StanのPythonバインディングであるPyStanが公開されて久しいですが、検索してもあんまり情報がヒットしません。ちょっと寂しいと思ったので、インストールやtraceplotの出力なども含めて、以下の本の5.1節「重回帰」の一部を実行してみました（ステマです）。 StanとRでベイズ統計モデリング (Wonderful R) 作者:健太郎, 松浦発売日: 2016/10/25メディア: 単行本 本自体の紹介は以前の記事を読んでいただければと思います。 「StanとRでベイズ統計モデリング」松浦健太郎 という本を書きました - StatModeling Memorandum インストール Windows 7 64bit、Python 3系でのインストール手順を説明します。 AnacondaでPythonなどをインストール コマンドプロンプトからpip install pystanでpy

概要 なんか書いてみようということで、Elasticsearchに行動履歴の位置情報を登録すれば、いい感じに利用できる上に、いい感じに可視化もできるという話をします。 前提知識 今回Elasticsearchを利用するので、簡単に紹介。 ElasticsearchはApache Solrとよく比較される全文検索エンジンの一つです。スキーマフリーですべての入出力がREST＆JSONになっています。またJavaで実装されています。 詳しくはElasticsearchの紹介と特徴 インストールはyumでもbrewでも簡単に出来ます。利用したい環境に合わせて調べてみてください。 ちなみにElasticsearchのGUIプラグインのelasticsearch-headが便利なので合わせて入れておくと良いです。 Elasticsearchの設定 Elasticsearchを起動できたら、利用するin