Kaggle 画像分類、時間短縮と精度向上のメモ - ゼロから始める機械学習
Kaggle Planetに参加しました。結果は96位。 Discussionにない工夫をした点は天候に応じて特定のラベルの閾値を変更する程度で、 提出したのはVGG16, ResNet50, Xceptionの3CNNのアンサンブルでした。 時間短縮の為に 精度を競うと機械学習は実験的な側面もあり、いくらでも時間を溶かせます。 Kaggleのランキング上位のインタビューを見てもデータの特徴をうまく掴むことが大事だと思います。 ローカルでの検証環境を整える データの整形・拡張の比較検証は軽量なCNNで 時間のかかるCNNモデルは最後、その他の処理に注力する 条件によってある程度決めれるパラメーターは固定してしまう 学習は夜間や他のことをやってる時に Discussionや過去の勝者ソリューションを見る 精度向上の為に TTA 推論時のデータ拡張 アンサンブル 平均、投票など コードを再利用
機械学習・ディープラーニング・強化学習・ベイズを学べる無料講座 - HELLO CYBERNETICS
はじめに ここでは、機械学習、ディープラーニング、強化学習、ベイズを無料で学ぶことのできるオンラインリソースを項目ごとにまとめておきます。 機械学習 ITについて学べるオンライン講座「Udacity」は、基本的に有料で講座を受けるのですが、中には非常に中身の詰まったコンテンツで、かつ無料の講座も存在します。 以下の講座では、機械学習の各技術に関して広くカバーしており、決定木からサポートベクターマシン、ニューラルネットワークやベイズ、強化学習まで学ぶことができます。 かなりのボリュームなので興味のあるところを学んでいく感じでも良いと思います。 www.udacity.com s0sem0y.hatenablog.com s0sem0y.hatenablog.com ディープラーニング 同じくUdacityからディープラーニングに関する講座です。 多層パーセプトロンから畳み込みニューラルネット
Chainer用コマンドラインツールChainerCMD - Qiita
とすると以下の4つのファイルが作られます。 config.yml custom_extension.yml dataset.py loss.py model.py 中身はこんな感じです。 stop_trigger: [20, "epoch"] # max_workspace_size: 8388608 # default: 8 * 1024 * 1024 dataset: train: file: dataset.py name: MNIST batchsize: 128 args: split: train ndim: 3 valid: file: dataset.py name: MNIST batchsize: 64 args: split: valid ndim: 3 model: file: model.py name: LeNet5 args: n_class: 10 loss
PRMLのアルゴリズムをPython(ほぼNumpyだけ)で実装 - Qiita
自分の勉強（機械学習のアルゴリズムやPythonの勉強）のためにPRMLに掲載されている手法をPythonで実装していきます。 原則としては、アルゴリズムの部分ではPythonの標準ライブラリに加えてNumpyだけ使用可能としていきます。scikit-learnやtensorflowなどの機械学習パッケージは使いません。matplotlibなどの結果を図示するパッケージはアルゴリズムの実装と関係がない限りは使っていきます。また、必要になったらscipyなどの他のパッケージもたまに使っていきます（すでにディガンマ関数などに使用）。ただし、最適化ツール（例えばscipy.optimizeやtensorflowの自動微分機能）などの実装を著しく簡単にするものは使いません。 基本的には、章ごとに一つの手法を実装していきます。一通り終われば二周目に入るかもしれません。自分の勉強のためのものなので、な
Image Completion with Deep Learning in TensorFlow
Introduction Content-aware fill is a powerful tool designers and photographers use to fill in unwanted or missing parts of images. Image completion and inpainting are closely related technologies used to fill in missing or corrupted parts of images. There are many ways to do content-aware fill, image completion, and inpainting. In this blog post, I present Raymond Yeh and Chen Chen et al.’s paper
【画像】 すげぇ金持ってそうなやつが詐欺で逮捕 : 痛いニュース(ﾉ∀`)
【画像】 すげぇ金持ってそうなやつが詐欺で逮捕 1 名前：名無しさん＠涙目です。(千葉県)＠＼(^o^)／ [GB]：2017/07/01(土) 08:42:17.53 ID:oAnu4AHs0.net ソース 元TBSアナ・海保知里を襲ったクレジットカード詐欺の「戦慄手口」！ http://www.asagei.com/excerpt/84081 4: 名無しさん＠涙目です。(チベット自治区)＠＼(^o^)／ [US] 2017/07/01(土) 08:43:24.35 ID:1rUBoMD80 わろた 6: 名無しさん＠涙目です。(茸)＠＼(^o^)／ [CA] 2017/07/01(土) 08:43:53.75 ID:7nAVwwYx0 まだ金欲しいのかｗｗｗ 7: 名無しさん＠涙目です。(愛知県)＠＼(^o^)／ [US] 2017/07/01(土) 08:43:55.07 ID:
E2E NLG Challenge
Motivation Natural language generation plays a critical role for Conversational Agents as it has a significant impact on a user’s impression of the system. This shared task focuses on recent end-to-end (E2E), data-driven NLG methods, which jointly learn sentence planning and surface realisation from non-aligned data, e.g. (Wen et al., 2015; Mei et al., 2016; Dusek and Jurcicek, 2016; Lampouras and
機械学習モデルの実装における、テストについて - Qiita
数あるフレームワークに付属するExample、機械学習モデルを実装してみた、という話。これらに共通して言えるのは「テストがない」ということです。 機械学習のモデルだって、アプリケーションに組み込まれればプロダクションコードの一部です。テストがない実装を本番環境に組み込むか？というと通常そんなことありえないと思います。 (スタジオジブリ 紅の豚 より拝借) 忘れられがちな点ですが、機械学習モデルは「リリースした瞬間」が最高精度になります。なぜなら、リリースした瞬間こそがその時点で手に入るフルフルのデータを使って鍛え上げたモデルであり、それ以降はどんどん未知のデータが入ってくるためです。 そのため、モデルの精度、また妥当性をいつでも検証できるようにしておくというのはとても重要です。これは通常のコードにテストをつける理由と同等で、つまり機械学習モデルだからと言って特別ではないということです。 本
CVAEによるキャラクターの台詞の生成と、口調変換 - Qiita
１． 概要 こんばんは。 今回はタイトルの通り、キャラクターの台詞をCVAE（Conditional Variational Auto-encoder）で生成してみました。 同手法で、キャラクターの口調変換も試みたりもしています。 ※170624: githubのコードに不具合があったので修正しました。 ２． 関連記事（既存研究） 台詞をRNN系で生成する記事は多く見られます。 【エヴァンゲリオン】アスカっぽいセリフをDeepLearningで自動生成してみる こうした記事には以下の課題がありました。 1. 当該キャラクターの学習データが少ない（せいぜい1000文。しかも、他のキャラの台詞を学習データに混ぜると上手くいかない） 2. 既に当該キャラクターが喋った台詞のみを学習データに用いるため、その台詞に出てこない単語をキャラクターが発する事はない これらの課題をCVAEで解決しようと思い
Satellite Imagery Feature Detection using Deep Convolutional Neural Network: A Kaggle Competition
This paper describes our approach to the DSTL Satellite Imagery Feature Detection challenge run by Kaggle. The primary goal of this challenge is accurate semantic segmentation of different classes in satellite imagery. Our approach is based on an adaptation of fully convolutional neural network for multispectral data processing. In addition, we defined several modifications to the training objecti
最強のヒストリ補完を作りました - tellme.tokyo
最強のヒストリ補完を求めて シェルヒストリに不満を持っていたので自作しました。今の自分にとっては必要な機能を盛り込んでいて便利に使えていますが、誰かにとっては、もしくは数カ月後の自分にとってはぜんぜん最強じゃないかもしれないです。 以前このようなエントリを書きました。 www.tellme.tokyo このころから (いやもっと前から) シェルのヒストリ補完に不満を持っていました。 単純にデフォルトの C-r だと目的のものを探しづらい 例えばコマンド名の一部だけだとノイズが多すぎる けどディレクトリは覚えているからそれでもフィルタしたい、とか 他にも色々あって (その理由について先のエントリを見てもらうとして) zsh-history というツールを書きました。 GitHub - b4b4r07/zsh-history: A plugin for zsh history extended
ChainerとPyTorchのコードを比較する - 線形回帰編 - Qiita
最近，Deep Learning Frameworkのリリースが続いている．私は，普段は TensorFlow を使うことが多いのだが，Blog記事やGitHubの情報について，ChainerやPyTorchのコードを参考にする機会も多い．特に最近，GitHubにてPyTorchコードが増えており，PyTorchが気になる存在である一方，学習する上での情報量はChainerが多いか？といった悩ましい状況となっている． ここでは，簡単なコードを書きながら，2つのFramework(Chainer vs. PyTorch) を比較してみたい． （プログラミング環境は，以下になります： - Chainer 2.0.0 - PyTorch 0.1.12 - Python 3.5.2 (or 3.5.3) ） Chainerで線形回帰を実装 まず必要なパッケージをimportする
Objective-Reinforced Generative Adversarial Networks (ORGAN) for Sequence Generation Models
In unsupervised data generation tasks, besides the generation of a sample based on previous observations, one would often like to give hints to the model in order to bias the generation towards desirable metrics. We propose a method that combines Generative Adversarial Networks (GANs) and reinforcement learning (RL) in order to accomplish exactly that. While RL biases the data generation process t
企業に移って5年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
月日が経つのは早いもので、かつてボンクラ研究者だった僕が企業（そしてインダストリー*1）に移ってからちょうど今日で5年が経ちました。インダストリーに移ってからのこの5年間で様々なことを体験し、あるいは見聞し、あるいは決断したりしてきたわけですが、良い区切りなので自分にとってのマイルストーンとするためにも、ここでこれまでの5年間を振り返ってみようと思います。 Disclaimer 以下に体験談もしくは見聞談として記載されている内容は、特に断りがなければ自分自身の複数の体験や見聞及び同業の友人知人からの見聞をマージして一般化したものであり、過去現在の個々の特定の所属先における特定のエピソードや職務内容及び特定の個々人のエピソードなどを意味するものではありません。またここで述べられている意見はあくまでも個人の主観的な意見であり、いかなる特定の企業・組織・機関も代表するものではありません。 この5
"How to Train a GAN" at NIPS2016 workshopのメモ - 緑茶思考ブログ
NIPS2016でのWorkshop on Adversarial Training「How to train a GAN」での， GANを学習させるTipsのまとめ。 Workshopの動画 （30分程度で軽めなので観てみると良いと思います） www.youtube.com 以下は登壇者による↓のメモ https://github.com/soumith/ganhacks 前置き GANは現状House of cardsのようなもの． Generator，Discriminatorが上手く学習しているのかわからない 上手く言ってると思ったら突然崩壊する モデルの評価が難しい まだまだ発展途上で，今後新たなアルゴリズムや理論が登場する見込み． だが現状，以下のようなテクニックは重要と思われる． (以下のテクニックはZero scienceで単なるHackだと述べている） 1. 入力を正規化
論文解説 Memory Networks - ディープラーニングブログ
こんにちは，Ryobot (りょぼっと) です． 概要 「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである． 本稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し，論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻訳して補足説明している． 目次 メモリモデルの概説 Memory Networks (MemNN) 1 メモリネットワークの概要 2 基本モデル 3 拡張モデル 4 実験 Towards AI-Complete Question Answering (bAbI task) 1 メモリネットワークの拡張 2 bAbI タスク 3 実験 長文である．ざっくり知るだけなら「メモリモデルの概説」と Memory Networks
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
paper/
ぼくのかんがえたさいきょうの機械学習プロジェクト進行法（PoC/デモ編）
GitHub - explosion/thinc: 🔮 A refreshing functional take on deep learning, compatible with your favorite libraries
TechCrunch | Startup and Technology News
