きれいなデータなんてない！機械学習の７割はデータ収集と前処理に費やされる
こんにちは！大学院生として自然言語処理の研究をしている@hikaruya8です。 最近、機械学習エンジニアやデータサイエンティストの求人が増えていることから、機械学習は華やかだという印象を持たれることが多いかもしれません。しかし、決してそうではないというのが私の意見です。むしろ「泥臭い」作業がほとんどです。もちろん、その先に非常に楽しいことが待ち受けているのですが、今回は機械学習における、その「泥臭さ」の代表的な部分「データの収集と前処理」に関して書いていきたいと思います。 ※Findy Engineer Labでも先日、新卒のAI人材の初任給まとめや、2018年に新卒データサイエンティストの初任給まとめという記事を書かせていただきました。 （機械学習エンジニアやデータサイエンティストの定義は企業や条件によって様々なため、ここでは割愛させていただきます。） 機械学習で携わる時間の７割は収集
AIを使って顔画像から「常連さん」を判定しよう！ | フューチャー技術ブログ
はじめにこんにちは。データ分析チーム・入社1年目のルーキー、小池です。 データ分析チームでは、画像処理・自然言語処理など様々な分野に取り組んでおり、機械学習や多変量解析を用いたデータの分析を行っています。 そんな中で私は機械学習・Deep Learningによる画像処理系の分析を行っています。 本記事では、私達の取り組みの一部をご紹介すると同時に、画像分析の面白さを体感していただければと思います。 今回のテーマ今回のテーマは、AI(機械学習・Deep Learning等)を用いて、 大量にある顔画像の中から同一人物をクラスタリングし、頻出する顔画像の抽出 を行いたいと思います。 簡単に言うと、 たくさんある画像から同じ人を見つけること を機械(AI)にやらせるということです。 目的「たくさんある画像から同じ人を見るけること」ができれば、以下1～3の流れで、店舗に来るお客さんが常連さんか否か
定番のConvolutional Neural Networkをゼロから理解する
Convolutional Neural Networkとは何か CNNで解決できる問題 Convolutional Neural Networkの特徴 畳み込みとは 合成性 移動不変性 Convolutional Neural Networkの構成要素 ゼロパディング（zero padding） ストライド Fully Connected層 Fully Connected層の問題点 Convolution層 Pooling層 TensorFlowによる実装 TensorFlowのインストール CNNでMNIST文字認識する 参考 近年、コンピュータビジョンにおける最もイノベーションと言えるのはConvolutional Neural Networkといっても過言ではない。 コンピュータビジョンの業界におけるオリンピックとも言えるコンペティションがImageNetである。 そのコンペティシ
世界標準を狙う日本発オープンデータ
トヨタが静岡市と組んで、オープンデータで世界標準仕様を打ち出した。厚生労働省は世界有数の規模と網羅性のある医療データをオープンデータ化した。日本が誇る公共交通網をオープンデータで世界に発信する取り組みも広がり始めた。それぞれの狙いを紹介する。 静岡市はトヨタIT開発センターと組んで、災害情報や道路規制情報、迂回路情報などをオープンデータとして、リアルタイムで提供するサービスを始めた。「しずみちinfo」という名称でデータを提供している。 オープンデータとは、行政機関や企業などが持つデータを、出所さえ明示すれば商用を含めて誰もが自由にコンピュータで加工・再配布できるように公開したデータのこと。企業がビジネスに活用できるほか、市民が身近な社会的課題の解決に役立てることができる。 しずみちinfoは2016年9月から、モバイル端末やソフトウエアを利用して、誰でも自動車で移動しながらインターネット
機械学習 – 頭の中に思い浮かべた時には
今回書くこと この記事では、特に画像識別で大きな成果を挙げた畳み込みニューラルネットワーク1の概要について書きます。 数式にはあまり触れませんので、そのあたりまで踏み込みたい方は専門の資料をご覧ください。
グーグルにも分からない機械学習やディープラーニングの使い道
「AI詐欺」が横行する日本のIT業界。AIブームのウソとホントに斬り込む連載の第4回では、AI活用の効果の視点から様々な課題を浮き彫りにする。もっともらしいAI活用も実は「それ、AIでなくてもできるよね」だったり、逆にAIを提供する先進ITベンダーですら明確な使い道を提示できなかったりする。そんな現状の中でAI活用を考える企業が、高い代償を払って単にトレンドに乗っただけに終わらないようにするために考慮するべきポイントを解説する。 前回の第3回では主にコスト視点から、AIの活用の前提となるビジネス課題について述べた。AIの活用にはデータの量と質の確保が必要で、そのためには多額のコストがかかる。しかも、データの量と質を確保するための業務は多くの場合、情報システム部門の範疇外のため、事業部門や経営層が正しいコスト感覚を持ち、決断を下す必要がある。そんな前回の話を踏まえて、今回は効果視点でのビジネ
文系エンジニアが機械学習に入門するために小学校の算数から高校数学までを一気に復習してみました。 - Qiita
※この記事の1年後に文系エンジニアがCourseraの機械学習コースを1ヶ月で修了したので振り返ってみました。という記事もアップしました。 文系エンジニアが機械学習に入門しようと思うと、どうしても「数学の壁」にぶつかります。 一般的に、機械学習を理解するためには、大学レベルの「微分積分」「線形代数」「確率統計」の知識が必須とされていますが、私のような典型的文系エンジニアの場合、それを学習するための基本的知識自体が圧倒的に不足しているため、まずは高校までの数学を一からやり直してみました。 学習前の私の数学スペック 学生時代の数学の学習歴は高校2年生の2学期位まで。 大学で経済数学の授業があった気がするがほとんど出席していない。 仕事で使った数学知識は三角関数程度。(画像処理ソフトを開発した際に使用) 学習に要した時間 小学校の算数 5時間 中学数学 6時間 数I/数A 12時間 数II/数B
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
topic_model/LDA_gensim.ipynb at master · Tdual/topic_model · GitHub
GitHub - oreilly-japan/deep-learning-from-scratch: 『ゼロから作る Deep Learning』(O'Reilly Japan, 2016)
ベイズ推定とDeep Learningを使用したレコメンドエンジン開発
GitHub - rasbt/python-machine-learning-book: The "Python Machine Learning (1st edition)" book code repository and info resource
機械学習によるデータ分析まわりのお話