〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 3 回】 「積ん読」と「体重増」の悩みを AutoML で解決しよう | Google Cloud 公式ブログ
〜AutoMLで実践する〜 ビジネスユーザーのための機械学習入門シリーズ 【第 3 回】 「積ん読」と「体重増」の悩みを AutoML で解決しよう 前回は、AutoML Tables による EC サイトの LTV 分析事例を紹介しました。今回は、同じ AutoML Tables を、より身近な課題の解決に使う方法を紹介します。 その課題とは、筆者自身が抱えていた 2 つの悩みです。ひとつは、スキャンして PDF で保管している書籍の「積ん読」を大量に抱えていたこと。もうひとつは、自宅作業ばかりで増え続けてしまっている体重です。 この 2 つの課題を一挙に解決するソリューションとして筆者が思いついたのが、「PDF 書籍をオーディオブックに変換する」という方法です。読みたかった書籍をオーディオブック化しておけば、ランニングしながら積ん読を解消できます。 この動画のように、Cloud Sto
［文章生成］マルコフ連鎖で文を生成してみよう
今回の目的 前回までに青空文庫から梶井基次郎の著作をダウンロードしたり、形態素解析を行うためにMeCabをインストールしたりしてきました。今回は、いよいよこのデータを使って文章を生成してみます。といっても、まだディープラーニングの分野には踏み込むことはしません。ここでは「マルコフ連鎖」と呼ばれる手法を使って、文章を生成してみるだけです。 実際にはこんな文章が生成されました。 そして私は友の反省の為の金を貸してくれました。 何しろ俺は大嫌いなんだよ。 あの窓の外で、孫にあたる人間を集めてゐた。 一台の赤い実が目にも堪えることのない、早く返事をしながら涙をためた。 正直なところ、「うーむ」という文章も多いのですが、失敗も含めてやってみることが大事です（生成されたものが短文であれば、日本語としても解釈できるものもありますが、長文になると意味不明なものにしかなりませんでした）。 文章を生成するだけ
やってみたら簡単！ディープラーニング・オセロを作って自分を負かすまで強くした話(その1) - Qiita
オセロのAIアルゴリズムをディープラーニングで作成し、私が勝てないぐらいまでには強くなった、という話です。 また私の場合は2ヶ月ぐらいかかってしまいましたが、実装自体はそんなに難しくなかったので、実装方法についても説明したいと思います。 この記事でわかることは、ディープラーニングでオセロのAIアルゴリズムを作る方法です。基本的な考え方は他のボードゲームも同じなので、流用できると思います。 対象読者は、TensorFlowなどディープラーニングのライブラリを使い始めて、MNISTの数字分類など基本的な処理はできたけれど、それ以外の問題だとやり方がわからない、というような方です。 きっかけ 私の所属するエンジニアと人生コミュニティで、リバーシチャレンジなるものが開催されたことがきっかけです。このコンテストは「リバーシならどこにこだわっても良い」というルールでした。 私は、ちょうど少しまえに「将
SushiGAN2 〜この寿司は実在しません〜 - Qiita
はじめに 2年ほど前，私はGANというものに出会って感銘を受け，Qiitaで『SushiGAN 〜人工知能は寿司を握れるか？〜』というちょっと釣りっぽいタイトルの記事を書きました．中身はChainerのexampleにあったDCGANの実装を寿司の画像で学習させてみるというもので，下のようなモード崩壊気味の寿司画像を作って満足していました． あれから2年あまりが経ち，画像生成の技術は驚くべき発展を遂げました1．StyleGAN，そしてStyleGAN2が登場し，すぐには見分けがつかないほどの品質で1024x1024の人の顔の画像が生成できるようになりました [1]．そのインパクトは凄まじく，"This Person Does Not Exist"を皮切りに，GANで生成したリアルな偽物のサンプルをランダムに表示するWebサイトがちょっとした流行になりました．いくつか例を挙げると，次のような
Twitter 誹謗中傷撃退マシン(最強版) - Qiita
前にQiitaに書いた「Twitter 誹謗中傷撃退マシン」の記事は出来が良かったのにLGTMが伸び悩んでたため、疑問に思っておりましたところ。いちいち誹謗中傷ワードを配列に入れるのを面倒くさがられたのではと思いDeep Learningの力を借りました。 本記事の目的は前回同様 SNSの誹謗中傷をテクノロジーの力で救うこと です では、行ってみましょう！！！ 事前知識 前回の記事で事前知識を学習して進めてください Twitter 誹謗中傷撃退マシン 誹謗中傷識別AIを作ろう word2vec, RNN(LSTM)を使ってモデルを作ります。データは"umich-sentiment-train.txt"という評判分析によく使われるデータセットを使います。 word2vecモデル Kerasを使って作成します。word2vecとは一言で言うと人間の言葉をベクトル(数字)におくアルゴリズムです。
ネット麻雀(雀魂)をOpenCVと機械学習で自動化した話 - Qiita
概要 pythonからOpenCVのテンプレートマッチ及びGUI操作モジュールを使うことで、 webブラウザ上の麻雀牌をBOTに認識・クリック操作させることができ、プレイの自動化ができました。 また、どの麻雀牌をクリックするかのロジック部分には機械学習を用いました。 テンプレートマッチの探索用画像を差し替えれば雀魂に限らず他の麻雀ゲーム全般で利用可能であり、機械学習の部分を変えれば、特定条件下で合理的選択を繰り返し求められるようなゲーム全般で応用が可能です。 ※内容理解の一助とするために記事内随所に雀魂のゲーム内画像を利用していますが、著作権保護等の観点から強いボカシを入れています。 対象読者 (麻雀が好きで)機械学習を触ってみたい人 WindowsやGUI操作の自動化に興味があるけどOpenCVって何だろうって人 雀魂は好きだけど試練イベント走るのがマジ試練すぎて心が折れた人 過去に大学
【python】カジノを崩壊させたらしいモンテカルロ法をシミュレーションしてみた - Qiita
序章 やっほー。原です。 休日にだらだら YouTube みてたら、こんな動画がおすすめに出てきたよ。 https://youtu.be/_suZM2y9wyA 最近スプラトゥーンの実況動画しか観ないから、急にこんなん出てきてびっくりしたよ。 普段観ないジャンルの動画がおすすめに出てくるとなんかポチって押しちゃうよね。 この人が言う必勝の賭け方がえれぇシンプルだったから、 「これなら簡単にシミュレーションできるやん！」 って思って、実際にやってみた。 前提 動画曰く 「ルーレットやバカラのように、当たった時の配当が 2 倍や 3 倍になるゲームにおいて有効です。」だって。 バカラってなに？ それはそうと、今回は 当たる確率が ${\frac{1}{2}}$で当たったらベット額の 2 倍ゲットできるゲームっていう前提でシミュレーションするよ。 あと、資金は無限っていう前提でやるよ。これ重要。
Deep Learningでカップ焼きそば判定アプリを作りたかった - Qiita
この記事はTokyo City University Advent Calendar 2019，22日目の記事となります． https://adventar.org/calendars/4282 はじめに カニ@_BBPIと申します． 都市大四年目にして初めてこのようなアドベントカレンダーに参加出来て嬉しい限りです． 卒論がまだ全く書けてないので助けてください． 4年間の昼飯の話をします ピーナッツブロックチョコ #カニランチ _BBPI - Twitter検索 #カニランチ3rdSeason _BBPI - Twitter検索 異常です． カップ焼きそば最高～～～～～～～～～～～～～～～～～～～～～～～！！！！！！！！！！ #KaniLunchとかいうオーストラリア留学中(TAP)に5袋1AUDのインスタントラーメンを食べ続けたこの世の終わりみたいなハッシュタグがありますが恥ずかしいので
Python: featuretools ではじめる総当り特徴量エンジニアリング - CUBE SUGAR CONTAINER
今回は featuretools というパッケージを用いた総当り特徴量エンジニアリング (brute force feature engineering) について書いてみる。 総当り特徴量エンジニアリングは、実際に効くか効かないかに関係なく、考えられるさまざまな処理を片っ端から説明変数に施して特徴量を作るというもの。 一般的にイメージする、探索的データ分析などにもとづいて特徴量を手動で作っていくやり方とはだいぶアプローチが異なる。 そして、featuretools は総当り特徴量エンジニアリングをするためのフレームワークとなるパッケージ。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G1012 $ python -V Python 3.7.5 もくじ もくじ 下準備
Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita
知っている人は知っていると思うが、Qiitaではたびたび大量のスパム記事が投稿されている。 深夜24~26時頃に記事一覧を確認してみて欲しい。 スパム記事がわんさか出てくるはず。 登録したてのQiitaユーザは不安よな。1 ———— @dcm_chida 動きます🧐 はじめに これはNTTドコモサービスイノベーション部AdventCalendar2019の1日目の記事です。 我々の部署では日頃から「KDDCUP2」や「論文読み会」に取り組んでおり、若手から中堅社員まで最先端の技術取得に励んでいます。 そうした活動をもっと外部へと発信していこうと始めたのがこのAdventCalendarです。社員一人一人が書いた記事を通して、少しでも多くの方に興味を持って頂ければ幸いです。 さて、僕は4年目社員ですがプログラミング初心者の頃から現在に至るまで、Qiitaにはかなりお世話になりました。 自分
[Python]機械学習などでテキストデータを特徴量にする際のソースコード集
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 （2019/08/18 追記）Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特
![[Python]機械学習などでテキストデータを特徴量にする際のソースコード集](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
【Python】自然言語処理で使われるTF-IDFと単純ベイズ分類器(Naive Bayes)について使いながら解説する - Qiita
概要 最近文書分類にはまっていまして、ただライブラリを振り回すだけではさみしいなと思い、自分の理解を深めることも兼ねて記事にしたいと思います。 自然言語処理にて文書分類を行う場合、大きく次のようなステップを踏みます。 文書の形態素解析 文書の定量化(ベクトル化) 定量化した文書によるモデルの作成 検証データによるモデルの評価 タイトルにもあるtf-idfは「2. 文書の定量化(ベクトル化)」、単純ベイズ分類器は「3. 定量化した文書によるモデルの作成」と「4. 検証データによるモデルの評価」で使用します。 今回は国会議事録検索APIにより抽出した国会の議事録を分類してみたいと思います。 具体的には上記APIを用いて2008〜2017年の過去10年分の国会の常任委員会の発言内容を学習させ、2018年の発言内容を与えたときに正しく委員会を分類できるかやってみたいと思います。今回の分類対象の委員
Pythonでのカテゴリ変数(名義尺度・順序尺度)のエンコード(数値化)方法 ～順序のマッピング、LabelEncoderとOne Hot Encoder～ - Qiita
Pythonでのカテゴリ変数(名義尺度・順序尺度)のエンコード(数値化)方法 ～順序のマッピング、LabelEncoderとOne Hot Encoder～Pythonscikit-learnpandas前処理 カテゴリデータの前処理 性別や血液型、郵便番号などの名義尺度、サイズや階層、評価など順序に意味のある順序尺度はカテゴリデータと呼ばれる。データ分析や機械学習アルゴリズムに使用するためには、数値化しなければならないので、そこらへんのやり方をまとめておく。 全コードはこちら https://github.com/uratatsu/categorical-encoding 順序尺度の数値化 ファーストフード店の飲み物のサイズ 「L>M>S」 などは順序に意味があるため、順序尺度となる。カテゴリデータのなかでも、順序尺度については S ⇒ 1 M ⇒ 2 L ⇒ 3 として、わかりやすく数
ランダムフォレストを実装してみる | DevelopersIO
こんにちは、小澤です。 当エントリは「Machine Learning Advent Calendar 2017」の17日目のエントリです。 今回はランダムフォレストをやってみたいと思います。 ランダムフォレストとは ランダムフォレストは決定木を拡張したものです。 決定木については、当アドベントカレンダーにエントリーがありますので、そちらをご覧ください。 決定木分析についてざっくりまとめ_理論編 ｜ Developers.IO 機械学習_決定木分析_pythonで実装 ｜ Developers.IO これらでも触れられている通り、決定木はわかりやすい手法ではあるのですが、機械学習としてはあまり性能のいいものではありません。 このような、あまり性能のよくない弱学習器を複数使って、多数決などで最終的な予測を行うものアンサンブル学習と呼びます。 ランダムフォレストは、複数の決定木でアンサンブル学
高速かつ高性能な分散表現Gloveについて(PyTorch実装) - Qiita
はじめに この記事では高速かつ高性能な単語分散表現Gloveについて記述しています。自然言語処理に馴染みのない方もために一応、ざっくりとした順を追って説明します。 自然言語をコンピューターで扱う場合 言語情報をコンピューターで扱うときにOne Hotと呼ばれる表現が良く使われます。 例えば'I am Shota'という文章があれば辞書を用意しておき、辞書に観測された部分は1をつけてそうでない部分は0にするような表現になります。 当然、辞書にない単語は扱えないのでShotaは何もカウントされません。 一般的にこのような場合は<UNK>と呼ばれるUnkown Wordの略で補います。 上記の手法ですと下記のデメリットがあります。 メモリ空間を辞書のサイズ分取る 辞書にない単語を扱えない ’は’、’と’などの助詞と固有名詞を同等に扱う 計算コストが高い シンプルな手法ですが上記の問題があります。
ロジスティック回帰を実際に試してみる - Pythonと機械学習
少し考えてみましたが、コスト関数である対数尤度は活性化関数の出力が教師データに近づくにつれ、0に漸近していくようです。 計算機上ではにするとが－∞に発散してしまうので値を求めることができないですが、解析解としては0に漸近します。 したがって、の極限で、コスト関数は最小値0になります。 以下が、ロジスティック回帰を実装したスクリプトになります。 ベルヌーイ分布を使うため、教師データのクラスラベルは0と1にしてあります。(セトサが0でバージカラーが1です。) ロジスティック回帰では、トレーニングサンプルを与えたときの出力として得られるクラスラベルの確率を求めることができるので、probabilityメソットを追加しました。 このスクリプトを実行すると、学習率と勾配効果法を変更した4つの学習結果グラフを出力します。(最大エポック数:20、特徴量の標準化、トレーニングデータのシャッフルは全結果で共
のび太と学ぶ「機械学習」【第3話】完成：FX予測プログラム（線形回帰版） - Qiita
本シリーズでは、「FXの予測プログラム」を作りながら、機械学習・ディープラーニングを解説します。 （注）のび太くんは有名漫画のキャラとは一切関係ありません。 この物語は、大学生のび太くんが、家庭教師のすぐるさんから機械学習を学び、将来D-mind社を起業して、汎用人工知能搭載型ロボットを誕生させるまでの記録です。 これまでのお話 のび太くんはiPhone Xを買うために、FX予測プログラムを作成しようと、すぐるさんから機械学習を学び始めました。 第1話：のび太、if文でFXを予想する 第2話：のび太、線形回帰を学ぶ 今回は、前話で学習した線形回帰を利用して、ついにのび太くんのFX予想プログラムが完成します。 （注）本ページを参考にして生じた損益については責任を持てませんので、あしからず。 第3話：のび太、完成：FX予測プログラム（線形回帰版） さて、のび太くん、本日は「線形回帰」を利用した
バックテストの実施 - Pythonと機械学習
決定木アルゴリズムを使って、取りあえず明日のBitcoin価格を予想することはできますが、本当にそれで利益を出すことができるのでしょうか？ 過去のBTC価格データで検証してみました。 以下がバックテストを実施するコードです。 初期資金として$1000ある状態で、過去60日間のバックテスト結果です。 上昇シグナルが出た場合に手持ちの資金全額でBitcoinを購入し、下降シグナルが出た場合は何もしません。 ポジションは1日ごとに決裁します。また、スプレット(手数料等)は考慮していません。 バックテスト用のパラメータは、main関数内の以下で指定しています。 # --バックテストパラメータ plotGraphFlag = 1 # バックテスト結果の資金グラフをプロットしますか？yes:1。no:0 initialFund = 1000 # 初期資金 spread = 0 #取引スプレット(手数料
機械学習超入門 - Qiita
概要 社内の勉強会用に「機械学習って何？どうやって使うの？」というテーマでまとめたものです。この記事の内容が他の方の役に立てたら嬉しいです。 機械学習 ＝ AI？ 機械学習は人工知能の一分野で、ディープラーニングは機械学習の一分野です。 ルールベース 多重If文や探査により多彩なパターンを網羅して、複雑な条件でも適切な出力がされるようにプログラムされているもの データのパターンや特徴を学習し、それをもとに未知のデータに対して何かしらの予測を出力する ディープラーニング データの特徴となる要素の取捨選択を自動で行うことができる、機械学習の手法の一つ 強化学習 ある環境において、 エージェントが状況を観測しながら行動することを繰り返し試行し、目的を達成するための最適な意思決定を学習するもの Point! ルールベースだと、例外が発生すると人が手でルールを書き換える必要があり、どんどんデータが増
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
