形態素解析の精度向上を頑張った話 - Leverages データ戦略ブログ
はじめに こんにちは。データ戦略室データエンジニアリンググループの森下です。 普段はデータエンジニアとして、主にデータ活用基盤の保守運用や機能追加、ツール開発やデータ抽出・可視化といった業務を行っています。もともと機械学習への興味はありましたが、本記事の内容以前では、業務で使用したことはありませんでした。今回、初めて機械学習の業務を経験する事ができ、非常に多くのことを学ぶことができました。本記事は未経験者の奮闘記となりますので、これから機械学習を学ぶ方・業務に活かす方にとって参考になれば幸いです。 経緯について データエンジニアとしてデータ活用基盤の構築や保守運用をしていく中で、機械学習へのデータ活用は自然と考える部分です。しかし、書籍やチームの勉強会で機械学習について少しずつ学んではいるものの、業務で機械学習を使用したことはありませんでした。 そのような状況の中で、機械学習の業務に携わり
Jupyterで計算・分析した何かをアプリっぽくプレゼンするまで - 33分4秒ではじめるStreamlit「雑」入門 - Lean Baseball
サムネイルで出してる内容がそのままこのエントリーのテーマです. Pythonアドベントカレンダー2020の9日目です. JX通信社のシニアエンジニアで, 趣味で野球*1とヘルスケア*2なデータを分析してるマンの@shinyorkeと申します. ちょっとしたデータサイエンスでもガチのR&Dでも何でもいいのですが, プレゼンするためのスライド作るとか, デモのアプリを作るのって相当ダルくないっすか? いやまあ大事な仕事なので不可避かつちゃんとやろうぜっていうのは事実*3なのですが, 手を抜くところは手を抜くべきだなというのが持論としてありますし, 「怠惰・傲慢・短気」というプログラマーの三大美徳からするとプレゼンの準備は最も「怠惰」であるべきとまで僕は思っています. そんな中, 今年はStreamlitという, 「データを見せるアプリを雑に作ろうぜ」っていうライブラリがめっちゃ流行りました（っ
最短コースで機械学習を学べる 書籍「Pythonで儲かるAIをつくる」紹介 - Qiita
はじめに 書籍「Pythonで儲かるAIをつくる」の著者です。当記事でこの本の特徴をご紹介します。 Amazonリンク(単行本) https://www.amazon.co.jp/dp/4296106961 Amazonリンク(Kindle) https://www.amazon.co.jp/dp/B08F9P726T 本書サポートサイト (Github) https://github.com/makaishi2/profitable_ai_book_info/blob/master/README.md まずは、下記の目次をご覧下さい。 目次 タイトルで誤解を受けることが多いのですが、目次を見ていただければわかるとおりいたって真面目な書籍です。「AIを使ってFXや株で大儲けをしよう」という本ではありませんので、誤解なきようお願いします。 主な対象読者 本書は、主に次の2つの読者層を想定して
Pythonによるファイナンス(第２版)を読んだ感想 - 虎の穴開発室ブログ
こんにちは！虎の穴ラボのNSSです。 虎の穴ラボではオライリー・ジャパン社の定期購読サービスを利用しており、 毎月新刊をいち早く読めるようになっています。 今回は12/24に刊行された「Pythonによるファイナンス(第２版)」を読んだ感想を共有したいと思います。 www.oreilly.co.jp 読もうと思ったきっかけ 数年前から少しだけ投資をしていたので、タイトルから興味を惹かれました。 Pythonを使って自分の投資ポートフォリオを評価したり、自動取引ができたら楽しそうだと思いました。 目次 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタ
【python】カジノを崩壊させたらしいモンテカルロ法をシミュレーションしてみた - Qiita
序章 やっほー。原です。 休日にだらだら YouTube みてたら、こんな動画がおすすめに出てきたよ。 https://youtu.be/_suZM2y9wyA 最近スプラトゥーンの実況動画しか観ないから、急にこんなん出てきてびっくりしたよ。 普段観ないジャンルの動画がおすすめに出てくるとなんかポチって押しちゃうよね。 この人が言う必勝の賭け方がえれぇシンプルだったから、 「これなら簡単にシミュレーションできるやん！」 って思って、実際にやってみた。 前提 動画曰く 「ルーレットやバカラのように、当たった時の配当が 2 倍や 3 倍になるゲームにおいて有効です。」だって。 バカラってなに？ それはそうと、今回は 当たる確率が ${\frac{1}{2}}$で当たったらベット額の 2 倍ゲットできるゲームっていう前提でシミュレーションするよ。 あと、資金は無限っていう前提でやるよ。これ重要。
筋肉空間の提案とボディービルの掛け声生成への応用 - Qiita
本文書について 本文書では、筋肉トレーニングメニューを含むテキストを入力としてボディービル大会等で用いられる掛け声を生成・出力する手法について述べる。 提案する手法は、入力された筋トレメニューを主要な筋肉部位を基底として定義した筋肉空間上のベクトルに変換し、当該筋肉ベクトルを用いて適切なボディービルの掛け声を推定・出力する。 本文書ではさらに、当該手法を用いて実装した筋トレメニューをつぶやくとボディービルの掛け声をreplyするslack botについて、その出力結果と使用感について共有する。 【実装例】 概要 システムの入出力は下図の通りとなる。 より具体的に書くと筋トレメニュー空間から掛け声空間への写像である。 例えば 腕立て伏せ を 大胸筋が歩いている に紐付ける、などの組み合わせによるルールを用いることで当該写像を実現することは出来るが、筋トレメニューや掛け声は両者とも日々増えてい
Jupyter Notebook ファイルのままdiffをとったり、マージしたり出来るツール nbdime - Qiita
Jupyter Notebook ファイルのままdiffをとったり、マージしたり出来るツール nbdimePythonMachineLearningJupyterJupyterLabJupyterNotebook Jupyter Notebook の問題点 Jupyter Notebook は、ソースコードとアウトプットが一つの ノートブックファイル.ipynb で管理・実行することができるので、非常に便利です。しかし、その代償として、.ipynb ファイルにはソースコード以外のメタデータやアウトプットデータが含まれる為に、ソースコード部分の差分が非常に分かりにくくなってしまいます。 jupytext等で、.pyファイルにエクスポートして diffを取ることも考えられますが、.pyファイルが増えてしまい、本来の .pyファイルと混じって、これはこれで管理しづらい。 結構困った問題です。 ノ
Pythonでのカテゴリ変数(名義尺度・順序尺度)のエンコード(数値化)方法 ～順序のマッピング、LabelEncoderとOne Hot Encoder～ - Qiita
Pythonでのカテゴリ変数(名義尺度・順序尺度)のエンコード(数値化)方法 ～順序のマッピング、LabelEncoderとOne Hot Encoder～Pythonscikit-learnpandas前処理 カテゴリデータの前処理 性別や血液型、郵便番号などの名義尺度、サイズや階層、評価など順序に意味のある順序尺度はカテゴリデータと呼ばれる。データ分析や機械学習アルゴリズムに使用するためには、数値化しなければならないので、そこらへんのやり方をまとめておく。 全コードはこちら https://github.com/uratatsu/categorical-encoding 順序尺度の数値化 ファーストフード店の飲み物のサイズ 「L>M>S」 などは順序に意味があるため、順序尺度となる。カテゴリデータのなかでも、順序尺度については S ⇒ 1 M ⇒ 2 L ⇒ 3 として、わかりやすく数
時間のかかるデータ処理や機械学習処理が終わったら通知してくれるツールをつくった！ - 焼肉が食べたい
Pythonのメソッドにデコレータをつけるだけで、その処理が終わったらSlackやメールや画面のポップアップで通知してくれるツールを作りました。 github.com 正直そんなに大したツールではないんだけど、 こういう時間のかかる試行錯誤をサポートしてくれるツールを便利だと思ってくれる人が他にもいたらうれしいな、と思うのでブログに書いてみます！ 作った背景とコンセプト わたしは普段、機械学習や、大量データに対するデータ処理や分析をやっています。 いつも時間がかかるスクリプトを回しながら他の仕事をして、定期的にスクリプトが終わったか確認するということをしていたのですが、 これが面倒なので、処理が終わったら通知してくれると便利だなと思ったのが作るきっかけです。 ちなみに、kerasやtensorflow、chainerなどを使う場合だと、以下のツールがあります。 Hyperdash | Ma
【Pythonで決定木 & Random Forest】タイタニックの生存者データを分析してみた - Np-Urのデータ分析教室
前回まで、決定木・ランダムフォレストの理論について勉強しました。 www.randpy.tokyo www.randpy.tokyo 今回はPythonで実際に動かしていきたいと思います。扱うのは、タイタニック号の生存者データです。性別や年齢など、どんな要素が生存率に影響を与えていたのか、分析してみます。 なお、Pythonによる決定木・ランダムフォレスト のコード例は、以下の書籍にも記載されてますので、参考にしてみてください。 Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る これは、kaggleという世界的なデータ分析コンペティションで提供されているサンプルデータですので、ご存知の方も多く少し面白みには欠けますが、決定木とラン
word2vecをD3.jsのforce-simulationで可視化する - Qiita
概要 学習済みのword2vecモデルから、指定の単語に対して、その類似単語、さらに類似単語の類似単語を出力させ、各単語をノード、cos類似度をリンクの重みとしてd3.jsで力学グラフ化します。 t-sneなどで次元圧縮プロットする手法とはまた違った味があるかな、と思います。厳密さはあまりないので、ビジュアライゼーションの手法としては、解析向きというより説明向きの手法ですね。視覚化と言ったほうがいいかもしれません。 DOM/HTMLなのでカスタマイズが効きやすい点はメリットで、インタラクティブな感じに機能追加していくとウケが良さそうです。 出力例 「AI」を指定単語として、その類似単語(緑)と、類似単語の類似単語(灰)までを出力しています。別途収集した、幾つかの新聞社のWeb記事(2MB程度)で学習させたモデルを使用しています。 ノード間の適正距離をcos類似度から計算しており、適正距離よ
ロジスティック回帰を実際に試してみる - Pythonと機械学習
少し考えてみましたが、コスト関数である対数尤度は活性化関数の出力が教師データに近づくにつれ、0に漸近していくようです。 計算機上ではにするとが－∞に発散してしまうので値を求めることができないですが、解析解としては0に漸近します。 したがって、の極限で、コスト関数は最小値0になります。 以下が、ロジスティック回帰を実装したスクリプトになります。 ベルヌーイ分布を使うため、教師データのクラスラベルは0と1にしてあります。(セトサが0でバージカラーが1です。) ロジスティック回帰では、トレーニングサンプルを与えたときの出力として得られるクラスラベルの確率を求めることができるので、probabilityメソットを追加しました。 このスクリプトを実行すると、学習率と勾配効果法を変更した4つの学習結果グラフを出力します。(最大エポック数:20、特徴量の標準化、トレーニングデータのシャッフルは全結果で共
Pythonではじめる機械学習(scikit-learnで学ぶ特徴量エンジニアリングと機械学習の基礎)を読んだ
O’Reilly Japan - Pythonではじめる機械学習 を読んだ。 Pythonではじめる機械学習 ―scikit-learnで学ぶ特徴量エンジニアリングと機械学習の基礎: Andreas C. Muller https://amzn.to/3d4gJ16 動機# ニューラルネットを学ぶ、その前に# 今まで、機械学習を通り越してディープラーニングの勉強をしてきた。 つまり基礎をすっ飛ばして、応用にいってしまったのだ。 自分の手法はただひとつ、ニューラルネットワークのみ！！ これでは、機械学習を勉強しているといえるのだろうか？ 自分のなかで、疑問が湧き上がった。 本に付いている帯が印象的だった。 ニューラルネットワークを学ぶ、その前に！ とのことだ。 これだ！ニューラルネットを学んで、 その後に行ってしまった自分にとってはこの帯はまさに心のうちをいい得ているものだった。 機械学習コ
バックテストの実施 - Pythonと機械学習
決定木アルゴリズムを使って、取りあえず明日のBitcoin価格を予想することはできますが、本当にそれで利益を出すことができるのでしょうか？ 過去のBTC価格データで検証してみました。 以下がバックテストを実施するコードです。 初期資金として$1000ある状態で、過去60日間のバックテスト結果です。 上昇シグナルが出た場合に手持ちの資金全額でBitcoinを購入し、下降シグナルが出た場合は何もしません。 ポジションは1日ごとに決裁します。また、スプレット(手数料等)は考慮していません。 バックテスト用のパラメータは、main関数内の以下で指定しています。 # --バックテストパラメータ plotGraphFlag = 1 # バックテスト結果の資金グラフをプロットしますか？yes:1。no:0 initialFund = 1000 # 初期資金 spread = 0 #取引スプレット(手数料
【Python】K-meansによるクラスタリング結果をPCAで次元削減して散布図にプロットする - Qiita
これをK-meansによりクラスタリングした上で、PCAで次元削減して散布図にプロットする。 K-meansのドキュメントはここ、PCAのドキュメントはここ、pyplotのドキュメントはここ。 # -*- coding: UTF-8 -*- import numpy as np from sklearn.cluster import KMeans from sklearn.decomposition import PCA import matplotlib.pyplot as plt # sample.csvを読み込む users = np.loadtxt('./sample.csv', delimiter=",") # K-meansによるクラスタリング model = KMeans(n_clusters=2).fit(users) # PCAで次元削減 pca = PCA(n_comp
alternative illustration2vec（高次元タグ予想器）について - にほんごのれんしゅう
alternative illustration2vec（高次元タグ予想器）について 図1. 予想結果のサンプル はじめに 今回はillustration2vecを去年10月に知り、実装法を模索していたが、Kerasでの転移学習と、目的関数を調整することで同様の結果が得られるのではないかという仮説に基づいて、検証実験を行った。 illustration2vecのような画像のベクトル化技術に関してはアプローチは複数用意されており、どのような方法がデファクトかつ、もっとも精度が良いのかわかっていない。 以下、私が考えた３つの方法を記す。 1. VGG16などの学習済みモデルの出力部分のみを独自ネットワークの入力にすることで、タグ予想問題に切り替える 2. 上記のアプローチをとるが、入力に途中のネットワークのレイヤのベクトルも入力に加える 3. キャラクタ判別問題などにタスクを切り替えて、タスク
OSS情報 | マジセミ
【OSS情報】自律型AIエージェント構築プラットフォーム「 SuperAGI 」 「 SuperAGI 」は、AIエージェントの「目的」「行動」「環境」を定義することで、自律型エージェントの「生成」「テスト」「プロビジョニング」「デプロイ」を実施できます。 「人間の介入なしでタスクを実行できる AI エージェントの構築に使用できる自己学習プラットフォーム」を目指して開発されています。 【OSS情報】Python用開発タスク自動化ツール「 tox 」 「tox」(トックス)とは「Python用開発タスク自動化ツール」です。「toxが作成したPython仮想環境」でテストやデプロイを実行できるため、Pythonパッケージを「異なるPythonバージョン」や「異なる環境」でテストできます。 【OSS情報】IoTデバイス用TypeScript「 DeviceScript 」 「 DeviceScr
なぜ機械学習にPythonが選ばれるのか - Qiita
はじめに 日本ではWeb系のLL言語としてはPHP・Perl・Rubyが強く、Pythonは海外では普及しているが日本ではマイナーな言語である。Google AppEngineの開始当初(2008年4月)にPythonをサポートしていた際には、なんでPythonなんだろうと軽く調べ、教育用として海外では普及しているという認識だった。 2012年～2013年頃にデータサイエンスがバズワードとなり機械学習する上でR言語と次点でPythonという感じだったと思う。そして昨今は人工知能ブームということでTensorFlowやChainerといったPythonのフレームワークが公開されたことで、Python一色になってきている。 ※タイトルは科学技術計算より世間的に馴染みがある機械学習にしました。 科学計算や機械学習にはPython 特に科学計算分野ではPythonコミュニティが非常に活発で、機械学
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これだけは知っておけ！PythonでＡＩ開発の基礎まとめ : 新規事業のつくり方