ダジャレを判定する - Stimulator
- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。 類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するアルゴリズムの開発も盛んである。 ルールベースによる判定では、@kurehajimeが提案、開発したdajarep *1 や、@fujit33によるShareka *2が存在する。特にSharekaは、ルールベースのロジックにも関わらず、反復型とされる種類のダジャレに対して高い精度での判定を可能にしている。また、機械学習モデルを用いた判定手法として、谷津(@tuu_yaa)らが開発したDajaRecognizer *3がある。DajaRecognizerは、多くのルールベースによって子音音韻類似度をPMIとして定義、Bag-of-Words、
low-code機械学習ライブラリ「PyCaret」でモデルを可視化してみた - Qiita
概要 low-codeで、機械学習ができるライブラリのPyCaretがついに、v1.0になりました。 機械学習モデルの 可視化 が便利なので、モデルの可視化 に着目し、まとめてみます。 ソースを確認すると、部分的に内部でYellowbrick@HP（Yellowbrick@qiita）を利用しているようです。 なお、QiitaでもPyCaretタグの下記で取り上げられています。 最速でPyCaretを使ってみた 機械学習を自動化するライブラリ『PyCaret』入門 やること 列挙してみると下記の通りですが、pycaretの自動化により数行で実行できます。 ①データ（クレジットカードのデフォルト）をロード ②前処理 ③モデル比較（アルゴリズム間の性能比較） ④パラメータチューニング ⑤モデルの可視化（★ここがメインなので、冒頭でここを説明★） やってみる（⑤モデルの可視化） 手順上は １番最
Hyperoptを使った、関数の最適化 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 本日はhyperoptと呼ばれるライブラリを紹介したいと思います。 KaggleのForamで時々あがっていたので、気になっていました。 Hyperoptについて What is Hyperopt? hyperoptはTree-structured Parzen Estimator Approach(TPE)やRandomSearchを使って、最適化を行うライブラリです。 しかし、掲載論文を読む時間がないので、最適化の方法はともかく、 このライブラリは最小化するパラメータの推定を行ってくれます。 （他のもできるかもしれませんが、今回は調べていません。） Hyperoptについて、Scipy2013で発表をしているようです。興味が有る人は以下のビデオもどうぞ。 www.youtube.com Install sudo pip install h
Python: パラメータ選択を伴う機械学習モデルの交差検証について - CUBE SUGAR CONTAINER
今回は、ハイパーパラメータ選びを含む機械学習モデルの交差検証について書いてみる。 このとき、交差検証のやり方がまずいと汎化性能を本来よりも高く見積もってしまう恐れがある。 汎化性能というのは、未知のデータに対処する能力のことを指す。 ようするに、いざモデルを実環境に投入してみたら想定よりも性能が出ない (Underperform) ということが起こる。 これを防ぐには、交差検証の中でも Nested Cross Validation (Nested CV) あるいは Double Cross Validation と呼ばれる手法を使う。 ハイパーパラメータの選び方としては、色々な組み合わせをとにかく試すグリッドサーチという方法を例にする。 また、モデルのアルゴリズムにはサポートベクターマシンを使った。 これは、サポートベクターマシンはハイパーパラメータの変更に対して敏感な印象があるため。
TensorFlow を使ってブラックホールとポンデリングを見分ける (追記あり) - Qiita
はじめに ハワイ、南米、南極など色々な箇所に設置された電波望遠鏡が協力し合う国際プロジェクト「イベント・ホライズン・テレスコープ」が、5500万光年彼方も向こうにある銀河の中心に位置する超大質量ブラックホールの撮影に成功したとの事。ブラックホールが直接撮影されたのは史上初の快挙との事で巷でも賑わっております。 さてこれだけ盛り上がると Twitter でも色々話題になっていて「ポンデリングに似ている」とか「ポンデリングじゃん」とか「ポンデリングにしか見えない」など色々と言われております。 それポンデリングじゃねぇの？ これはもしかしてブラックホールを見た事のない我々に対して、ポンデリングの画像を見せられ騙されているのではないかとさえ思い始めました。Twitter 上にも数多くのポンデリング画像が散見されています。そこで TensorFlow の力を借りて「画像がブラックホールなのかポンデリ
【Python】🍜機械学習で「隠れた名店」を探してみた。（そして実際に行ってみた）🍜 - Qiita
１.簡単な概要 この記事では都内ラーメン屋の食べログ口コミを使って隠れた名店をレコメンドで発掘するやり方を解説していきます。 私自身🍜が大好きで昔は年間100杯以上食べ歩いてきた自称ラーメンガチ勢です。しかしながら、直近の健康診断にひっかかり、医者からドクターストップをかけられてしまいました。。。 行き場をなくしたラーメン熱を発散すべく機械学習でラーメンレコメンド（隠れた名店をレコメンドで発掘）に挑戦してみることにしました。 今回は、集大成として、Word2vecでモデリングしたmodelを使って隠れた名店をガチで発掘し、実際にそのお店に行って確かめるところまでやります！ 有名店のラーメンに対して類似度が高いラーメン店を探すイメージです。 techgymさんのブログに掲載いただきました！ありがとうございます。 【人工知能の無駄遣い?】AIプログラミングの面白記事をまとめてみました。 ２.
メディカルAI専門コース オンライン講義資料
News¶ 2019/12/06: 講義資料Ver 1.1を公開（2019年度版） 2018/12/17: 講義資料Ver 1.0を公開（2018年度版） 本講義資料について¶ 本ページは 日本メディカルAI学会公認資格：メディカルAI専門コースのオンライン講義資料（以下本資料） です． 本講料を読むことで，医療で人工知能技術を使う際に最低限必要な知識や実践方法を学ぶことができます．本資料は全てGoogle Colaboratoryというサービスを用いて執筆されており，各章はJupyter notebook (iPython notebook)の形式（.ipynb）で以下のリポジトリにて配布されています（notebooksディレクトリ以下に全ての.ipynbファイルが入っています）： japan-medical-ai/medical-ai-course-materials 想定受講者¶ 受
決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog
こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリです。 解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多
統計的因果推論のためのPythonライブラリDoWhyについて解説：なにができて、なにに注意すべきか - Unboundedly
機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ
Data Scientist Cheat Sheets - Qiita
1. Cheat Sheet 一覧 Python, Data Scientist 向けのCheat Sheetのリンク集を記載します．(最終更新日：2018/07/17) Basics (基礎) トピック サイト 図
データ分析で頻出のPandas基本操作 - Qiita
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
Google Colaboratoryが便利・高速で凄過ぎる - Itsukaraの日記
Googleが研究の一環で提供しているColaboratoryを試してみました。 Jupyterと同じようなGUIでPythonのプログラムを実行可能で、GPUも使えます。 Jupyterと同様に、先頭に「!」を書くことで、Linuxのコマンドを実行可能であり、「!pip」「!conda」「!apt-get」などで機能を追加できます。 実行結果をファイルシステム上に保管でき、共有リンクを使って取り出せます。 ただし、12時間経過すると強制終了されて、ファイルは失われます。 しかし、Notebookが動いている仮想マシンにGoogleドライブをマウント可能であり、これにより、実行結果をGoogleドライブ上のファイルとして保管できます。 Deep Learningでは、途中の状態をファイルに保管して、そこからResumeできるようにプログラムを書くことが多いので、12時間で一度強制終了しても
AI Progress Measurement (Archived)
Measuring the Progress of AI Research (Archived)¶ This project was active during 2017 and hasn't been updated since then. It collected problems and metrics/datasets from the AI research literature, with the intent to track progress on them. The page is preserved for historical interest but should not be considered up-to-date. You can use this Notebook to see how things are progressing in specific
解説・講義資料 - Toshihiro Kamishima
機械学習・データマイニング全般 変わりゆく機械学習と変わらない機械学習 [物理学会誌 2019]：機械学習・データマイニングについての専門家以外に向けた解説記事 機械学習・データマイニング分野の概要：分野全体の概要と国際会議動向まとめ資料 ML, DM, and AI Conference Map：人工知能，機械学習，およびデータマイニング関係の国際会議関連マップ データマイニング：4種類の主要分析タスクとデータマイニングによる知識発見プロセスについての学部前半レベルの説明資料 社会における機械学習 機械学習・データマイニングにおける公平性 [人工知能学会誌 2019]：アルゴリズム決定の公平性に関する議論 Fairness-Aware Machine Learning and Data Mining: Tutorial on data analysis considering pot
金融データのPythonでの扱い方 - 今日も窓辺でプログラム
はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使
パターン認識と機械学習（PRML）まとめ - 人工知能に関する断創録
2010年は、パターン認識と機械学習（PRML）を読破して、機械学習の基礎理論とさまざまなアルゴリズムを身につけるという目標（2010/1/1）をたてています。もうすでに2010年も半分以上過ぎてしまいましたが、ここらでまとめたページを作っておこうと思います。ただ漫然と読んでると理解できてるかいまいち不安なので、Python（2006/12/10）というプログラミング言語で例を実装しながら読み進めています。Pythonの数値計算ライブラリScipy、Numpyとグラフ描画ライブラリのmatplotlibを主に使ってコーディングしています。実用的なコードでないかもしれませんが、ご参考まで。 PRMLのPython実装 PRML読書中（2010/3/26） 多項式曲線フィッティング（2010/3/27） 最尤推定、MAP推定、ベイズ推定（2010/4/4） 分類における最小二乗（2010/4/
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://e2eml.school/transformers.html
データ分析における特徴量エンジニアリング / feature engineering recipes
機械学習ゴリゴリ派のための数学とPython