2019年末版 形態素解析器の比較 - Qiita
形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。 （SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです） MeCab 言わずと知れた形態素解析器。とりあえずMeCabを使うという人は今なお多いことでしょう。とにかく高速であるということと、システムと辞書が分離されているのが特徴です。またPythonから使うのも簡単になりました（Janomeというものがありましたがmecab-python3の方が高速です）。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。 辞書はIPA辞書が推奨されていますが、Un
spaCyを使ってルールベースの記述をシンプルに！ - Qiita
この記事は自然言語処理アドベントカレンダー 2019の12日目です。 昨今自然言語処理界隈ではBERTを始めとする深層学習ベースの手法が注目されています。 一方それらのモデルは計算リソースや推論速度の観点で制約が大きく、プロダクション運用の際は留意すべき事項を多く持ちます。 （googleが検索にBERTを導入というニュースを見た時はとても驚きました） そこで本記事では自然言語処理タスクのシンプルかつ運用しやすい実装方法を考えていきます。 実装にはpythonと以降説明するspaCyとGiNZAの2つのライブラリを使います。 環境: ubuntu18.04 python 3.6.8 ライブラリインストールはpipから行います pip install spacy pip install "https://github.com/megagonlabs/ginza/releases/downlo
[Python]文書分類における文書ベクトル表現手法の精度比較 - Qiita
TL; DR 日本語文書分類タスクを機械学習で解くとき、下記の文書ベクトル表現手法ごとの精度を比較しました。 Github: https://github.com/nekoumei/Comparison-DocClassification/tree/master/src ※最近のGithub、jupyter notebookのレンダリングがよく失敗するのでnbviewerも貼っておきます https://nbviewer.jupyter.org/github/nekoumei/Comparison-DocClassification/tree/master/src/ Bag of Words TF-IDF Word2Vecの平均値 Doc2Vec SCDV SWEM 結論としては下記の3点です。 問題によるので銀の弾丸はない（あたりまえ） BoW, TF-IDFのような古典的手法も案外悪く
![[Python]文書分類における文書ベクトル表現手法の精度比較 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/68325da3ecd82a7182cc5ce4cdac3399d7a869e8/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUHl0aG9uJTVEJUU2JTk2JTg3JUU2JTlCJUI4JUU1JTg4JTg2JUU5JUExJTlFJUUzJTgxJUFCJUUzJTgxJThBJUUzJTgxJTkxJUUzJTgyJThCJUU2JTk2JTg3JUU2JTlCJUI4JUUzJTgzJTk5JUUzJTgyJUFGJUUzJTgzJTg4JUUzJTgzJUFCJUU4JUExJUE4JUU3JThGJUJFJUU2JTg5JThCJUU2JUIzJTk1JUUzJTgxJUFFJUU3JUIyJUJFJUU1JUJBJUE2JUU2JUFGJTk0JUU4JUJDJTgzJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kYjdkNjhlNGExNzE5NWE4NmQ0ZDdmMDU1MDc1NzdhYw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbmVrb3VtZWkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWU1NWM1Mzc2YWY4MTY5M2EzOGViZTA2YmM0ZDRiM2Ri%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D19cc4cb6fdcb3cf2149fcb68cdae17a5)
乃木坂46・欅坂46・けやき坂46のブログから単語分散表現を学習 - myaun’s blog
1. はじめに 特定ドメインのテキストから単語分散表現を学習することに興味があったので実験しました。 今回実施した内容 乃木坂46・欅坂46・けやき坂46のブログを収集してテキストへ前処理をする fastTextにより収集したブログのテキストから単語分散表現を学習する 学習した単語分散表現による類似単語の検索や2次元空間へのプロットの結果を確認する 2. 単語分散表現とは 単語分散表現は、文書から学習される単語の意味を表すベクトルです。 学習されたベクトルが「“King” – “Man” + “Woman” = “Queen”」のような足し算、引き算ができることで話題になりました。 この話題になったミコロフの論文が発表されたのは2013年でした。そこから早6年、学術領域でその方法論や応用が盛んに議論されております。*1 fastText 今回採用したfastTextは、Facebookによ
自然言語処理における、前処理のポータビリティを向上させる
皆さん前処理してますか？どの分野の機械学習でも前処理は重要ですが、自然言語処理は元のデータが数値でないこともあり、処理ステップが多くなりがちです(テキスト=>単語=>単語ID)。また、処理の一貫性を保つには実装コードだけでなくパラメーター(ストップワードなど)も管理する必要があったりします。 Photo by Ramnath Bhat端的には、自然言語処理では前処理のポータビリティを保つのが難しいです。そこで、それを実現するツールを開発しました(Star頂けたら幸いです！)。
MeCabをブーストさせよう - Qiita
はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、http://qiita.com/Hironsan/items/2466fe0f344115aff177 とかに書かれている通り、(上記の記事では、単語の分割が形態素解析に当たります)、分割された単語をベクトル化したり、各語彙の頻度を調べたりするためです。今回は、MeCabを用いて、できるだけ、精度高く分かち書きできるように頑張ります。1 追記) もう一つのMecabをブーストさせよう(Google Search Console編: https://qiita.com/knknkn1162/items/
spaCy - Industrial-strength Natural Language Processing in Python
Get things done spaCy is designed to help you do real work — to build real products, or gather real insights. The library respects your time, and tries to avoid wasting it. It's easy to install, and its API is simple and productive. Blazing fast spaCy excels at large-scale information extraction tasks. It's written from the ground up in carefully memory-managed Cython. If your application needs to
Python3×日本語：自然言語処理の前処理まとめ - Qiita
初めに 方針 ・pandasは、CSVや、Mysql、SQLiteなど様々なデータベースから、取り扱いやすい自身のDataFrameに変換することができる。 ・pandasのDataFrameはscikit-learnとの連携も容易である。 ・自然言語処理を日本語で行う場合、適切に前処理を行わなければ、良い結果をだすことはできない。 今回は自然言語処理における前処理の種類とその威力を参考にさせていただき、 具体的にpandasのDataFrameの形で存在する日本語データの前処理について考えていきます。 ※引用文は記載が無い場合、上記の記事からのものです。 準備と想定 sqlite3からpandasのデータフレームへ変換しています。 import pandas as pd import sqlite3 con = sqlite3.connect("db/development.sqlite
機械学習分類器が載ったモバイルブラウザを作った話 - 変なサービスを作るのが好き
はじめに 半年ほどかけてアプリのプロトタイプを製作したので、開発の動機や使用したツールなどをまとめてみる。 作ったものはページを自動分類するモバイルブラウザでWWDC2017で発表されたCore MLを使用している。 機械学習を用いたサービスを製作したのは初めてだったけれど、scikit-learn等のライブラリやgoogle custom search等のAPIが充実しているので比較的容易に開発を始めることができた。しかしパラメータの設定等まだまだ試していないことが多くあったり、教師データの質と数の問題から分類の精度は現時点であまり良いものではない。 しかし、精度を向上する仕組みなどを取り入れているので今後の改善に期待して欲しい。 開発の動機 友人と会った時、この漫画が面白いとか、あの映画が面白かったとかそんな話しをよくする。 後でそのコンテンツを読みたい、観たいと思ったものを忘れないよ
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
最新版のJSAI2018でのチュートリアル資料です。 --- 6月7日（木） 13:50-15:30 I会場（2F ロイヤルガーデンA） ---
![[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」](https://cdn-ak-scissors.b.st-hatena.com/image/square/09624b333d227f967b341b68a48730949d056933/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fjsai2018tutorialslideshare-180607030706-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
【python】nltkで英語のStemmingとLemmatization - 静かなる名辞
Stemming（ステミング）は単語の語幹を取り出したいとき、Lemmatization（レンマ化、敢えてカタカナ表記するとレンマタイゼーション）はカテゴリごとにグルーピングしたりしたいときに使う。 公式ドキュメントはここ。 nltk.stem package — NLTK 3.4 documentation 目次 Stemming 概要 Porterを使う Lancasterを使ってみる Lemmatizing 結論 スポンサーリンク Stemming 概要 nltkでStemmingに使えるクラスはたくさんある（ように見える）。nltk.stemに実装されているものだけでも、 ARLSTem Arabic Stemmer*1 アラビア語用 ISRI Arabic Stemmer*2 アラビア語用 Lancaster Stemmer*3 英語用。古い（1990年） Porter Stem
「OK word2vec ! "マジ卍"の意味を教えて」 Pythonでword2vec実践してみた - Np-Urのデータ分析教室
さて、今回はPythonによるword2vecの実践編です！ word2vecって何？？という方は、こちらの記事を一読してから本記事に入って頂くといいかと思います。 www.randpy.tokyo (こちらとても高評価頂いております。ありがとうございます！！） 上のリンク先でも書きましたが、簡単にまとめると、word2vecを使うことで単語の意味をベクトル表現化することができます。 単語の意味をベクトル表現できると、 近い意味の単語を調べる 単語同士の意味を足したり引いたり といった嬉しいことが実現できます。 ということで今回は、タイトルにもある通りJK用語の代表格である”マジ卍”という言葉の意味を、word2vecに聞いてみたいと思います。 本当は"マジ卍"の意味を直接JKに聞きたいのですが、JKの知り合いも当然いないですし……まぁここは頭を使ってデータを使えばなんか分かるっしょという
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
内橋 堅志 / yuni代表 | uchi_k on Twitter: "日本語形態素解析器、ノータイムで MeCab だったけど nagisa も結構良さそう Python による日本語自然言語処理 〜系列ラベリングによる実世界テキスト分析〜 / PyCon JP 2019 https://t.co/MVvXXfUlhJ"
要望分析のための投稿テキストのカテゴリ分類支援 / Assisting Text Classification for Request Post Analysis
Private Presentation
モダリティ変換と画像生成 SSII OS2 マルチモーダル深層学習
GitHub - facebook/duckling: Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.
Spacyでお手軽NLP / NLP with spacy
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」![[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」](https://cdn-ak-scissors.b.st-hatena.com/image/square/12caf50016f977ce9af0cfb1be243e077305b1e9/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fjsai2018tutorialslideshare-180606065226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
