タスクに合わせたトークナイザ、単語分割に関連したポエム - yasuhisa's blog
ポエムを適当に書きます。2本立て。週末のノリなので、適当です。 Sentencepieceの紹介記事を読んだ 文書分類でneologdとmecabを比較した まとめ Sentencepieceの紹介記事を読んだ ニューラル言語処理向けトークナイザのSentencepieceについて書かれた紹介記事を読みました。 自分用の要約すると ニューラル言語処理では語彙数が大きくなると扱いにくい 単語をサブワードに分割できるものは分割して、語彙数を制限する(数千から数万)方法がよく使われる 尤度を最大にするエントロピー圧縮の一部と見なせる スペースもメタ文字に置き換えて生文を食わせることにより、detokenizeが言語によらず簡単になる 翻訳等のタスクで助かる! こういうのが必要なくなる 単語分割されたものからさらに分割するわけではなく、生文からやるために計算量オーダーの削減が行なわれている 従来の
NEologd Casual Talks | #neologd (2016/04/26 19:00〜)
商用利用自由で無償な自然言語処理資源として定期更新を始めて1年経った NEologd(色々あるのでまとめてNEologdと呼ぶ) について、便利〜、役立つ〜、ありがたい〜、わかる〜などとお声がけ頂く機会が増えありがたいのですが、一体どこでお役に経っているのかよく分からないという現状があります。 Twitterを眺めていると、MeCabのユーザー辞書や、Elasticsearchのkuromoji-neologd・シノニム辞書で解決できる課題について悩んでいるエンジニアさんもこの世に居ることは確実ですが、でも誰がどう悩んでるのか具体的な内容がネット上にはほとんど表出しません。 とある言語資源をどう実サービスで使うのか、実サービスで使える言語資源をどう作るのか、その資源をどうやって維持していくか、すでに公開されている超有益だけどあまり使われていない言語資源はどこにあるのか、言語資源を作るとかい
neologd-solr-elasticsearch-synonyms/README.ja.md at master · neologd/neologd-solr-elasticsearch-s...
フリガナを自動入力する - Qiita
名前、ふりがなが連続しているフォームにおいて、ふりがなを自動入力する機能は、よく要求としてあがってきます。 jquery.autoKana.jsがよく使われているようですが、これはキーイベントを拾って、フリガナを作るので、 Google日本語入力やATOKの予測変換 スマフォのフリック入力 などで、ちゃんとキーイベントが発生しないものは、うまくフリガナを作ることができません。 (参考) https://github.com/harisenbon/autokana http://qiita.com/u-chida/items/6c07d558b3f06c9ed8d8 サーバサイドでフリガナを作る ちょっと考えを変えて、サーバサイドで漢字からフリガナを生成するようにしてみます。 MeCabやKuromojiで形態素解析すると、漢字の"読み"も取得できます。 IPA辞書だと人名が弱いので、NEo
FRILの商品検索をnGramから形態素解析にした話 - mosowave
この記事はElasticsearch Advent Calendar 2015の7日目のエントリです。 こんにちは、ファッションフリマアプリFRILを運営しているFablicでエンジニアをしている@sinamon129です。 FRILの商品検索はElasticsearchを使っていて、最近nGramベースだったものを形態素解析ベースに変更しました。 その経緯やどういう手順で行ったかを書こうと思います。 主にユーザー辞書とsynonym辞書の構築の話がメインです。 どうしてnGramベースから形態素解析ベースに変更することになったか 関係ないものがなるべくひっかからないようにしたい nGramだとファーで検索したときに、ローファーやローリーズファームが引っかかり、本当に検索したかったものが出てこないという問題がありました。 （実際は出ているのだけども、埋もれてしまっている状態） 同じ意味の単
さだまさしを kuromoji を用いて簡単に品詞分解してみる - Qiita
さだまさし 名詞-固有名詞-人名-一般 さだまさしの、主に詩の歌詞を対象に、簡単な品詞分解と、それを基にした簡単な分析を行ってみた、というのがこの記事の内容です。 個人的な最終的なゴールは、さだまさし風の歌詞を自動生成する bot (さだロボ) を作る事になりますが、その過程を週一でディアゴスティーニ的に（サダゴスティーニとかは節度のある大人なので言わない）書いていければと思います。 ついでに、その道すがら、ちょっとした解析・分析結果なども書いていきます。 道具の用意 解析するにあたっていくつか道具が必要なので、最初に、使用したツール群について簡単にお話します。 kuromoji KuromojiはJavaで書かれているオープンソースの日本語形態素解析エンジンです。 Java で形態素解析を行いたい場合、昔は「Sen」などを使うことが多かったですが、atilika 社が OSS として k
LINE Developer Meetup in Fukuoka #13 (2015/12/08 19:30〜)
LINE Developer Meetup #13 LINE Fukuoka株式会社 です！ LINE株式会社、LINE Fukuoka株式会社主催のエンジニア技術交流会 LINE Developer Meetup in Fukuoka #13 を開催します。 ※ 申し訳ありませんが、現在エンジニアの方、またはエンジニア志望の学生の方という基本的にプログラミングに関わっているみなさまにご参加いただければと思います。 日時 2015年12月08日(火) 19:30〜21:30 (開場 19:00) 場所 ＫＤＸ博多南ビル3階 〒812-0016 福岡県福岡市博多区博多駅南１丁目３−１１ 予定 19:00〜 開場 19:30〜 「更新され続ける MeCab 用辞書 mecab-ipadic-NEologd」 / @overlast 20:00〜 「ビッグデータを分析するためのプラットフォームと
自然言語処理を自習したくなったら参考になりそうなサイトなど - 鴨川にあこがれる日々
雑にですが，知ってるサイトやチュートリアルをまとめたくなったのでまとめてみました．夏ですし． 適宜更新しています． 最終更新 2018年02月03日 チュートリアル 言語処理100本ノック 言語処理100本ノック 2015 東工大の岡崎先生が作られたチュートリアルです． 他大学の研究室でも利用されています． 簡単な内容からはじまるので，プログラミングの導入としてもいいと思います． NLPプログラミングチュートリアル Graham Neubig's Teaching Carnegie Mellon UniversityのGraham Neubig先生のチュートリアルです． Githubにサンプルコードが公開されています． 各チュートリアルにはテストがついているので，実装が正しいかを確かめることができます． 扱っているトピックが広いので，かなり勉強になると思います． ソフト 形態素解析器 日本
Word2Vecをhubotから使う
概要 overlast さんによる Word2Vec の WebAPI である word-vector-web-api を hubotから利用するスクリプトを書きました。 knjcode/hubot-word-vector-script Word2Vecとは Word2Vecというのは予め構築したモデル内で各単語を多次元のベクトルとして定義し、単語同士のベクトルの近似度や単語間のベクトルの近似度を求める手法です。詳細はgoogleの公式サイト等を御覧ください。 例えば、(SONY – PlayStation + Nintendo) という表現は、NintendoにおけるSONYのPlayStationに相当するものを表現します。 word-vector-web-apiに付属のモデルでは、(SONY – PlayStation + Nintendo) は Wii、ゲームボーイアドバンス、ニン
Lucene Kuromojiのトークナイズを、Graphvizを使ってビジュアル化する - CLOVER🍀
ちょっと前に見ていたこちらのエントリ。 Solr + kuromoji で単語の切れ方がおかしかったのでガッツリ調べてみた、理由と調べ方その方法を公開します！ http://blog.yoslab.com/entry/2014/09/12/005207 kuromoji のサイトに行くと、トークナイズの処理を分析することができる。 http://blog.yoslab.com/entry/2014/09/12/005207 Atilika Kuromojiのサイトやkuromoji-serverで、Kuromojiのトークナイズの様子がビジュアル化できるようで、へぇ〜と思っていたのですが、最近Lucene Kuromojiで同じことができそうなことに気付き、ちょっとやってみました。 kuromoji-server http://atilika.org/kuromoji/ ※このページで、「
[O] mecab-ipadic-NEologd v0.0.2 をリリースした
mecab-ipadic-NEologd v0.0.2 をリリースした Tweet [日記] 今日、6/23の朝 [2015-06-23] に、mecab-ipadic-NEologd の v0.0.2 をリリースしました🎉。 https://github.com/neologd/mecab-ipadic-neologd/releases/tag/v0.0.2 前回の v0.0.1 からの大きな差分は以下の5点です。 - 3ヶ月分の新語 - Unicode 6.0以前の絵文字に読みと品詞情報を付与 - IPA辞書に未再録で区切り間違う or 読みを付与できない副詞 - unk.defを変更して記号を記号,一般に - IPA辞書の一部のエントリの読み仮名誤りを修正 3ヶ月分の新語 v0.0.1以降に新しく再録したエントリは、diff以下で記録しています。 https://github.co
「お父さん - お母さん + チューハイ = ビール！？」word2vecで女性向けQ＆Aサイトを解析してみた - コネヒト開発者ブログ
こんにちは！ CTOの島田(@tatsushim)です。 前回のブログでは「データドリブン」開発手法について触れさせていただきました。 今回はIVS CTO Night & Dayで発表させていただいた内容についてご紹介したいと思います。 IVS CTO Night & Dayは、CTO及び技術責任者のためカンファレンスです。 GREE CTO 藤本さんのKeynoteに始まり、様々な技術責任者の方とディスカッションさせていただく濃い3日間でした。 非常に学びが多かったです。運営の皆様有難う御座いました。 初日にLTをする機会をいただきましたので、word2vecについて発表させていただきました。 こちらの発表内容について解説していきます。 そもそもword2vecとは？ ざっくり言うと、単語同士の関係性をベクトルとして表現し、そのベクトルを利用して類似度の計算や足し引きを可能にしたもので
MeCab システム辞書への単語追加（mecab-ipadic-neologd）
MeCab 辞書には、以前の記事でご紹介した「ユーザ辞書」と「システム辞書」の２種類があります。ユーザ辞書への単語の追加は、手軽な反面、解析速度が落ちるといったデメリットもあります。そこで今回は、MeCab の「システム辞書」に単語を追加する方法をご紹介します。また、最近話題の新語辞書 mecab-ipadic-neologd もシステム辞書に追加してみました。 作業の流れMeCab のシステム辞書は１つのみ、というルールがあるため、IPA辞書のソースディレクトリに、追加したい単語のCSVファイルを配置して、システム辞書を作成します。また、追加する単語のコストは、mecab-ipadicのモデルファイル使った自動推定機能を使います。 下準備MeCab と IPA辞書をインストールしておきます。 nkf コマンドのインストールIPA辞書の文字コードを、UTF-8 に変換するため、nkf コマ
あらゆる単語や文字列を正しく認識するための技術とデータについて - YAPC::Asia Tokyo 2014
How to build the neologism dictionary for Japanese natural language processing 月に数回更新している OSS な MeCab の新語・固有表現辞書の詳細、使用例について言及します。また、日本語自然言語処理の発展(例 : SF 映画の様にロボットの発するジョークで人間が豊かな気持ちになる未来)のために必要なデータの内容や形式、希望する公開方法についてお話します。 長い本文 単語や文字列を正しく読める・認識できることは、ネットを介して人と人が円滑に交流するために必須です。 それをコンピュータができる様にすることは、人間の言葉を電子テキスト化した情報を活用して便利な世の中を実現するためにも大切です。 例えば、検索エンジンの様々な機能や、ニュースアプリケーションのニュース記事の自動カテゴリ分類などは、コンピュータが単語や
Node.jsでmecab-ipadic-NEologdを使う
kuromoji.jsを使ってみたに引き続き、Node.jsでmecab-ipadic-NEologdを使ってみた際のメモです。 システムにmecabとmecab-ipadic-NEologdを導入し、mecabのラッパーであるmecab-async経由で形態素解析する例です。 mecab-ipadic-NEologdの導入mecab-ipadic-NEologdを導入するために、まずはmecabとmecab-ipadicをシステムに導入します。 手順については、mecab-ipadic-NEologdのREADMEに詳しく書いてありますので、ここでは、OSXの場合の手順を抜粋しておきます。 # mecabとmecab-ipadicと関連ツールをbrewでインストール $ brew install mecab mecab-ipadic git curl xz # mecab-ipadic-
[O] UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました
UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました Tweet [NLP] 今年3月中旬 [2015-03-13] に mecab-ipadic-NEologd をリリースして以来、mecab-ipadic-NEologd はとても順調に普及しています。 さて、今回は UniDic に新語や固有表現、Unicode 絵文字などを足すことができる mecab-unidic-NEologd を公開しました。 mecab-ipadic-NEologd を生成する手法を使っています。 https://github.com/neologd/mecab-unidic-neologd/blob/master/README.ja.md シードデータの性質上、構築されるシステム辞書には国語研短単位の条件を満たさないエントリも入りますので、あら
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - neologd/neologd-solr-elasticsearch-synonyms
おでかけスポット検索のむずかしさ - Holidayを支える検索技術
https://github.com/neologd/mecab-unidic-neologd/blob/master/README.ja.md
GitHub - neologd/mecab-unidic-neologd: Neologism dictionary based on the language resources on the Web for mecab-unidic
