【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita
はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現で数値化し、以下の
グーグル、オープンソースの自然言語フレームワーク「SyntaxNet」をリリース
Boaty McBoatface、こちらが「Parsey McParseface」だ。 Boaty McBoatfaceは結局、英政府の新しい極地調査船の名称にはならなかったが、それでも技術大手Googleは、それをもじった独自の名称を新たにオープンソース化された同社の英語構文解析器に採用することにした。 より正確に言うと、Googleは米国時間5月12日、「TensorFlow」で実装されたオープンソースの同社自然言語フレームワーク「SyntaxNet」をリリースした。12日にリリースされたのは、新しいSyntaxNetモデルのトレーニングに必要なすべてのコードと、基本的にSyntaxNet用の英語プラグインであるParsey McParsefaceである。 Googleによると、SyntaxNetは、「Google Now」の音声認識機能など、同社の自然言語理解（Natural Lan
米googleの研究者が開発したWord2Vecで自然言語処理(独自データ) - Qiita
「Word2Vec」は、米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法であり、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にした自然言語処理の手法。 Word2Vecは、その名前の表す通り、単語をベクトル化して表現するする定量化手法である。例えば日本人が日常的に使う語彙数は数万から数十万といわれるが、Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。 その結果、今まで分からなかったり精度を向上するのが難しかった単語同士の類似度や、単語間での加算・減算などができるようになり、単語の「意味」を捉えられるようになった。 というわけで、かなり興味深いないようなので、早速実践してみることにします。 1.環境構築 subversionを使ってWord2Vecのソースコードをcheckoutする。 mkdir ~/word2vec_t
mrep 0.1.1 をリリースしました
先日、三浦海岸で行われたYANS合宿内で作った、形態素列パターンマッチャーmrepをリリースしました。 昨日行われたDSIRNLPでこれについて発表しました。 mrepとは何か？ mrepは形態素列に対して、正則言語によるマッチングをかけるためのツールです。 もともとMIURAという名前にするつもりだったんですが、すでにpypiに登録されていたので急遽リネームしました。 先にgithubで0.1.0をリリースしてしまっていたので、何故か0.1.1になります・・。 日常的にテキストデータなり、テキストを含んだjsonデータなりに対して、条件にマッチする行を検索することが有ります。 例えばお客さんからもらったデータの中で、特定の単語を含むところだけ抽出したり。 これには grep コマンドがよく使われて、その後は典型的には sort | uniq -c で数を数えたりしますよね。 ところが g
Pure Go な形態素解析器で実行バイナリに辞書埋め込んだヤツを作ってみた (1) - Qiita
はじめに DoubleArray を作ったこともあって，ついでに形態素解析器も作ってみようと思い立ち kuromoji を参考に形態素解析器を実装してみました．目標としては，Pure Go で kuromoji みたいな感じ（辞書内包，検索モードあり，スレッドセーフ）を目指します． サンプルプログラム 参考 下記を参考にさせていただきました． kuromoji 日本語入力を支える技術 Mecab 品詞IDの定義 形態素解析のちょー適当な説明 「形態素」が何であるかを議論し出すと面倒なことに巻き込まれそうなので，ここでは MeCab-IPADIC で定義されているものとします．形態素解析のアルゴリズムについては下記の資料などをあたってください． 日本語入力を支える技術 日本語解析ツール MeCab, CaboCha の紹介 用意するもの DoubleArray #前に作ったものを id が記
形態素解析辞書 UniDic
人気デベロッパー Play’N Go は、2017年にユニークなスロットを発売しました ムーンプリンセス. オンライン スロットゲーム ムーンプリンセス このゲームは、そのユニークなオプション、シンプルな操作性、アニメをモチーフにしたカラフルなグラフィックにより、瞬く間にプレイヤーから人気を集めました。 スロットマシンの ムーンプリンセス は、漫画『美少女戦士セーラームーン』のテーマを明らかにする。第1巻は1992年に発売され、現在も人気があります。を可能にします MoonPrincess は、長年にわたり最高のスロットのリストをリードし、プレイヤーに寛大な配当だけを提供し、ゲームプレイへの関心を保証します。 すべてのシンボルが雰囲気を強調する オンライン スロットゲーム ムーンプリンセス, 心地よいサウンドトラックがゲームプレイを引き立て、音楽をパーソナライズできるため、ユーザーはスロッ
映画「The Social Network」の脚本をNLTKで解析して遊んでみた - ぬいぐるみライフ？
※この記事には映画「The Social Network」のネタバレがそれなりに含まれています．これから映画を観る予定の方は逃げた方が賢明です． 最近ブログで宣言した通り，入門 自然言語処理を読みつつPythonのNLTK(Natural Language ToolKit)を使った自然言語処理について勉強中．入門 自然言語処理はPythonをロクに触ったことがない私でもちゃんと理解しながら読み進められるようになっているのが嬉しい． ところで，少し前に映画「The Social Network (ソーシャル・ネットワーク)」を観て，登場人物の台詞や行動がなかなか面白くて気に入ったのだけど，この脚本が映画の公式サイトで公開されていることを最近知った．映画の脚本となると，特徴的な表現が多く文章数もそれなりにあるので，興味深いコーパスになり得るのではないかと思う． というわけで，NLTK習い立ての
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブックマークに基づく関連記事レコメンドエンジンの開発
言語処理100本ノック 2015