golang で形態素解析を並列実行させて Word Count する - 押してダメならふて寝しろ
はじめに kagome は goroutine セーフに作ってあるんですが，あんまり並列実行的なサンプルとか書いてないなと思って並列実行でテキストに出てくる名詞を引っこ抜いて数えるサンプルを作りました． あと，昨日 suzuken =san が 形態素解析をした後の品詞が取り出しにくいよという Issue を上げてくださって，Token に Pos() という品詞を取り出すメソッド追加しました．今までは， if t := tok.Features(); len(t) > 0 && t[0] == "名詞" { // 名詞の時の処理 } と書いていたのを if tok.Pos() == "名詞" { // 名詞の時の処理 } と書けるようになりました．suzuken = san ありがとうございます． ( '-`).oO( 品詞以外も便利関数欲しいところですが，辞書によって辞書内容がかなり自
kuromoji.jsでmecab-ipadic-NEologdを使う - Qiita
JavaScriptだけで形態素解析ができるkuromoji.jsで、mecab-ipadic-NEologdを使いたいなーと思って、試してみました。 結論 辞書生成はできた 辞書サイズが大きすぎてメモリ馬鹿食いする 読み込みに時間がかかる サーバサイドでの使用ならいいかもしれませんが、クライアントサイドでの利用は難しいかなと思いました。 サーバサイドなら素直にmecab使うほうが楽な気はしますね。 辞書生成方法 追加辞書の用意 ここから追加辞書をダウンロードして解凍します。 ここではmecab-user-dict-seedを追加しようと思います。
Pyconjp2015 - Python で作って学ぶ形態素解析
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
はてなサマーインターンシップ2015に行ってきました - e-mon
題目の通り，株式会社はてなのサマーインターンシップ2015に行ってきました． hatenacorp.jp インターンシップの流れについては，他のインターンシップ生が詳細を書いてくれているので， 僕は参加したアドテクコースについて書こうと思います． アドテクコースとは？ 今回のサマーインターンシップで初めて実施されるコース. 募集要項によると， 企業ブランドを毀損するサイトへの広告掲載を阻止する、アドベリフィケーションサービス「BrandSafe はてな」をはじめとした、はてなのアドテクノロジー関連事業の開発に取り組むコースです。広告主とインターネットユーザーをより良いかたちで引き合わせることを支援する事業領域にて、その改善に取り組んでいただきます。 あると望ましいスキル 大規模データ処理、検索、自然言語処理、レコメンデーション、統計といった、アドテクノロジーに関連する領域のスキル とありま
kuromoji.jsの辞書に単語を追加する - Qiita
やりたいこと kuromoji.jsを使って、提供されている辞書に単語を追加したい。 環境 OS X Yosemite 10.10.5 手順 mecab, mecab-ipadicをインストール 追加したい単語の辞書用CSVファイルを作る mecab-ipadicのモデルファイルからコストの自動推定をする kuromoji.jsで辞書を作成する 確認 1. mecab, mecab-ipadicをインストール Node.jsでmecab-ipadic-NEologdを使うを参考に、mecabとmecab-ipadicをインストールする。 $ brew install mecab mecab-ipadic xz $ echo '施行期日' | mecab 施行 名詞,サ変接続,*,*,*,*,施行,シコウ,シコー 期日 名詞,一般,*,*,*,*,期日,キジツ,キジツ EOS
kuromoji.jsを使って日本語クローズテスト
クローズテストってものがあるらしい オライリーから出ているインタフェースデザインの実践教室という本を読んでいたところ、文章のユーザビリティをチェックする為のクローズテストについて説明がありました。 簡単に説明すると一定間隔で穴が開いた状態のテキストを読んで、ユーザーが文章の意味をくみ取れるかをチェックする為のテストです。 ある程度の単語が隠れた状態でも伝わる文章を書けという事でしょうか。 詳しくはこちら Testing Content · An A List Apart Article 実装してみよう 先に上げた本の中で訳者が、日本語でUI用途の利用例が見つかれないよーと書いてあったので早速実装してみました。 また、先日からJavaScriptで言語処理100本ノック2015というのに取り組んでいる最中でしたので、kuromoji.js というライブラリを使いJavaScriptでの実装を
1binary 自己完結型の 形態素解析器 kagome を 作ってみた話 - 押してダメならふて寝しろ
GoCon 2015 Summer の発表スライドです．
「Hatena Engineer Seminar #5 @ Tokyo」を開催しました＆資料を公開しました #hatenatech
こんにちは。はてなチーフエンジニアの id:Songmu です。 去る、6月16日（火）にHatena Engineer Seminar #5をはてな東京オフィス、イベントスペースにて開催いたしました。火曜の夜という時間帯にも関わらず、多数のご参加誠にありがとうございました。 今回は、全文検索やレコメンドエンジン、機械学習などコアな技術について、はてなならではの取り組みをお伝えできたのではないかと思います。 それぞれ短いながらボリュームのある内容であったので、参加者の皆様の頭も疲れたのではないかとも思いますが、その後の懇親会も非常に盛り上がっていたのも開催者として非常に嬉しく思いました。 これからも、定期的にEngineer Seminarを開催し、皆様にはてな内での技術的取り組みをお伝えしていきます。また、アンケートにも皆様熱心にお答えいただきましてありがとうございました。頂きましたフィ
kuromoji.js - Webブラウザ上で分かち書き！ MOONGIFT
テキストから意味を読み取るというのは非常に難しく、そのための専用ソフトウェアが存在するほどです。そしてテキスト解析手法の一つとして知られているのが分かち書きです。日本語であればChasenがよく知られています。 kuromoji.jsはそんな分かち書き処理をJavaScriptで行ってしまおうというソフトウェアになります。KuromojiというApache財団のオープンソース分かち書きエンジンをJavaScriptにポーティングしています。 kuromoji.jsの使い方 こちらはデモです。Webブラウザベースで動作しています。nodeでも使えます。 適当な文章をリアルタイムに分かち書きできます。 kuromoji.jsは辞書ファイルをAjaxで取得しています。そのためサイズは大きくなりますが、分かち書きの精度はとても高くなります。サーバサイドで辞書を用意したり分かち書きエンジンを用意する
kuromoji.js使って構文解析した - Qiita
こんにちは、らこです。先日から話題になってるJavaScriptの形態素解析器kuromoji.jsを使って、確率自由文脈文法で構文解析してみました。(注意:アルゴリズムの解説記事 ではない です) 結論 kuromoji.js遊びまくれるのでみんな使おう kuromoji.d.ts書いた 私は型大好き人間なのでTypeScript使ってkuromoji.js使いました。型定義ファイルは自分が使う部分だけエイヤっと自作しました(laco0416/kuromoji.d.ts)。 あと、プロジェクトに↑の自作型定義ファイルを読み込むのにdtsm使いました。tsd使ってたのが馬鹿らしくなるくらい便利です。作者のvvakameさんによるわかりやすい紹介はこちら 確率自由文脈文法とは ちゃんと説明すると長くなりますしうまく説明できる自信もないので、ばっさりカットします。 雰囲気つかむにはここらへんを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hubot-middleware-kuromoji
【転職会議】企業の口コミ・評判・求人が豊富な転職サイト
GitHub - takuyaa/kuromoji.js: JavaScript implementation of Japanese morphological analyzer