fastTextを使用した文章ベクトル作成 – 株式会社エノキ
BERTを使用した文章ベクトル作成の記事では、日本語BERT学習済みモデルを使った日本語の文章ベクトル作成をしてみました。文章ベクトルを作ることで、文章の分類や、機械学習アプリケーションへの入力として使うなど、色々な自然言語処理に応用することができます。文章ベクトルを作るには自然言語処理モデルを使いますが、モデルには色々な種類がありBERTだけでなく、その進化系のALBERTや、XLNetなど新しいモデルが提案され精度向上を謳っています。 今回はBERT以外のモデルでの文章ベクトル作成を試してみたいと思います。今回使うモデルは、Facebookで開発されたfastTextです。fastTextを自然言語に活用しようと思っていらっしゃる方向けの技術情報になれば幸いです。 Word2Vecを考案したトマス・ミコロフが、GoogleからFacebookの人工知能研究所「Facebook AI R
トークナイザをいい感じに切り替えるライブラリ konoha を作った - Qiita
TL; DR 文のトークン化のためのライブラリである konoha の紹介をします． (旧 tiny_tokenizer) ↓みたいな感じで使えます．なにとぞ〜 from konoha import WordTokenizer sentence = '自然言語処理を勉強しています' tokenizer = WordTokenizer('MeCab') print(tokenizer.tokenize(sentence)) # -> [自然, 言語, 処理, を, 勉強, し, て, い, ます] tokenizer = WordTokenizer('Kytea') print(tokenizer.tokenize(sentence)) # -> [自然, 言語, 処理, を, 勉強, し, て, い, ま, す] tokenizer = WordTokenizer('Sentencepie
MeCabへユーザー辞書を追加する方法
こんにちは、GMOアドマーケティングのS.Rです。 NLP（自然言語処理）は機械学習の中でも人気な分野の一つです。 今回は日本語のNLPで重要な処理である形態素解析のツール「MeCab」へユーザー辞書を追加する方法を紹介します。 1. NLPの基本処理プロセス 日本語を英語へ機械翻訳する例で説明します。 基本処理プロセスは図1の通りです。形態素解析は日本語に関するNLP処理の最初のプロセスです。 図1. 機械翻訳の処理の流れ 2. 形態素解析とは 形態素解析については以下のWikipediaの解説をご覧ください。 形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の
MeCabをブーストさせよう - Qiita
はじめに MeCabとは日本語の形態素解析器をいいます。ここで、形態素というのは言語で意味を持つ最小単位のことです。分割された単語をベクトル化したり、各語彙の頻度を調べたりするために、最小単位に分割するモチベーションが生じます。 そもそもなぜ、形態素解析なんかやるの？っていう動機については、http://qiita.com/Hironsan/items/2466fe0f344115aff177 とかに書かれている通り、(上記の記事では、単語の分割が形態素解析に当たります)、分割された単語をベクトル化したり、各語彙の頻度を調べたりするためです。今回は、MeCabを用いて、できるだけ、精度高く分かち書きできるように頑張ります。1 追記) もう一つのMecabをブーストさせよう(Google Search Console編: https://qiita.com/knknkn1162/items/
英文高速リーディングの仕組みでさだまさしの名曲を体感する - Qiita
英文高速リーディングでさだまさしの名曲を再生する 記事を読む前に動作するサンプルを準備したので以下URLで挙動をご確認下さい。曲は関白宣言 / 案山子 / 防人の詩 / 秋桜 の4つを準備しました。 この記事はサンプルの実装方法と背景についての説明です。 クリスマス後が本番。1/1は毎年恒例「今夜も生でさだまさし」 今年も残り少なくなってきました。こうやって毎日カウントダウンされてるとクリスマスまで楽しみになります。 そしてクリスマスが過ぎるとファンにとってのメインイベント、毎年恒例「今夜も生でさだまさし」の生放送があります。来年2016年の放送は1月1日0:25～ですので除夜の鐘を聴いて年越しした後はそのままTVの前にかぶりつきましょう。 英文高速リーディングのSpritzと歌詞のインプリンティング 定期的に話題に上がるSpritzは英文を高速に読むために単語を整えて連続して表示するツー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
