ユーザーが冒頭の文章を数行書くと、続きをAIが作文するWebサービス「AIのべりすと」が登場し、一部で話題になっている。例えば、「吾輩は猫である。名前はまだない。そんな吾輩は今」のように書き出しを入力すると「とある場所にいる。そこはどこかというと、我が家のリビングだ。ソファに腰掛けてテレビを見ているのは、俺の妹である美夏だ」のように続きを出力する。
2.学習済みモデルの利用今回は、日本語の学習済みモデルを提供してくれているgpt2-japaneseを使います。ありがたい。小説を学習させたモデルも用意されているので、ちょうどいいですね。 本章ではローカルにクローンして、試しに動かしてみます。README.mdを読んでできる方は、この章は読まなくて大丈夫です。 2-1. モデルはv1の小説モデルを使います。新しいv2もありますが、短い入力にはv1が良いらしいので、何も考えずにv1を選択。 2-2. ダウンロードしたら解凍しておきます。Windowsなので、解凍用のフリーソフト(7-Zipなど)を使います。 2-3. GitHubからgpt2-japaneseをcloneします。 PyCharmの場合は、VCS>Checkout from Version Control>Gitを選択。 URLには、GitHubのページの「Code」をクリッ
※サンプル・コード掲載 1. あらすじ 人工知能という言葉が、昨今、ますます身近になってきており、Siriなどの対話システムも日々発達してきています。 また、人間の言語を人工知能に解釈させる対話システムの需要が増えると共に、NLP(自然言語処理)のニーズも日に日に高くなって来ています。 NLP分野では、画像処理系や、音声処理系と比較すると、まだ技術的なブレークスルーが起こっているという状況では無く、他の分野に比べて人工知能関連の技術適用は、限定的と言えるかもしれません。 しかしながら、NLPの分野でも、当然、機械学習は使用されますし、ディープラーニングをNLP分野に使おうとする動きも多く見られています。 今回は、その中で対話システムの制御等に使われる、入力文章の意図、主に対話カテゴリーの分類を、NLP、及び、機械学習を用いて、なるべくシンプルな手法で実装してみます。 文章のカテゴリー分類と
LINEヤフーが提供するテキスト解析WebAPI 日本語形態素解析 日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供します。 かな漢字変換 ローマ字、ひらがなの文を文節に区切り、変換候補を提示します。短い文字列から変換候補を推測するモードも提供します。VJEと同じ方式のかな漢字変換です。 ルビ振り 漢字かな交じり文に、ひらがなとローマ字のふりがな(ルビ)を付けます。 校正支援 日本語文の校正作業を支援します。文字の入力ミスや言葉の誤用がないか、わかりにくい表記や不適切な表現が使われていないかなどをチェックします。 日本語係り受け解析 日本語文の係り受け関係を解析する機能を提供します。 キーフレーズ抽出 日本語文を解析し、特徴的な表現(キーフレーズ)を抽出します。 自然言語理解 日本語文を解析し、情報の抽出を行う機能を提供します。 固有表現抽出 日本語文を解析し
TOP ツール 日本語形態素解析 日本語形態素解析サービス(無料ツール) 日本語文を形態素に分割し、品詞、読みがなの付与を表示します。 形態素(けいたいそ)とは、言語学の用語で、意味をもつ表現要素の最小単位です。機会学習で使用するデータにも形態素解析がよく利用されます。 Yahooテキスト解析APIを使用して解析します。 品詞について 解析結果として出力される品詞には下記があります。 1 : 形容詞 2 : 形容動詞 3 : 感動詞 4 : 副詞 5 : 連体詞 6 : 接続詞 7 : 接頭辞 8 : 接尾辞 9 : 名詞 10 : 動詞 11 : 助詞 12 : 助動詞 13 : 特殊(句読点、カッコ、記号、空白、タブ、改行など)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く