ユーザーが冒頭の文章を数行書くと、続きをAIが作文するWebサービス「AIのべりすと」が登場し、一部で話題になっている。例えば、「吾輩は猫である。名前はまだない。そんな吾輩は今」のように書き出しを入力すると「とある場所にいる。そこはどこかというと、我が家のリビングだ。ソファに腰掛けてテレビを見ているのは、俺の妹である美夏だ」のように続きを出力する。
2.学習済みモデルの利用今回は、日本語の学習済みモデルを提供してくれているgpt2-japaneseを使います。ありがたい。小説を学習させたモデルも用意されているので、ちょうどいいですね。 本章ではローカルにクローンして、試しに動かしてみます。README.mdを読んでできる方は、この章は読まなくて大丈夫です。 2-1. モデルはv1の小説モデルを使います。新しいv2もありますが、短い入力にはv1が良いらしいので、何も考えずにv1を選択。 2-2. ダウンロードしたら解凍しておきます。Windowsなので、解凍用のフリーソフト(7-Zipなど)を使います。 2-3. GitHubからgpt2-japaneseをcloneします。 PyCharmの場合は、VCS>Checkout from Version Control>Gitを選択。 URLには、GitHubのページの「Code」をクリッ
ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description
今回の目的 前回は、青空文庫のWebサイトから梶井基次郎の小説データを取得して、そこから本文のデータを抽出する方法を見ました。今回は、自然言語処理で扱いやすいように分かち書きをするための準備をします。 ところで、自然言語処理とはもちろん私たちが日常的に使っている言葉(ここでは日本語としましょう)をコンピューターに処理させることです。その結果、コンピューターに入力された言葉からは、何らかの情報が取り出されます。何らかの情報とは例えば地名や製品名、ランチの注文かもしれませんし、ユーザーがしたい何かのアクションかもしれません。あるいは、入力された言葉が、全体として肯定的なものなのか、否定的なものなのかを判断するといったことも考えられます。 いずれにせよ、こうした処理を行うには、入力された言葉をさまざまな段階を踏んで解析する必要があるでしょう。 例えば、「くるまでまつ」という文について考えてみます
今回の目的 前回までは画像処理についていろいろと試してきました。今回からは数回に分けて、自然言語処理(Natural Language Processing)について学んでいく予定です。ここ数年、機械学習の世界においてはTransformerやGPT-x、BERTなどなど、さまざまな技術が生み出されて、自然言語処理の分野が活況を呈しています。その適用領域も翻訳、文章の要約、感情分析、チャットボットなどなど、幅広いものです。 そうした中で、取りあえず今回からは青空文庫から著作権の切れた作品を学習データとして、文章生成を行うことを目的として、自然言語処理にまつわるさまざまな要素を学んでいくつもりです。
私は日々、AIを活用した創作活動を行なっている。特にAIの中でも自然言語処理に着目し、AIによる文章の生成について研究をしている。今回はAIを使って自動で詩を作るにはどうしたらよいか自分の作品を交えながら考察したいと思う。 Whispers from Buzz私はTwitterのトレンドワードを題材に、AIが詩を綴り続けるインスタレーション作品を作った。 その日その時のTwitterで発話数が多い特定の単語「トレンドワード」をリアルタイムに取得し、関連するツイート群 を統計解析し特徴語を割り出す。20万文の日本語を学習したAIが、特徴語から新規の文を生成することで、トレンドワー ドを題材とした詩(に見えるもの)が生成される。 3つの異なる性格付けをしたAIが同じお題(トレンドワード)でテイストの異なる3つの詩を生成し、プリンターから印刷し続ける。SNS上に投稿され、タイムライン上を流れては
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く