[B! nlp] icicaのブックマーク

icica id:icica

nlpに関するicicaのブックマーク (3)

おもしろいダジャレを入力すると布団が吹っ飛ぶ装置を作った - Qiita
面白いダジャレを言うと、何が起こるでしょうか。そうです。布団が吹っ飛びます。今回は、ダジャレを心から愛するブレインパッドのメンバー4人が制作した、最新ダジャレ AIを搭載した次世代型おもしろダジャレ検知マシン『オフトゥンフライングシステム』のご紹介をさせて頂きます。 ※補足＆感謝面白いと布団が吹っ飛ぶという発想は日テレ系列の大喜利番組「フットンダ」のリスペクトです「オフトゥンフライングシステム」という名前はボーカロイドソング、『オフトゥンフライングシステム』があまりにもイメージとぴったり合ったため、名前を使わせていただきました。こちらの曲を無限ループしながら記事を読んでいただけると、より楽しめる仕組みになっております Product Summary オフトゥンフライングシステムとは何か。分かりやすく説明すると、ダジャレ検知AI『Shareka』とダジャレ評価AI『Ukeruka』が搭
icica 2018/12/19
あとで読む

NLP

AI
リンク
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグや JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。前処理の種類と実装この節では以下に示す5つ
icica 2018/12/19
自然言語処理

nlp

機械学習

python

プログラミング
リンク
Python janomeのanalyzerが便利 - け日記
前回の投稿でも形態素解析に利用したjanomeですが、形態素解析を単純にラッピングするだけでなく、いくつかシンプルで便利な機能も実装されています。今回は、形態素解析以外の前処理も簡単に統合できるanalyzerについて紹介します。前処理が必要なデータ前処理が必要となるデータの例として、太宰治著「走れメロス」を青空文庫からダウンロードしてきます(原文はこちら)。 import urllib.request # 「走れメロス」を青空文庫からダウンロード url = 'http://www.aozora.gr.jp/cards/000035/files/1567_14913.html' html = '' with urllib.request.urlopen(url) as response: html = response.read().decode('shift_jis') prin
icica 2018/12/19
形態素解析

nlp

python
リンク
1