タグ

NLPに関するheadless_pastaのブックマーク (13)

  • おもしろいダジャレを入力すると布団が吹っ飛ぶ装置を作った - Qiita

    面白いダジャレを言うと、何が起こるでしょうか。 そうです。布団が吹っ飛びます。 今回は、ダジャレを心から愛するブレインパッドのメンバー4人が制作した、最新ダジャレAIを搭載した次世代型おもしろダジャレ検知マシン『オフトゥンフライングシステム』のご紹介をさせて頂きます。 ※補足&感謝 面白いと布団が吹っ飛ぶという発想は日テレ系列の大喜利番組「フットンダ」のリスペクトです 「オフトゥンフライングシステム」という名前はボーカロイドソング、『オフトゥンフライングシステム』があまりにもイメージとぴったり合ったため、名前を使わせていただきました。こちらの曲を無限ループしながら記事を読んでいただけると、より楽しめる仕組みになっております Product Summary オフトゥンフライングシステムとは何か。分かりやすく説明すると、ダジャレ検知AI『Shareka』とダジャレ評価AI『Ukeruka』が搭

    おもしろいダジャレを入力すると布団が吹っ飛ぶ装置を作った - Qiita
  • 「赤の他人」の対義語は「白い恋人」 これを自動生成したい物語 - Qiita

    背景 「造語対義語」がちょっと面白いと思ったので、Word2Vecを応用して機械に作らせてみよう!という試み。 やりたいことは、以下のようなギャグ対義語を自動生成すること。 「赤の他人」⇔「白い恋人」 「ウサギは寂しいと死ぬ」⇔「ゴリラは孤独を背負い生き抜く」 「生きろそなたは美しい」⇔ 「死ねブス」 「冷やし中華始めました」⇔ 「おでんはもう辞めました」 「コアラのマーチ」 ⇔ 「ゴリラのレクイエム」 「やせ我慢」 ⇔ 「デブ大暴れ」 「生理的に無理」 ⇔ 「理論上は可能」 「ゲスの極み乙女」 ⇔ 「ほんのりピュア親父」 「週刊少年ジャンプ」⇔「月刊老人スクワット」 「お母さんと一緒」 ⇔ 「お父さんは別居」 「そんなんじゃ社会に出てから通用しないぞ」 ⇔ 「それだけの力があれば幼稚園では無敵だろう」 果たしてWord2Vecを活用して、このようなユーモアを生み出せるのか!? 投稿の内

    「赤の他人」の対義語は「白い恋人」 これを自動生成したい物語 - Qiita
    headless_pasta
    headless_pasta 2018/05/07
    試行錯誤ぐあいが見れて面白い / これ好きw "ウサギは寂しいと死ぬ ⇔ カエルは辛いと絶える" "羊たちの沈黙 ⇔ 鶏達の驚愕"
  • サブカルのためのword2vec | BLOG - DeNA Engineering

    はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。( @bonprosoft, ポートフォリオ:http://vbcpp.net/about/ ) 現在、東北大学大学院の修士1年で、大学院では(自然言語ではなく)高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか? ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み

    サブカルのためのword2vec | BLOG - DeNA Engineering
  • さらなる Naive Bayes: 不均衡データに対する UniversalSetNB と SelectiveNB の紹介 - Debug me

    ちゃお……† まいおり……† こちらの記事は機械学習数学 Advent Calendar 2017の23日目の記事となります。 qiita.com 以前、Naive BayesとComplement Naive Bayes, Negation Naive Bayesでの多クラス分類を比較しました。今回も別のNaive Bayes亜種での多クラス分類をみていこうと思います。なお多クラス分類とは、文書 $d$ がどのクラス $c$ に属しているかを求めることです。 それぞれの手法 Naive Bayes Naive Bayesによる多クラス分類では、ベイズの定理を適用した事後確率 $\Pr(c|d)$ が最大となるクラス $ \tilde{c}$ を求めます。ただ、$\Pr(d|c)$ を直接推定するのは難しいので、文書 $d$ を文書 $d$ に含まれる単語列 $ w_1, w_2, ..

    headless_pasta
    headless_pasta 2017/12/25
    悔しいぐらいためになる。
  • AIで新聞社の抱える課題を解決--コールセンターの効率高める自然言語処理の使い所

    まず、Answer Finderを利用し、スタッフ向けの応対業務支援システムを作った。ここでは、事前にお手になる信頼性の高い応答データを集め、機械学習させてからスーパーバイザーがチューニングを施しておく。 このシステムに対してスタッフが問い合わせ内容を入力すると、適切と思われる回答候補が表示される仕組みだ。これにより、導入前に平均7分かかっていた応対時間を2分に短縮した。うまくブラッシュアップすれば、問い合わせする人がアクセスして回答を直接得るという、問い合わせのセルフサービスシステムも構築できるという。 VoC Analyzerは、蓄積した応対データを分析するために利用した。例えば、問い合わせ履歴やアンケート結果、SNSデータなどに対して自然言語処理、深層学習、機械学習をかけると、キーワードや注目データ、類似データが得られる。しかも、分析作業の手間が、従来の10分の1~100分の1にな

    AIで新聞社の抱える課題を解決--コールセンターの効率高める自然言語処理の使い所
  • Googleクラウド自然言語APIを使ってみた - Qiita

    { "entities": [ { "salience": 0.26294392, "mentions": [ { "text": { "content": "語", "beginOffset": 51 }, "type": "COMMON" }, { "text": { "content": "語", "beginOffset": 63 }, "type": "COMMON" }, { "text": { "content": "語", "beginOffset": 81 }, "type": "COMMON" } ], "type": "OTHER", "name": "語", "metadata": {} }, { "salience": 0.16206388, "mentions": [ { "text": { "content": "Google", "beginOffset":

    Googleクラウド自然言語APIを使ってみた - Qiita
  • Scikit learnで学ぶ機械学習入門

    勉強会で話した、Scikit-learnの入門資料です。speakerdecでも共有しましたが、slideshare一化のためこちらにも上げます

    Scikit learnで学ぶ機械学習入門
  • TinySummarizer

    概要 TinySummarizer は自動要約プログラムです。 詳しくは README.md をご覧ください。 特徴 TinySummarizer は自動要約プログラム Shuca を JavaScript に移植したものです。 HTML 文書などから文抽出されたテキストを対象に要約を行うことを想定しています。そのため、 Shuca とは異なり、様々な文書ドメインにおいて比較的頑健であると思われる単語頻度のみを用いて重要文の抽出を行っています。 TinySegmenter による前処理を想定しているため、品詞による内容語と機能語の選別を行っておらず、内部に保持したストップ・ワードのリストに基づいて重要文の抽出に利用する単語の選別を行います。 TinySegmenter と TinySummarizer によって完全にクライアント・サイドのみで自動要約処理が可能です�。 文分割用に簡単な文

    headless_pasta
    headless_pasta 2015/09/28
    "TinySummarizer は自動要約プログラム Shuca を JavaScript に移植したものです。"
  • 自然言語処理を自習したくなったら参考になりそうなサイトなど - 鴨川にあこがれる日々

    雑にですが,知ってるサイトやチュートリアルをまとめたくなったのでまとめてみました.夏ですし. 適宜更新しています. 最終更新 2018年02月03日 チュートリアル 言語処理100ノック 言語処理100ノック 2015 東工大の岡崎先生が作られたチュートリアルです. 他大学の研究室でも利用されています. 簡単な内容からはじまるので,プログラミングの導入としてもいいと思います. NLPプログラミングチュートリアル Graham Neubig's Teaching Carnegie Mellon UniversityのGraham Neubig先生のチュートリアルです. Githubにサンプルコードが公開されています. 各チュートリアルにはテストがついているので,実装が正しいかを確かめることができます. 扱っているトピックが広いので,かなり勉強になると思います. ソフト 形態素解析器 日

    自然言語処理を自習したくなったら参考になりそうなサイトなど - 鴨川にあこがれる日々
  • [O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました

    MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia語版やはてなキーワードなどです。 困ったことに、新語辞書を生成

  • 相変わらず半端ないディープラーニング、感動した最新の研究結果を2つ

    ディープラーニングが猛威を振るっています。私の周りでは昨年から多く聞かれるようになり、私も日経BPさんの連載で昨年5月にGoogleの買収したDeep Mind社について触れました。今年はさらに今までディープラーニングについて触れていなかったメディアでも触れられるようになってきましたね。例えば、イケダハヤトさんも先日。高知でも話題になっているのですね。 私事ですが、今度湯川鶴章さんのTheWaveという勉強会で、人工知能とビジネスについて一時間ほど登壇させていただくことになりました。有料セミナーということです。チャールズべバッジの解析機関についてはこのブログでも以前触れましたが、「機械が人間を置き換える」みたいな妄想は100年位は言われていることですね。「解析機関」「機械学習」「人工知能」「シンギュラリティー」など、呼び名はどんどん変わり、流行り廃りもありますが、最近ロボットの発達も相まっ

    相変わらず半端ないディープラーニング、感動した最新の研究結果を2つ
  • 形態素解析エンジンMeCabにて文章中から短歌を抽出 - inaniwa3's blog

    概要 偶然57577になっている文章を短歌としてつぶやく Twitter の bot を作りました。 フクロウが鳴くと明日は晴れるので洗濯物を干せという意味 #tanka ウィキペディア日語版「フクロウ」より http://t.co/Dm1uHcQdzR— 偶然短歌bot (@g57577) 2014, 12月 31 再帰的アルゴリズムが有効な問題として有名であり #tanka ウィキペディア日語版「ハノイの塔」より http://t.co/vm2ZqwImKi— 偶然短歌bot (@g57577) 2014, 12月 31 文章はウィキペディア日語版を対象としました。 作り方 jawiki-latest-pages-articles.xml.bz2 をダウンロード。 WP2TXT で上記を扱いやすい形式に変換。 このスクリプト で57577になっている文を抽出。数時間かけて(遅い)

    形態素解析エンジンMeCabにて文章中から短歌を抽出 - inaniwa3's blog
  • なぜ「主人がオオアリクイに殺されて1年が過ぎました」なのか? - あんちべ!

    件名: 主人がオオアリクイに殺されて1年が過ぎました。 差出人: 久光 いきなりのメール失礼します。 久光さやか、29歳の未亡人です。 お互いのニーズに合致しそうだと思い、連絡してみました。 自分のことを少し語ります。 昨年の夏、わけあって主人を亡くしました。 自分は…主人のことを…死ぬまで何も理解していなかったのが とても悔やまれます。 主人はシンガポールに頻繁に旅行に向っていたのですが、 それは遊びの為の旅行ではなかったのです。 収入を得るために、私に内緒であんな危険な出稼ぎをしていたなんて。 一年が経過して、ようやく主人の死から立ち直ってきました。 ですが、お恥ずかしい話ですが、毎日の孤独な夜に、 身体の火照りが止まらなくなる時間も増えてきました。 主人の残した財産は莫大な額です。 つまり、謝礼は幾らでも出きますので、 私の性欲を満たして欲しいのです。 お返事を頂けましたら、もっと詳

    なぜ「主人がオオアリクイに殺されて1年が過ぎました」なのか? - あんちべ!
  • 1