自然言語処理分野で用いられる敵対的学習手法について - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 当社データサイエンティストが、自然言語処理分野でよく用いられる「敵対的学習手法」から、「FGM（Fast Gradient Method）」「AWP（Adversarial Weight Perturbation）」手法をピックアップしてご紹介します。 こんにちは。アナリティクスサービス部の佐々木です。 今回は、自然言語処理の分野においてよく用いられる「敵対的学習手法」についてご紹介します。 敵対的学習とは 敵対的学習の手法 FGM（Fast Gradient Method） AWP（Adversarial Weight Perturbation） おわりに 参考文献 敵対的学習とは 深層学習モデルの発展により、自然言語処理分野を含め様々な分野で高い精度のモデルを作成できるようになってきた
GiNZA で形態素解析やってみた（インストールで少しだけハマった） - Qiita
突如形態素解析をしてみたくなりました。 以前 MeCab をやったことがありますが、いまは GiNZA だというのでやってみました。 下記の WSL 環境です。 $ cat /etc/os-release NAME="Ubuntu" VERSION="20.04.3 LTS (Focal Fossa)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 20.04.3 LTS" VERSION_ID="20.04" HOME_URL="https://www.ubuntu.com/" SUPPORT_URL="https://help.ubuntu.com/" BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/" PRIVACY_POLICY_URL="https://www.ubuntu.com/l
最近、人工知能による自然言語処理が爆発的に進化しているのでまとめてみた。【中編】｜IT navi
２．自然言語処理の主要プレイヤー① Google 現在、自然言語処理の世界を牽引しているリーダーは、TransformerとBERTを開発したGoogleです。 Googleグループには、世界トップクラスの人工知能研究チームが2つあります。一つは、Google Brainチームで、もう一つは、英国のデミス・ハサビス氏が代表を務める人工知能開発ベンチャーを買収してできたDeepMindチームです。 Google Brainは、Googleエンジニアのジェフ・ディーン博士やスタンフォード大学のアンドリュー・ウン教授らが中心となって設立した研究チームで、現在は、Google研究所の傘下に入っています。また、ディープラーニングの父と呼ばれるジェフリー・ヒントン教授も現在、同チームを率いるメンバーに参加しています。 Google Brainは、Transformerなどの自然言語処理技術のほか、機械
えぬえるぴーや 1ねんせい
Event: みんなのPython勉強会#82 Presented: 2022/06/09 nikkie BERT以後の自然言語処理入門を話します いい感じのタイトルは「えぬえるぴーや 1ねんせい」となりました 元ネタは こちら （香川照之さん） BERTを ばーっと理解 しましょう 皆さんの自然言語処理経験 お前、誰よ にっきー ／ Twitter @ftnext ／ GitHub @ftnext えぬえるぴーや 4年生（株式会社ユーザベースのデータサイエンティスト） Python大好き 6年生（みんなのPython勉強会のスタッフ） えぬえるぴーやの提唱者 電波受信！ 自然言語処理（NLP）に従事する者の呼称、 NLPer（えぬえるぴーや） SIerと同じ読み方なら、えぬえるぴあー、でも「ぴーや」もそんなに変わらないのでは？ 試しに今後のLTなどで名乗って見よう — nikkie にっ
平均的な人間の能力を超えた―、常識や知識を獲得した大規模言語モデルが開く新ビジネス領域 | Coral Capital
月間10万人が読んでいるCoral Insightsのニュースレターにご登録いただくと、Coral Capitalメンバーによる国内外のスタートアップ業界の最新動向に関するブログや、特別イベントの情報等について、定期的にお送りさせていただきます。ぜひ、ご登録ください！ Coral Capitalのポッドキャストでは、かなりAIに編集作業を頼っています。英語でインタビューしていることから、日本語では未実現の最新技術を使ったサービスに触れる機会があるのですが、ここ1、2年は、その進化には目を見張るものがあります。 収録した音声を文字（テキスト）に変換する「文字起こし」の精度が上がった結果、もはや人間に依頼する意味はなくなりましたし、音声編集についても画期的な機能が登場しています。それは音声から文字起こしされたテキストを編集することで、それに対応する元の音声データも同時に編集可能である、という機
【テキストマイニング研究室：第１回】 テキストマイニングの基礎技術 “形態素解析” とは？｜見える化エンジン｜note
【テキストマイニング研究室】では、見える化エンジンのコア技術であるテキストマイニングに関連した技術について詳しく解説していきます。 言語処理ってなに？ 若者が使う言葉によって、時代が変わるとともに使われる言葉は変化をしていきますが、そんな言葉を解析処理はどう処理していくのか…？ などなど、読み終わった後には「テキストマイニングってこういう使い方ができるのか！」と新たな技術への知見ができるでしょう。 最新技術を学びたい人はぜひ最後までお読みください。 第1回のテーマ…"形態素解析"テキストマイニングの基盤技術は、コンピュータで言葉を解析する技術である“自然言語処理“です。 見える化エンジンは、その中の “形態素解析” と “構文解析” の両方を用いています。 第1回目は、この “形態素解析” についてご紹介します。 第2回では、"構文解析"について解説いたします。 “形態素解析” とは？ 形
量子自然言語処理〜量子回路で文章を理解する〜 - GMOインターネットグループ グループ研究開発本部
こんにんちは、次世代システム研究室のT.I.です。 前回のBlogでは、現在実用化されている量子コンピュータ(NISQデバイス)の機械学習への応用を紹介しました。今回も引き続き量子コンピュータの話題として、量子計算に基づいた自然言語処理(参考文献 [1-5]) について解説したいと思います。 TL;DR 最近、量子コンピュータを用いた自然言語処理の実証実験がCambridge Quantum Computing (CQC) によってなされました。 この量子自然言語処理のモデル(DisCoCat)では、文章を単語のネットワークに書き換えて、それを量子回路に変換し実行します。その出力結果を文章の真偽として、教師データを元に量子回路のパラメータを学習させます。その結果、簡単な推論タスク(ex. Alice is rich. & Alice loves Bob. ⇒ Is Alice who lo
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI Shift
こんにちは AIチームの戸田です 近年、自然言語処理タスクにおいて、BERTを始めとするTransformerをベースとした事前学習モデルを感情分類や質問応答などの下流のタスクでfine-tuningする手法が一般的になっています huggingfaceのTransformersなど、事前学習モデルを簡単に使うことのできるライブラリもありますが、Kaggleなどのコンペティションで上位に入るには素のモデルのままでは難しく、ヘッダや損失関数などの工夫などが必要です 本記事では私がKaggleのコンペティションに参加して得た、事前学習モデルのfine-tuningのTipsを共有させていただきます 書きたい内容が多くなってしまったので、今回は学習の効率化について、次回精度改善について、と２回に分けて書かせていただきます 事前準備 学習データとして、先日終了したKaggleのコンペティション、C
Python自然言語処理テクニック集【基礎編】
自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機械学習、ディープラーニングは出てきません！テキストデータの前処理が中心です。 前処理系 大文字小文字 日本語のテキストにも英語が出てくることはあるので。 s = "Youmou" print(s.upper()) # YOUMOU print(s.lower()) # youmou 全角半角 日本語だとこちらのほうが大事。 全角半角変換のライブラリはいくつかありますが、自分はjaconv派。 MIT Licenseで利用可能です。 import jaco
Mecabなど形態素解析で使うIPA品詞体系（品詞ID｜pos-id） - MS Tech
Mecabや茶筅など形態素解析で使う辞書のIPA品詞体系をまとめてみました。 Mecabでは::getPosId()で品詞IDを取得できます。 [amazonjs asin=“4873114705” locale=“JP” title=“入門 自然言語処理”] IPA品詞体系 品詞ID 分類 例 説明 0 その他,間投 「あ」「ア」のみ 「そんなぁ」 1 フィラー 「えーと」「なんか」など 2 感動詞 「うむ」「お疲れさま」「トホホ」 3 記号,アルファベット 「A-z」 4 記号,一般 「？」「！」「￥」 5 記号,括弧開 「（」「【」など 6 記号,括弧閉 「 ）」「】」など 7 記号,句点 「。」「．」のみ 8 記号,空白 「 」のみ 9 記号,読点 「、」「，」のみ 10 形容詞,自立 「美しい」「楽しい」 11 形容詞,接尾 「ったらしい」「っぽい」 12 形容詞,非自立 「づら
cos類似度の次元の呪い - はしくれエンジニアもどきのメモ
cos類似度の次元の呪い 元ネタはこちらの記事 コサイン類似度が高いベクトルはどれくらい似ているか(岩波データサイエンス刊行イベントより) - 木曜不足． cos類似度は計算しやすいので，言語処理界隈では単語ベクトルや画像理処理界隈ではヒストグラムをベクトルに見立てその2つが似ているかどうかに使われやすい． 上記の記事をよくよく考えると，cos類似度は次元数によって珍しい類似度の値が変わるので 極端に1に近い数字，0に近い数字が出ても鵜呑みにしてはいけないんじゃないかと思ったので，それについてのメモ． （この解釈が正しいのか，スパース界隈の論文探せば触れてそうだけど似たような図が出てこなかったのでちょっとわからん．） cos類似度おさらい 参考：コサイン類似度 2つのベクトルがどのくらい似ているかを角度を使って表す． マイナス成分もあれば[-1, 1]で表され，1に近ければ平行より類似して
トピックモデルシリーズ 5 PAM （Pachinko Allocation Model） - StatModeling Memorandum
LDAの不満点の一つとしましては、トピック間の関係性を全て無視しているところです。例えば、「政治」と「経済」なんかは相関ありそうですよね。そういうトピック間の相関を考慮したモデルとしてはCTM（Correlated Topic Model）があります。実はStanのマニュアルでもCTMは実装されています（githubではここ）が、サンプルデータとサンプルプログラムをそのまま実行しても全く収束する気配がなくて殺意がわきます。またCTMの弱点としては2つのトピックの間の関係しか考慮されていないこと、また推定する分散共分散行列のパラメータ数がトピック数の2乗に比例して大きくなっていくという点が挙げられます。 そこで今回のPAM（[Li+ 2006]）を少し砕いて紹介して実装したいと思います。まずはこの記事の表記法は以下になります。前回の途中から使った単語の出現数（Frequency）を今回も使い
情報学広場：情報処理学会電子図書館
※ユーザ登録は無料です． 本電子図書館のご利用にあたっては「情報処理学会電子図書館利用規約」をご遵守下さい。 情報学広場に掲載されているコンテンツには有料のものも含まれています。 有料コンテンツをご購入いただいた場合はクレジットカード決済のみとなります。 複写および転載をされる方へ一般社団法人情報処理学会では複写複製および転載複製に係る著作権を学術著作権協会に委託しています。当該利用をご希望の方は、学術著作権協会が提供している複製利用許諾システムもしくは転載許諾システムを通じて申請ください。 尚、本会会員（賛助会員含む）および著者が転載利用の申請をされる場合については、学術目的利用に限り、無償で転載利用いただくことが可能です。ただし、利用の際には予め申請いただくようお願い致します。
NICT BERT 日本語 Pre-trained モデル
概要 このページでは、日本語Wikipediaを対象に情報通信研究機構 データ駆動知能システム研究センターで事前学習を行ったBERTモデルをクリエイティブ・コモンズ 表示 4.0 国際ライセンス (CC BY 4.0)のもとで公開しています。 BERTモデル [1] の学習では、バッチサイズやステップ数を増やすことで性能が向上することが報告されています [2]。そこで本ページのモデルでは、[2] のRoBERTa-500Kと同等の計算量となるよう、ステップ数を [1] と同様に100万に保ちつつ、バッチサイズを [1] の16倍の4,096にして学習を行いました。 作成したBERTモデルの評価として、NICTで作成した (fine-tuning用) 学習データと評価データ (これらのデータは大規模Web情報分析システムWISDOM X、対災害SNS情報分析システムDISAANA、災害状況要
自然言語処理 #2のカレンダー | Advent Calendar 2019 - Qiita
The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
東京大学2021年度深層学習（Deep learning基礎講座2021） 第8回「深層学習と自然言語処理」
https://www.ai-gakkai.or.jp/jsai2014/webprogram/2014/pdf/661.pdf
https://db-event.jpn.org/deim2011/proceedings/pdf/f4-1.pdf
Sign in - Google Accounts
https://www.anlp.jp/proceedings/annual_meeting/2013/pdf_dir/P5-18.pdf