こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装されたBERTモデルに量子化を適応する方法を紹介します。 量子化とは 量子化という単語は数学や物理など様々な領域で使われています。ここで述べる量子化は情報理論における量子化であり、主に連続値を離散値で表現することを考えます。 機械学習の枠組みで考えるとモデルのパラメータや学習時の勾配（場合によっては入力と出力データも含める）の数値表現を浮動小数点から整数に変更することを目的にします。 ディープラーニングではパラメータ等をfloat32で表現することが多いですが、もしこれ

チャットボットやスマートスピーカー等の普及によって、音声でコンピューターを操作する機会が増えてきました。これらのシステムはAI（人工知能）を使用していますが、そのコアになる技術が「自然言語処理」です。 これは人間の会話（自然言語）の認識・生成を行う技術の総称ですが、自然言語処理はAI（人工知能）分野で今最も注目の集まる分野です。 というのも、この自然言語処理において最近大きなブレイクスルーがあり、それが2018年末に登場した「BERT」という手法なのです。複数のタスクにおいて人間の言語理解力を超える精度を示したことで大きな注目を集め、「ついにAI（人工知能）が人間を超えた」と言われるほどです。 この記事では、自然言語処理に一つの転換点をもたらしたBERTという手法は一体何か、どんな成果を上げたのかについて、AI（人工知能）初心者の方にもわかりやすく解説します。 BERTとは？特徴を知ってお

前回は Rasa NLU を用いて文章分類と固有表現抽出について紹介しました。今回は昨年後半に話題となった BERT について説明し、chABSAデータセットを用いた感情分析での実験結果、アプリケーションへの組み込み方などを紹介します。 1. 始めに 本記事では Google の BERT について、その概要を紹介し、BERT の事前学習済みモデルを用いてファインチューニングにより独自のモデルを構築することを念頭に、BERT の入出力インタフェースや学習データの構造を説明します。そして、ファインチューニングにより独自のモデルを構築する例として、chABSA データセットを用いた感情分析モデル生成の実験結果およびアプリケーションから利用する際のポイントを紹介します。 2. BERTの概要 BERT (Bidirectional Encoder Representations from Tra

自然言語を処理している方なら必ず聞いたことのある「BERT」。初めてBERTについて勉強したところ、この様な疑問が出てきました。 - 「BERTは何のデータを入力して何ができるのか」、 - 「BERTに関する記事は何故Self-Attention層しか説明してないのか」、 - 「一見何も出来なさそうなBERTなのになぜ神格化されるのか」 この様な疑問を答える為、今日はBERTの細かい構造と数学を無視して大まかにBERTの役割に関して説明してみます。 BERTとはBERTは 2018年Googleが発表した自然言語処理(NLP)モデルです。発表した論文の名前は「 “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”.」で、Self-Attention層で使ったTransformer

備考 中山 光樹（なかやま ひろき） 1991年生まれ。電気通信大学卒、電気通信大学情報理工学研究科修士課程修了。現在、企業にて、自然言語処理や機械学習に研究開発に従事。また、GitHub上でオープンソースソフトウェアの自然言語処理ライブラリ開発にも貢献している。 Contents Chapter 1 自然言語処理の基礎 1-1 本章の概要 1-2 自然言語処理とは？ 1-2-1 自然言語と人工言語 1-2-2 自然言語処理 1-3 自然言語処理のタスク 1-3-1 自然言語処理の基礎技術 1-3-2 自然言語処理の応用技術 1-4 自然言語処理の難しさ 1-4-1 おさらい Chapter 2 機械学習 2-1 本章の概要 2-2 機械学習とは？ 2-3 教師あり学習 2-3-1 分類 2-3-2 回帰 2-4 教師なし学習 2-4-1 クラスタリング 2-4-2 次元削減 2-5 強化

BERT（Bidirectional Transformers for Language Understanding）とは，2018年9月11日にarXivに公開された論文のモデルです．（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding）このBERTが出た当時，NLP界隈ではかなり騒がれていました．転移学習が可能で，様々なタスクにおいてSOTAと達成し，加えて，RNNベースではなく，Attentionベースなため並列計算ができ，学習速度も速い．（モデルの大きさにもよりますが） しかし，学習速度がある程度早く，かつ高精度なBERTですが，欠点を上げるとすればモデルがかなり大きいことでしょう．標準のBERTでもTransformerが12層も積み重なっています．今回紹介するのは、その