「rinna」の日本語GPT-2モデルが公開されたので、ファインチューニングを試してみました。 ・Huggingface Transformers 4.4.2 ・Sentencepiece 0.1.91 【最新版の情報は以下で紹介】 1. rinnaの日本語GPT-2モデルのファインチューニング(1) 「Colab Pro」のメニュー「編集 → ノートブックの設定」で「GPU」の「ハイメモリ」を選択。 ファインチューニングは大量のメモリを消費するので、この設定が必須になります。 (2) データの永続化 # データの永続化 from google.colab import drive drive.mount('/content/drive') !mkdir -p '/content/drive/My Drive/work/' %cd '/content/drive/My Drive/work