こんにちは AIチームの戸田です 今回は先月スタンフォード大学が発表した新しいParameter-efficient fine-tuning（PEFT）のReFTを試してみたいと思います。 PEFT PEFTはLLMのような大規模な事前学習済みのニューラルネットワークのモデルを、効率的にfine-tuningする手法の総称です。モデル全体ではなく一部のパラメータだけを更新することで計算コストを大幅に削減できる上に、Full fine-tuning(モデル全体を学習)するのと同等の性能を達成することができると言われています。代表的なものにLow-Rank Adaptation（LoRA）が挙げられます。 ReFT Representation Finetuning (ReFT)は、LoRAとよく似たPEFT手法です。違いは、LoRAがモデルの重みを部分的に更新するのに対し、ReFTはモデルの
2024年5月11日 JAWS-UG DE&IでのLT資料。
GPT-4oを使って手書きの図からHTMLを出してもらった件
驚異のGPT-4o はじめにこんにちは。ネクストビートでエンジニアをしている水島です。 今回は、5月14日（火）にOpenAI社によって発表された、新しいモデルGPT-4oについての紹介記事となります。 既にXなどをはじめ多方面でその驚くべき能力が知られ始めているGPT-4oですが、筆者も昨日に試してあまりの凄さに驚いてばかりです。ちなみに昨日意図せずバズったポストの著者でもあります。 GPT-4oはOpenAIが従来から提供してきたGPT-4-Turboの後継とも言えるモデルです。5月14日（火）のデモで発表された内容ではリアルタイムでの音声認識・応答などが目玉になっていましたが、こちらはまだ未公開です（数週間以内には提供されるようですが）。ですので、今回は即日リリースされたチャットボットとしてのGPT-4oの話になります。 GPT-4oについてはこの記事を読まれている皆さんも色々試され
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
高効率のLLM学習手法ReFTを試してみる | 株式会社AI Shift
チーム立ち上げにAWSを活用したらClaudeさんに褒められた話