LLMの迷宮を辿る：オープンソースLLMおよびその先に関する包括的ガイド

例として、hh-rlhfデータセットからの一例を紹介します。 RLHFデータの例 ちなみに、これの影響でChatGPTが DPOやPPOを使用してRLHFを行った後、私たちは人間の好みに合わせたモデルを持っています。ですので、次にdolphin-2.6-mistral-7B-dpo-laser-GPTQという名前のモデルを見かけたとき、それは誰かがmistral 7bをdolphinで学習し、最終モデルを合わせるためにDPOを使用したことを意味します。 LoRA and PEFT スタンフォードによるアルパカの論文の後でも、LLMの指示チューニングには数百ドルかかり、それは依然として独立研究者、改造愛好家、趣味の人々にとって禁じ手の高価さです。そのため、2021年の古い論文が名声を得ました。この論文では、1%未満のパラメータを使用してモデルを微調整する方法を紹介し、LoRAを使用した微調整