こんにちは、安部です。 11月なのに暑かったり寒かったしますが、皆様いかがお過ごしでしょうか。 さて、先日のOpenAI DevDay、大変な盛り上がりでしたね。 様々な新機能が公開され、GPT関連がさらなるパワーアップを遂げました。 DevDayは基本的に開発者向けのイベントですが、一般ユーザ向けの新機能も公開されました。 それがGPTsです。 今回は、GPTsが使えるようになったので試してみたいと思います。 GPTsとは GPTsとは、GPT Builderを使ってノーコードで簡単にChatGPTをカスタマイズできるサービスで、今のところ有料ユーザのみが使用できます。 ChatGPTは特定タスク向けのサービスではありませんが、精度の良い回答をもらおうと思ったらプロンプトを工夫したり事前情報をたくさん与えないといけなかったりしますよね？ GPTsは、あらかじめ特定の目的を持たせたChat

現在，34個掲載(一部執筆途中) よかったらData Science wikiのGPTsも見て下さい！ はじめに 今回はすぐに使えそうなプロンプトの工夫やフレームワークについて有名なものをまとめました．LMの出力の精度向上に役立てられればと思います． 論文があるものについてはarXivに最初に投稿された順番で掲載しています． 論文で精度向上が確認されているのは英語での検証がほとんどであるため，日本語で改善されるかは分かりません． 全てのLLM(GPT-4,Llama2,...)で精度が改善するとは限りません． ※記事に誤り等ありましたらご指摘いただけますと幸いです． 以下の記事では敵対的プロンプト技術をまとめています！ 目次 Zero-shot prompting Few-shot prompting 2021年〜 Generated Knowledge Prompting 2022年〜

日本新聞協会など4団体は8月17日、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘。AIに学習させる著作物データの保護をめぐり、権利者団体と関係当局の意見交換を求めている。 声明を出したのは、新聞協会と日本雑誌協会、日本写真著作権協会、日本書籍出版協会。 生成AIは、ネット上の大量のデータを、著作者の同意なく学習して開発されているケースが多い。日本では、著作権法第30条の4により、このデータ収集は、「著作権者の利益を不当に害する」場合はを除き、著作権を侵害しないとされている。 声明では「学習利用の価値が著作権者に還元されないまま大量のコンテンツが生成されることで、創作機会が失われ、経済的にも著作活動が困難になる」「海賊版をはじめとする違法コンテンツを利用した、非倫理的な

東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（ファインチューニング）により開発し、非商用ライセンスでモデルを無料公開した。 【修正履歴：2023年8月18日午後9時　当初、モデルの公開形式をオープンソースと記載していましたが、ソースコードが公開されていないなどオープンソースの定義に沿わないと思われる部分があるため記述を改めました。なお、引用部分についてはそのままにしています】 日本語だけでなく英語のデータセットも学習に用いることで学習データ量を拡張し、言語間の知識転移を行うことで日本語の精度を高めたのが特徴。 事前学習には、代表的な英語のデータセット「The Pile」と日本語のデータセット「Japanese-mC4」を使用。事後学習には、Alp

はじめに 今回は私が良くやっている「一人議論」という方法について紹介いたします。 これはアイデア出しや壁打ちに便利な手法です。 「使えるかも」と思った方は、ぜひやってみてください。 一人議論とは？ ChatGPTを使った議論のシミュレーションの一つです。 具体的には次のようなプロンプトを利用して行います。 # タスク テーマについて議論してください。 # ルール - 登場人物を3人出してください。 - 議論をまとめないでください。 - 10回会話を続けたところで会話を止めてください。 # テーマ ChatGPTがもたらしたもの すると、次のような議論が始まります。 ここからが一人議論のポイントです。 次に、自分の意見を差し込みます。 ChatGPTにて次のような文章を打ち込みます。 すると、それを元に、次のような会話が続きます。 あとはひたすらこれを続けるだけです。 強めの反論をしても誰も

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama

ChatGPTなどの優れたAIモデルを開発するAI研究団体のOpenAIが発見した、ディープラーニングにおける最も魅力的な謎のひとつとされる「グロッキング」について、GoogleのAI研究者が位相変化との関係を指摘しています。 [2301.05217] Progress measures for grokking via mechanistic interpretability https://arxiv.org/abs/2301.05217 A Mechanistic Interpretability Analysis of Grokking - AI Alignment Forum https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokk

StarCoderとStarCoderBaseは、80以上のプログラミング言語、Gitコミット、GitHub Issues、Jupyter Notebookなど、GitHubからライセンスとして許可されたコードのデータでトレーニング（機械学習）されている。Meta製LLMの「LLaMA」と同様に、1兆のトークンに対して約150億のパラメーターモデルをトレーニングした。Hugging Faceは350億のPythonトークン用にStarCoderBaseモデルを微調整し、StarCoderを作成した。 StarCoderBaseは、一般的なプログラミングベンチマークで、既存のオープンコードLLMよりも優れたパフォーマンスを示し、OpenAIの「code-cushman-001」（「GitHub Copilot」の初期バージョンを強化したオリジナルの「Codex」モデル）のようなクローズドモデ