StarCoder - コードのためのLLM｜npaka

1. BigCode「BigCode」は、「HuggingFace」と「ServiceNow」が共同で主導するオープンなコラボレーションです。コードのためのLLMの責任ある開発に取り組んでいます。 2. StarCoder「StarCoder」と「StarCoderBase」は、80以上のプログラミング言語、Gitコミット、GitHub issue、Jupyter notebookなど、GitHubから許可されたデータで学習したコードのためのLLM (Code LLM) です。「StarCoderBase」は15Bパラメータモデルを1兆トークンで学習、「StarCoder」は「StarCoderBase」を35Bトークンでファインチューニングしたモデルになります。 「StarCoder」は他のオープンなLLMよりも多くの入力を処理でき (8,000トークン以上)、幅広いアプリケーションを可

[misshiki]

日本語まとめ。