FlexGenをDockerで使ってみた本記事では、FlexGenをDockerで使う方法を紹介します。 ※nvidia-docker2が導入済みの、DockerからGPUが使用できる環境でなければ実行できませんのでご注意ください。 FlexGenとは ライセンス：Apache-2.0 license FlexGenとは、自前のPCなど計算資源の小さいマシン上で、大規模言語モデル（Large Language Model: LLM）を動作させることを可能にする技術です。 FlexGenについては、既に概要を詳しく説明している記事が沢山出ていますので、ここでは説明を省略します。詳細は、リポジトリや論文で確認することができます。 論文：High throughput generative inference of large language models with a single gpu DockerでFlexGenを動作させる
