1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
IIJ 技術担当部長 最近はインターネットの技術を紹介するのがお仕事です。元々プログラマ、サーバ・データセンター・ネットワーク・セキュリティ・モバイルといろいろやってきました。 最近ニュースなどで「データセンター」がよく取上げられます。実は、この記事を書いている私自身も、TV番組に出演してデータセンターの解説をしていました。 千葉・印西市に世界が注目 データセンター集結の理由は【Bizスクエア】 2024年3月28日放送(TBS) 池上彰のニュースそうだったのか!! 2024年5月4日放送【1時間9分あたり～】 (テレビ朝日/TVer) この番組で取材を受けたのは「IIJ白井データセンターキャンパス」(千葉県白井市※)です。 ※印西市・白井市にまたがる千葉ニュータウンの一角に立地 番組中でもいろいろご説明しているのですが、この記事では基本に立ち戻って「そもそもデータセンターって何なの？」
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近よく聞く「データセンター」ってなに？ | IIJ Engineers Blog