LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

[lyiase]

これは鵜呑みにしてはいけないが、何らかの理由で用意できない場合はあり。AI研究者が想定しているのは Ubuntu + CUDA なので、Mac Studioは100万円するがメモリ以外は普通に辛く、メンバーが去って行くリスクがあるよ

[yarimoku]

「自覚してください」的な強い言い回しを好んで使う人をしばしば見かけるけど、なんの影響でそんな文体になるんだろうか。

[bakuhate]

LLM開発者はまぁ頑張って欲しいけどそんなに未来あるプロダクトじゃないと思うんですよね。集金難しいしレッドオーシャン化がえげつないですわ。

[sh2]

2024年はMac Studio有力、会社でもL40Sの予算を少し削ってMac Studioを増やそうと画策している。一方2025年になればAMD Zen 5 APUのStrix HaloがLPDDR5X 8533MT/s 8 Channelで546GB/sとの噂、Ryzen AIも搭載しているので対抗馬になるかなと思っている

[BOUSOUNINJIN]

M1 Mac studio 32GBでStableDiffusion使ってみたが、確かにメモリの分だけ3080よりも高画素な画像をクラッシュせず出力できた。ただ速度は3080よりちょい遅い。

[shields-pikes]

まあ、そのローカルLLMでテストや趣味の開発以外に何をするかだよね。LLM連携のシステムを全社に導入したり、顧客向けWebサービスとして運営したりするときに、まだまだAPI連携以外の選択肢はメリットが少ないのでは。

[puhu208n]

M1～M3のGPU性能については、特にWeb系イケイケはAppleのクッソ雑な「エヌビディアーの3070より高速です(※通常デスクトップ版とは言っていない)」グラフで本当に速いと誤解してる場合があるので注意な。3060Tiより遅いはず。

[Surume]

“Apple Silicon Mac は UMA （Unified Memory Architecture）である”

[rdlf]

M2 MacBook Airの16GBモデルでもllama3なら実用的な速度で動いたけど、llama3:70Bはダメだ…10分くらい待って数文字しか返ってこない。

[stealthinu]

うーん。学習には使えないんじゃないの？とか思って。まあ推論だけでいいのかなあ。3090x2+メモリオフロードとかのほうが汎用性ありそうに思ってしまう。

[mapk0y]

backspace.fm で Command R+ 試してたけど、Web上で数秒で終わる内容が M3 Max つんだ全部盛りの MacBookPro で8分ちょっとかかってた。メモリ90Gぐらい食うけど他のリソースはあまり消費せず熱くもならなかったらしい。メモリバス？

[dec123456789]

claude haikuやgpt-3.5が高いと言ってるけど、コスト計算するとMac studioを24時間フル稼働させるよりも普通に安いんだが。実際には稼働しない時間もあるからもっと安くなるだろうし。

[roshi]

Apple幹部も"8GBで十分"と言うよりこういう活用事例を提示して欲しかった。

[misshiki]

“Mac Studioはコスパがよく、かつノーメンテナンスでいけるため、いま買うならメモリ96GBか、メモリ192GBのどちらかのMac Studioが最善手です。”

[ebibibi]

なるほどー。欲しくなってきた。すぐに買えるは買えるなあ…。

[youichirou]

少々遅くても高コスパでめっちゃくちゃ広大なVRAMとして扱えるの魅力よね。円安でM3/M4 Studioはどうなるんだろう…。

[buhoho]

個人的には好きだけどローカルLLMって仕事になるのか？普通にOpenAIとかAnthropicのAPI叩いたほうが高性能+安いし、仕事で相談されたら絶対にそっちすすめる。

[pascal256]

確かに100万円で192GBのVRAMと考えると安いか

[KoshianX]

APU のメインメモリとビデオメモリの共有というのがLLMではコスト的に有利という話か。Meteor Lake や Ryzen 8040 なんかもそういう点では悪くないかもしれないが、GPU パワーはやっぱ Apple Silicon なのかねえ

[etah]

https://www.reddit.com/r/LocalLLaMA/comments/16m432j/mac_studio_m2_ultra_192gb_seems_pretty_ideal_for/ ／ 海外でもこの手の話題は盛り上がるみたいね/今年PTA役員やってるからMacStudioM3待ち、でも学割対象になるのかはどうなんすかね？無理かも

[poad1010]

この記事をおすすめしました

[sentas]

個人的には開発中はアホな子使うだけで間に合いそう。遊び目的ならLinuxの方が楽しいし。

[the48]

お手軽カジュアルがRTX4090より遥かに高額なのがMac税か

[shunt_i]

LLMがこのままメジャーになればVRAM特化のGPUとか出るのかなと思ってる、ホントに流れが早いから今後どうなるか楽しみ

[sinoh]

ぶっちゃけ金にならないのによーお金掛けるねぇ M系のGPUでAI処理とかGPUゴミ過ぎてCPUにやらせるより遅いって言われてたのは変わったんか？

[dosnaka]

納得しました

[door-s-dev]

ローカルLLMそんな強くなってるのかー

[timetrain]

MACのGPUがそんなに速いんだろうか、とは思うけど、浪漫ではある

[ykon550]

メモリがCPU/GPUで共通なので安く手には入るのだけど、今のMac Studioはファンの掃除がしづらいらしいので敬遠している。GPUをぶん回したら絶対ホコリだらけになると思うしそこ掃除できないと辛いと思っている。

[Kazumi007]

Mac Studioが欲しくなる。

[agricola]

Ryzen7000/8000シリーズにはNPU載ってるモデルがあるし、何気にAVX-512 VNNIもサポートしてるんで推論に使うと楽しそう/RADEON Instinct APUとかGH200みたいなゴッツイの使いたいわー。

[forest1040]

最近macを追いかけられていないいつの間にかPyTorchがM1対応したらしいし。けど最適化とか考え出すとmetalとか使わないといけないのでは。 知らんけど