エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
MLXと⌘R+ (Command R+)でローカルチャットbotを動かしてみた
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
MLXと⌘R+ (Command R+)でローカルチャットbotを動かしてみた
はじめに 96GB以上のUnified Memoryを積んだApple Siliconマシーンをお持ちの人向けのニッチな記事です... はじめに 96GB以上のUnified Memoryを積んだApple Siliconマシーンをお持ちの人向けのニッチな記事です。 MLXを使って、話題の⌘R+ (Command R+)を使ったローカルで動作するチャットbotをクイックに作ってみました。途中で何点かつまづいたので、困っている人に届いたら嬉しいです。 以下の記事を参考にさせてもらいました。 環境 Apple M3 MAX (128GB) 推論中のpythonプロセスのメモリ消費量は62GB程度でした。Unified Memory 64GBでスワップしながらギリ回るくらいですかね Python 3.10 (3.11, 3.12でも動作しました) 最初、Python 3.9環境で動かそうとしてコケました。エラーメッセージは以下の具合です。 ValueError: Received parameters not in model: