いちばんやさしいローカル LLM｜ぬこぬこ
概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたくさん増えました。有名な LLM を使ったチャットサービスとして、OpenAI の ChatGPT や Anthropic の Claude、Google の Gemini などがありますが、これらのサービスの中で利用されている大規模言語モデルは公開されていません。 現状、様々な評価指標により LLM の性能が測定されていますが、
GitHub - jacklandrin/OnlySwitch: ⚙️ All-in-One menu bar app, hide 💻MacBook Pro's notch, dark mode, AirPods, Shortcuts
OnlySwitch provides a series of toggle switches to simplify your routine work, such as Hidden desktop icons, dark mode, and hide notch of the new Macbook Pro. The switches show on your status bar, you can control them effortlessly. Switch and Shortcuts items can be customized (remove/add or sort) to show on the list. These functionalities even can be put on your desktop as Widgets. Since Version 1
MLX で Mac で LLM fine-tuning
昨年12月に MLX という Mac の Apple Silicon を上手く扱える機械学習フレームワークが Apple 自身から提供されました。 HuggingFaceにもmlx-communityというものができており、最近ちょいちょいMLXでfine-tuningをしたぜ報告ポストをX上で見かけるようになりました。 ちょうどこちらのfine-tuning記事の素振りを Mac でしていて No GPU found. A GPU is needed for quantization. なるエラーで詰まっていたりしたので MLX で試してみます。 mlx-examples というMLXを使ったサンプルコード集の中にlora.pyという fine-tuning をできるサンプルがあるので、まずはこちらをクローンしてきます。
カット、コピー、ペースト、アンドゥをX,C,V,Zに割り当てたのは誰なのか｜usagimaru
結論から言うとこれはLarry Teslerだそうなのですが、C=Copyはわかるにしろ、XとVがなぜCutとPasteに結びつくのか疑問に感じていました。Zもよくわかりません。これについて、都市伝説的に語られている言説にはこのようなものがあります。 CはCopyの頭文字。QWERTY配列ではCの隣にVがあるので、利便性からそれが選ばれた。XもCに隣接していることと、それがハサミの形状に似ているためCutコマンドに割り当てられた。Zは切り替えるスイッチを意味する。 出典：どこかで聞いた気がする都市伝説これは間違いですが、それらしくも聞こえます。 カーネギーメロン大学のBrad Myers教授によると、XCVZの4種類のコマンドとキーアサインは、Larry Tesler本人によるものだそうです。彼はTeslerのメールメッセージを引用する形で次のように紹介しています。 Larry Tesle
OpenAIのGPT-4Vを使用したパソコン画面操作の方法｜Masayuki Abe
今回は、OpenAIのGPT-4Vを使用したパソコン画面を操作することができるコードの紹介です。 GPT-4Vは、OpenAIの画像認識あるいは画像理解ができるAPIです。 このGPT-4VのAPIを使用して、パソコン画面を操作しようというコードを見つけました。 自PCで下記を実行します。上記はMac用なので、Windows用に少し修正しています。 git clone https://github.com/OthersideAI/self-operating-computer.git cd self-operating-computer python -m venv venv venv\Scritps\activate pip install -r requirements.txt pip install . rename .example.env .env次に、.envファイルを開いて、
Docker Desktop、Appleシリコン上でx86-64バイナリをほぼネイティブな速度で実行可能にする「Rosetta for Linux」が正式版に
Docker Desktop、Appleシリコン上でx86-64バイナリをほぼネイティブな速度で実行可能にする「Rosetta for Linux」が正式版に WindowsやMac上に簡単にDockerコンテナ環境を構築できるツール「Docker Desktop」の最新版「Docker Desktop 4.25」がリリースされました。 Docker Desktop 4.25 is here! GA of Rosetta for Linux, an optimized installation on Windows, simplified Docker Scout settings, and so much more!https://t.co/KsPyxvpOOe — Docker (@Docker) October 31, 2023 x86-64バイナリをほぼネイティブな実行速度で Do
👾 LM Studio - Discover and run local LLMs
LM Studio is an easy to use desktop app for experimenting with local and open-source Large Language Models (LLMs). The LM Studio cross platform desktop app allows you to download and run any ggml-compatible model from Hugging Face, and provides a simple yet powerful model configuration and inferencing UI. The app leverages your GPU when possible.
MacでLocalでLLMを走らせるならLM Studioが楽。 - Qiita
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
Generate images in one second on your Mac using a latent consistency model
Generate images in one second on your Mac using a latent consistency model Posted October 25, 2023 by @fofr Latent consistency models (LCMs) are based on Stable Diffusion, but they can generate images much faster, needing only 4 to 8 steps for a good image (compared to 25 to 50 steps). By running an LCM on your M1 or M2 Mac you can generate 512x512 images at a rate of one per second. Simian Luo et
iPhone全モデルと2020年以降のMacからパスワードやメールを盗み出す「iLeakage」が報告される、実際に動作するデモ映像もあり
すべてのiPhoneおよびiPadや2020年以降に登場したApple Silicon搭載Macが対象となる攻撃手法「iLeakage」がジョージア工科大学の研究チームによって発見されました。iLeakageを悪用するウェブサイトにアクセスした場合、ウェブサービスのパスワードやメールなどの情報を盗み出されてしまいます。 iLeakage https://ileakage.com/ iLeakageは必要になる可能性のある処理を事前に行うことでCPU性能の向上を図る技術「投機的実行」を悪用するタイプの攻撃で、iPhoneやiPadに搭載されているAシリーズチップおよびMacや一部のiPadに搭載されてるMシリーズチップに対して有効です。このため、すべてのiPhoneおよびiPadと2020年以降に登場したMacはiLeakageによる攻撃の対象となり得ます。 iLeakageは「ウェブサイト
MacでDocker DesktopやWSLのようなコンテナ/仮想マシン環境を実現する「OrbStack 1.0」リリース
MacでDocker DesktopやWSLのようなコンテナ/仮想マシン環境を実現する「OrbStack 1.0」リリース Mac上でDocker Desktopのように手軽にコンテナ環境を構築し、またWindowsのWindows Subsystem for Linux（WSL）のようにmacOS上にLinux仮想マシン環境を構築できるソフトウェア「OrbStack 1.0」がリリースされました。 Introducing OrbStack 1.0: the fast, light, easy way to run Docker containers & Linuxhttps://t.co/wGGy4J16h0 pic.twitter.com/BVdABDyf01 — OrbStack (@OrbStack) September 21, 2023 OrbStackはコンテナエンジンとしてD
Macを使いこなすために知っておきたい14のTIPS
この記事は、Twitter（X）に投稿していたMacのTIPSをまとめたもので、最新のmacOS Ventura用に書き直しています。 前半はテキスト入力関連、後半はそれ以外についてまとめています。 iPhoneやMacで日本語変換がおかしくなったら iPhoneやMacで日本語変換がおかしい場合は、設定画面から「学習のリセット」をおすすめします。学習データベースが壊れている場合がほとんどだからです。 Macの場合、日本語入力をオンにして、メニューバーの［あ］をクリックし、下の方にある［”日本語 – ローマ字入力（またはかな入力）” 設定を開く］をクリックします。 表示された画面で、左側の［日本語 – ローマ字入力（またはかな入力）］をクリックし、右側の画面を下までスクロールして［リセット…］ボタンをクリックします。 装飾付きテキストをスタイルなしでペーストする テキストをコピペしたときに
CodeEdit | A native code editor for macOS
CodeEdit is currently in development. Check out the roadmap. A lightweight, natively-built editor. Open source. Free forever. CodeEdit is an exciting new code editor written entirely and unapologetically for macOS. Develop any project using any language at speeds like never before with increased efficiency and reliability in an editor that feels right at home on your Mac. Downloadv0.1.0 | macOS 13
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Warp: Your terminal, reimagined
「macOS Sonoma 14.4.1」が公開 ～Javaがクラッシュする問題が修正／任意コード実行の脆弱性2件にも対処
【Mac Info】 Macのメニューバーを徹底カスタマイズ！定番ソフトの「Bartender」で
CleanShot X for Mac
【Mac Info】 macOS Sonomaの「ゲームモード」の実力は？
macOS の zsh ではこれだけはやっておこう
Run Llama-2-13B-chat locally on your M1/M2 Mac with GPU inference. Uses 10GB RAM. UPDATE: see https://twitter.com/simonw/status/1691495807319674880?s=20