最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場
Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場 WindowsやMacなどのデスクトップPCでVisual Studio Code（以下VSCode）を利用して開発をする場合、同じローカルマシン上でDockerコンテナのLinux環境を起動し、VSCodeのターミナルで接続して操作することは、開発環境としてよくあることだと思います。 これと同じことをWebブラウザ版のVSCodeでも実現する、すなわちWeb版VSCodeが同一Webブラウザ上にWebAssembly化したDockerコンテナを起動し、Web版VSCodeからローカルマシンとして接続し利用できる、実験的実装を実現したVSCodeの拡張機能「vscode-container-wasm」が登場しました。 V
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。 なんとなく ChatGPT は使ったことある人 ローカル LLM を聞いたことあるけどやったことない人 ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル（以降LLMとします）は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。 ローカルLLMとは「一般向けにファイルとして公開されたモデル」で推論させる遊びです。APIは便利ですが、インターネットの接続が必要であったり、API提供側に依存する問題があります。ローカルLLMは自前で運用ができるため、APIにはないメリットや魅力があります。一方で、環境構築やマシンスペック等、少し始
VSCode の新機能「built-in port forwarding」を使いローカルサーバーにインターネット側からアクセス - Qiita
VSCode の新機能「built-in port forwarding」を使いローカルサーバーにインターネット側からアクセスHTMLJavaScriptNode.jsVSCode はじめに この記事は、以下の公式ポストや、VSCode のアップデート後のリリースノートにも出ていた「built-in port forwarding」を試してみた話です。 この機能を使うと、ローカルにあるサーバにインターネットからアクセスできるようになります。 同様のことを実現するものには、有名どころの 1つに「ngrok（エングロック）」があったり、その他にもたくさんの類似サービスがあります。 実際に VSCode の built-in port forwarding を試してみる それでは、VSCode の built-in port forwarding を試してみます。 自分が試す際に参考にした情報は
いちばんやさしいローカル LLM｜ぬこぬこ
概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたくさん増えました。有名な LLM を使ったチャットサービスとして、OpenAI の ChatGPT や Anthropic の Claude、Google の Gemini などがありますが、これらのサービスの中で利用されている大規模言語モデルは公開されていません。 現状、様々な評価指標により LLM の性能が測定されていますが、
Google Apps Scriptの環境構築をVSCode上で行う方法について詳しく解説していきます。clasp,asideを使って構築するので、爆速で構築できます。 ことのはじまり 私は最近Google Apps Script(GAS)の学習を始めました。 GASの学習を始めると、まずはAppsScript公式のIDEでスクリプトを書いていくことになると思います。 しかし、普段VSCodeを使い慣れている身からすると、VSCodeの便利機能が使いたくて仕方なくなります。 それじゃあ、使い慣れたVSCodeを使おうじゃないか！！ AppsScript公式のIDEだとGitに差分を残していくこともできないぞ！！（できます） というわけで、GASをVSCodeを使って開発する為の環境構築の手順を書いていきたいと思います。 前提条件 VSCodeがインストールされている Node.jsがインス
なぜ Apple が M4 をいきなり発表したのか? TSMC ロードマップとローカルAI時代の幕開け - 狐の王国
昨晩、Apple が新型 iPad Pro と iPad Air を発表した。一部で予想されていた通り、M3 はスキップして M4 が搭載された。Air も M3 ではなく M2 が搭載された。これは Apple Silicon を製造する TSMC の動向をある程度追いかけてる人にとっては、とても合点がいく展開だったと思う。 www.apple.com Apple Silicon でも TSMC の N3B と呼ばれる 3nm 世代を使って製造されるのは iPhone 15 Pro に搭載される A17 Pro だけになるんじゃないかと考えていた。なぜなら TSMC N3B はたいへん歩留まりが悪い、つまり不良品率が高くて製造コストが高いと報じられていたからだ。それを改善した N3E もすでに動いていて、Apple 製品以外はこちらを使うことになるだろうとも報じられていた。 実際は Ap
シードデータで動作確認して大丈夫だったのに、本番反映してみたら想定してなかった挙動・エラーが出た😱そんな経験はありませんか。 恥ずかしながら私は今までに何回もありました。機能開発だけじゃなくバッチやマイグレーションなんかでも発生しがちなコレ。またはシードデータで動作確認できても、本番データでも通用するか検証ができないままプルリクを作る、なんていうこともあると思います。今回はこちらを無くす試みをしたお話です。 「もう本番DBで開発しちゃえばいいじゃない」の問題点 この課題を解決するには、極論すると本番DBで開発するしかないのですが、そうなると言うまでもなく以下の問題が出てきます。 レビュー通過してないコードが本番に影響を与える トライ＆エラーができない 個人情報をはじめとするセンシティブな情報が開発者の端末に漏れる データ量が多すぎてローカルに持ってこれない しかし言い換えると、これらをク
Pythonの高速なスーパーセットをうたう新言語「Mojo」、コンパイラなど公開、ローカル環境で利用可能に Modular社はPythonの高速なスーパーセットだと同社が位置づける新言語「Mojo」をローカル環境で実行可能にする、コンパイラなどのツール群を公開しました。 Mojo is now available for download locally to your machine! Beyond a compiler, the Mojo SDK includes a full set of developer and IDE tools that make it easy to build and iterate on Mojo applications. Let’s build the future together!https://t.co/KxmLvsxx5e — Modula
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
「中途採用は即戦力を求めてる」とはよく言うが、「新卒からその会社に勤めていて、社内のローカルルールも知っている、人間関係も出来上がっている人間が入社してくる」くらいの認識の企業あってビビるよね。
眠りのこごろー@日本労働撲滅協会会長 @nemuri11290 「中途採用は即戦力を求めている」とはよく言うが、たまに「新卒からその会社に勤めていて、社内のローカルルールも知っている、人間関係も出来上がっている人間が入社してくる」くらいの認識の企業あってビビるよね。よく聞くのが「入社初日にパソコンだけ渡されて放置された」というやつ 2023-12-08 12:49:48 眠りのこごろー@日本労働撲滅協会会長 @nemuri11290 なんで途中から入ってきた人がその日のうちになんの支障もなく勝手に動き出すと思っているんだ。社内の把握や人間関係に組み込む手間すらない人間が存在するとでも？今日来た人間が御社のロッカーの位置を把握しているなんてありえんでしょ。物理法則を無視した人材採用やめてください 2023-12-08 12:59:28 眠りのこごろー@日本労働撲滅協会会長 @nemuri11
システムから言語モデルがどのように使えるか、その時どういうことに気をつける必要があるかを考える「『ChatGPTなどの言語モデルはどのようにシステムで使えるか』きしだなおき氏」。ここで、LINE Fukuoka株式会社のきしだなおき氏が登壇。続いて、システムがChatGPTをどのように使うかと、日本語特化のLLMについて話します。 システムはChatGPTをどのように使うか きしだなおき氏：今、人間がどう使うかという話を中心に話しました。（次に）じゃあシステムからどう使うかとなると、APIを使った利用になりますね。 今日（2023年6月14日時点）朝起きたら「関数定義が可能になったよ」みたいなものが出ていて。今回の（セッションで話した）概要（の内容）とか…。（この概要は）昨日になってやっと（運営に）送ることができたんですけど、「どういう話をしようか」と思って朝起きたら、毎日状況が変わってい
赤字ローカル線の惨状､本当に｢人口減｣が原因か
昭和の頃からいまだ抜本的解決策が見いだせない赤字ローカル線問題。近年は「人口減少」を理由として、半ば諦めムードの世論形成の末に、廃線への道を突き進むケースがほとんどである。筆者もこれなら廃線も仕方がない、そう信じていた。 ところが、その赤字ローカル線、本当に人口減少が原因なのかと首をかしげるようなデータを入手した。それによれば「人口減少率が低い・または人口が微増しているにもかかわらず、鉄道利用者が最大半減になっている線区がある」あるいは「鉄道利用減少率が人口減少率の2倍・3倍の線区がある」という事実がある。 人口減より急速に進む利用者減 これが本当ならば、人口減少のみがローカル線衰退の原因ではなく、鉄道事業者の無策・愚策がローカル線衰退の一助になっていたり、むしろローカル線を衰退させて沿線人口減少にもつながっていたりすることもありえるのではないだろうか。 これから挙げる4線区の例は、200
ローカルで動く大規模言語モデル(Rinna-3.6B)を使ってあなただけのAIパートナーを作ろう - Qiita
はじめに はじめまして。株式会社ずんだもんのアルバイトエンジニアのinadaです。 今日は誰でも作れるずんだもんと題してローカルPCにずんだもんAIを作ります。この記事はそのチュートリアル記事です。 (誰でもと書いてますが、RTX 3060(12G)搭載以上のPC推奨です。CPUマシンでも出来る部分はありますが非推奨です。RTX 3060(12G)のグラボは5万ぐらいで買えるので持ってなければ買っちゃいましょう。) 対象読者/記事の範囲 ローカルPCで動かせる大規模言語モデルを、学習用のデータの用意から、学習、動かすところまで一通りどんなものか、お試ししてみたい人。 自分だけの世界にただ一人だけのうちの子、またはパートナー(うちの嫁)を作り育てたい。そんな沼にはまりたい、興味がある人。 AIの仕組みや用語は当記事では解説しません。AIの用語(モデル, loss, epoch, checkp
チャット形式でプログラミングが可能なローカルで動作するオープンソースなAIツール「Open Interpreter」を使ってみた
OpenAIが開発したプラグイン「Code Interpreter」を使用すると、ChatGPTにプログラミングのコードを生成してもらうことが可能ですが、インターネットに接続できないのに加え、使用できるパッケージやアップロードの容量、実行時間などに制限があります。「Open Interpreter」はローカルで動作することでそうした制限を突破し、柔軟にさまざまなプログラムを生成・実行してくれるオープンソースなAIツールとのことなので、実際に使って試してみました。 KillianLucas/open-interpreter: OpenAI's Code Interpreter in your terminal, running locally https://github.com/KillianLucas/open-interpreter/blob/main/docs/README_JA.m
「Mistral」「Llama 2」「Vicuna」などオープンソースの大規模言語モデルを簡単にローカルで動作させることが可能なアプリ「Ollama」の公式Dockerイメージが登場したので、早速使い勝手を試してみました。 Ollama is now available as an official Docker image · Ollama Blog https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image Ollamaで動作可能な大規模言語モデルの代表例は下記の通り。リストの全体についてはOllamaの公式サイトで確認することができます。 モデルパラメーターサイズDownloadMistral7B4.1GBollama run mistralLlama 27B3.8GBollama run ll
ローカル線「赤字なら廃止」は“世界の非常識”…なぜオーストリアは「儲からない」鉄道を運行し続けられるのか？ 【世界基準で考える公共交通】人口約900万人のオーストリア、赤字ローカル線「廃止論」が皆無のなぜ | JBpress (ジェイビープレス)
赤字ローカル線に未来はないのか――？ 人口減・東京一極集中がとどまらぬ中、全国の地方でローカル線の廃線危機が叫ばれている。経済合理性の名のもとに「廃線やむなし」の決断が下されるケースが、今後相次ぐこともありそうだ。一方で世界では、そもそもローカル線は「儲かるわけない」が“常識”なのだという。儲からないローカル線は、いったいどのように運行されているのか。赤字でも「廃止論」が巻き起こらないのはなぜか。路面電車やバスが充実したオーストリアの首都・ウィーンを拠点に研究を続ける柴山多佳児氏が、公共交通の“世界基準”をシリーズで解説する。（JBpress） （柴山多佳児：ウィーン工科大学交通研究所 上席研究員） 5分歩けば駅がある 筆者は交通計画、そのなかでも特に公共交通計画・政策を専門として、ヨーロッパ中部に位置するオーストリアの首都ウィーンの工科大学に勤務している。 ウィーン工科大学は1815年創
はじめに GitHub Actions (GHA) 、便利ですね。 便利なんですが、動作確認するのに PR 出してマージするのが煩わしい...。そもそも PR する前に動作確認しておきたいし、やたらに PR 作りたくもない...。 そんな悩みを解消してくれるのが act でした。これならローカルで動作確認できるので GHA 開発が捗ります！！ act 使ってみた記事は沢山ありますが、動かすまでに詰まったポイントをお作法として整理 してみました。act の使い方に悩まれている方の参考になれば幸いです。 2024/5/8 追記 act の実行に IAM ロールに追加設定が必要な点を追記しました。 AssumeRole するために sts:TagSession 権限を付与する 対象読者 GitHub Actions を使っている / 使おうとしている方 GitHub Actions の動作確認に
はてな匿名ダイアリーのローカルルール・小ネタ
・再投稿は甘え（諸説あり） ・自分の増田にセルフブックマークするのは卑怯（諸説あり） ・ブクマカのidやブコメを晒すと、ブクマカ本人の申し出があると削除される ・＆を半角で書くと文字化けする ・＜＞も半角で書くと文字化けする ・1回改行するには、3回改行する必要がある ・「言及する」ことをトラバと呼ぶ（昔の名残） ・増田番付に載ってる増田を把握しておく方がいい（字下げ、下方婚増田など） ・匿名だからといって犯罪になるような投稿はしてはいけない ・ただエロネタは割と許されている ・日記に言及すると、下に投稿がツリー状になって追加される ・自分の日記は検索窓から検索できる（パソコンのみ？） ・通常の増田検索機能は重すぎて使えない ・下線がついている言葉を押すとキーワード検索できる 他にもあるけどひとまずここまで
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
ローカルマシンにコンテナとKubernetes環境などを構築する「Podman Desktop 1.5」リリース。導入設定が容易に、コマンドパレットも使いやすく
ローカルマシンにコンテナとKubernetes環境などを構築する「Podman Desktop 1.5」リリース。導入設定が容易に、コマンドパレットも使いやすく Red Hatは、GUIでDockerコンテナやKubernetesの操作を可能にするオープンソースのデスクトップアプリケーション「Podman Desktop 1.5」のリリースを発表しました。Windows、Mac、Linuxに対応します。 #Podman Desktop 1.5 is here, offering faster onboarding with guided setup and configuration and deeper insights with an expanded summary tab for #Kubernetes pods. Check out these features and more
生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。 このLlama 2、GPT-3.5の3月1日時点のモデルに匹敵する性能を持っているというのがウリです。GPT-3.5といえば、無料版のChatGPTで使われているモデルです。それがオープンソースとして公開されたのですから、衝撃的です。 さらに、高性能なだけでなくモデルサイズが小さいことも特徴です。GPT-3のパラメータ数は1750億（175B）、GPT-3.5は未公開ではあるものの3550億（355B）と推定されています。一方で、Llama 2は、700億（70B）パラメータで、GPT-3.5並をうたっています。 パラメータが小さくなれば必要なGPUのメモリも小さくなります。GPT-3.5はデー
日本語対応でGPT-4よりも高性能な大規模言語モデル「Command R＋」が登場したので使ってみた、無料でダウンロードしてローカル動作も可能
AI開発企業のCohereがGPT-4と同等の性能を備えた大規模言語モデル「Command R＋」を発表しました。Command R＋は日本語での応答にも対応しており、ローカルにダウンロードして実行可能なほか、ウェブ上で実行できるチャットアプリのデモも公開されています。 Introducing Command R+: A Scalable LLM Built for Business https://txt.cohere.com/command-r-plus-microsoft-azure/ CohereForAI/c4ai-command-r-plus · Hugging Face https://huggingface.co/CohereForAI/c4ai-command-r-plus Command R+ https://docs.cohere.com/docs/command-r
ローカルLLMの情報まとめ｜npaka
「ローカルLLM」の記事が増えてきたのでまとめました。 「Llama 2」ベースのローカルLLMについては、以下でまとめています。
マイクロソフト、ARM版の新型Surfaceと『Copilot+ PC』発表。全部覚えるRecallなどWindows 11のローカルAI強化 | テクノエッジ TechnoEdge
マイクロソフトがWindows 11『Copilot+ PC』イベントを開催し、Snapdragon X Elite / Plusプロセッサを搭載した新型 Surface Pro (第11世代)および Surface Laptop (第7世代)を発表しました。 新型 Surface Pro はシリーズ初の有機ELディスプレイを選択でき、性能は(二世代前の) Surface Pro 9比で90％高速。統合NPUのAI処理性能(TOPS)は、AppleのM4 iPad Proより約20%高速をうたいます。 新たな純正アクセサリとして、合体しても外しても使える新型キーボード Surface Pro Flex Keyboard を用意します。 ■ Windows PCの新たなカテゴリ『Copilot+ PC』新型 Surface シリーズを披露した一方で、イベントの主題はマイクロソフトが提唱する新
DockerがMutagenの買収を発表、ローカルとリモートのコンテナ環境をリアルタイムにファイル同期 Docker社は高速なファイル同期機能やネットワーク転送機能を提供するMutagen IO, Inc.の買収を発表しました。 We are thrilled to announce Docker's acquisition of @mutagen_io, the groundbreaking open-source software that maximizes file synchronization and networking technologies. Get ready for a new era of development possibilities on Docker Desktop! #remotedevhttps://t.co/ppYE4YoKMJ pic.twitt
Microsoft謹製エンタープライズ向けPrivate ChatGPT(Azure ChatGPT)が公開されたのでローカル環境で動かしてみた
2023/09/19 追記 Azure ChatGPTからAzure Chatと名称が変更になり、大幅なアップデートが有りました。本ブログの情報は古くなっているため、詳しくは下記を参照ください。 https://blog.cloudnative.co.jp/20412/ 三行まとめ Microsoft謹製のエンタープライズ向けのPrivate ChatGPTをローカルマシン(M2 Macbook Pro)で動かしてみました 2023年8月4日現在、ドキュメントが少なく、ローカル環境でとりあえず動かすまでがなかなか大変。サクッとは動かせない まだリリースされたばかりで、日本語入力周りに不具合を抱えていますが、今後の改良に期待 Azure ChatGPTとは Microsoft謹製のAzure OpenAIを利用したエンタープライズ向けのPrivate ChatGPTです https://gi
今日は、ローカルにてRAG(Retrieval-Augmented Generation)を使って、あるPFDについて質問するチャットを作ろうと思う。 OpenAIを使うので、無料ではないので注意されたい。 今回のソースは LangChain 完全入門 という本を参考にしていて、とても勉強になるので購入をお勧めする。 行いたいこと ローカルでPDFを読み込ませて、内容を質問したり、要約させること。 大きな流れ 環境準備 チャットアプリの土台の作成 プロンプトを定義 アップロードされたPDFファイルを分割 内容をベクトル化し保存 入力された質問とPDFから抽出した適した文をOpenAIに送信 回答を得る。 詳細 環境準備 環境構築 Python : 3.11.6 pip ライブラリ chainlit==1.0.101 チャット画面を簡単に作るライブラリ chromadb==0.4.22 ベク
無料で使えるAIライティングツール、 ChatGPT GPT-4 を搭載。キーワードを入力するだけで長文記事を自動で作成。ライターの記事執筆にかかる工数・時間を大幅削減。
東京に来て出会ったパスタと地元で一番人気なパスタの違いが極端すぎた「コースのひと皿とわかっててのも泣いちゃう」→ローカルパスタがどんどん集まる
フミコーン @ppfumiko concon inc. CEO /慶應4年/ソフトバンクアカデミア/インドで高校生活→海外向けYouTube売却(登録者17万人) /群馬でトゥクトゥク事業/ TOKYO LOLLIPOPというインバウンド向けブランドを立ち上げました/阪神ファンです lit.link/mmfumiko
Lightning TechTalks #2 〜フロントエンドで導入してよかったOSS〜 で発表させていただいたスライドです フラットコンフィグへの移行は最近新卒の方に一部やっていただきました 新卒エンジニアがESLintのFlat Config移行と格闘した話 - ドワンゴ教育サービス開発者ブログ ドワンゴ教育事業採用サイト
ひーちゃん @HC_dayo だっていわくにバスだもん() 学生とごく一部の爺婆しか乗らないもん() 収益が出ないから給料が上がらず高齢化も重なり運転士が減り一人当たりの労働がだんだん過酷になっていってさらに運転士が減る無限ループを繰り返すしかないレベルで誰も乗らないもん。 twitter.com/x__tkmr/status… 2023-11-06 21:50:01
僅か2.3GBで日本語可能な超高性能ローカルLLMのPhi-3 MINIをllama.cppとCPUで動かしてみた。スマホでも可。従来のコンパクトLLMと比較して超越した性能で未来を感じさせるMicroSoft寄付ありがとう
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 昨日MicroSoftからリリースしたローカルLLMモデルのPhi-3 mini 4k Q4をllama.cppのサーバ版を動かしてみた。こいつ2.32GBしかないくせに日本語しゃべれるぞ。今までとは桁違いの性能なんですけど・・・ ./build/bin/server -m ../Phi-3-mini-4k-instruct-q4.gguf -n 128 huggingface.co/microsoft/Phi-… pic.twitter.com/DTmUmeh7JE 2024-04-24 22:46:51
Llama 2 発表！ Metaから商用利用可能なライセンスでオープンなLLMであるLlama 2が発表されました。 こりゃすごそうだけど、しばらくは様子見かなーと思っていたら、npakaさんが一瞬で動かしているではありませんか。 こりゃやるしかないと、ローカルでDockerで動かしてみました。要は、npakaさんの記事の「(1) Pythonの仮想環境の準備」を詳しく書いたものです。 DockerでLlama 2を動かす Dockerファイルは、以下リポジトリに格納してあります。 セットアップ方法は、以下参照ください。Linux/Windows前提です。Mac(Apple Silicon)では残念ながら今のところ動きませんでした。 Macでも動きますが、時間が非常にかかるので実用的ではないです。 Dockerのイメージ作成（ビルド）まで実施したらOKです。 続いて量子化されたモデルlla
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
【令和最新版】何もわからない人向けのローカル LLM 入門
GASの開発環境をローカルで作成する方法（2023年7月版） | DevelopersIO
毎日本番DBをダンプして、ローカルと開発環境で利用して生産性を上げてる話
Pythonの高速なスーパーセットをうたう新言語「Mojo」、コンパイラなど公開、ローカル環境で利用可能に
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
「自分でLLMを動かすことでイメージがつきやすくなる」 ローカルで使うメリットと、日本語特化LLMを動かすために必要なスペック
さまざまなチャットAIを簡単にローカル環境で動かせるアプリ「Ollama」の公式Dockerイメージが登場
ローカルで GitHub Actions が実行できる act のお作法を整理する
JR西日本、ローカル線「芸備線」の存廃協議開始 事なかれ主義は捨てた
さくらインターネット、GPT-4を利用して記事を自動生成できる「ユーザーローカルAIライター」提供開始
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた
DockerがMutagenの買収を発表、ローカルとリモートのコンテナ環境をリアルタイムにファイル同期
無償でローカル「WordPress」環境を構築する最速の方法、「Studio」がWindowsに対応／わずか数クリック、開発の成果を最大5つまでデモサイトとして無償公開する機能も
ローカルで気軽にRAGを使って会話することが簡単すぎてビビった。 - Qiita
AIライター:ChatGPT無料記事作成ツール ユーザーローカル独自AI
GeForce RTX搭載PCで動くローカルAI「ChatRTX」刷新。画像認識や音声入力に対応
ESLintのローカルルールで独自のコーディング規約を実装する
ローカルバス減便のお知らせに、斬新すぎる理由が書いてあった「運転手さんの給与が上がるといい」
Llama 2 をDocker使ってローカルで動かす