M1MacでOllamaを試したら爆速で驚いた
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
実践LangChain！RAGによる特化LLMシステムの作り方 - Qiita
はじめに ChatGPTを初めとした大規模言語モデル (LLM) が話題になっており、ちょっとした質問でも非常に優れたアウトプットが得られるようになりました。一方、ChatGPTを企業で使用する場合、社内情報をChatGPTは保持していないため、社内情報について答えられないという課題があり、社内特化LLMシステムを構築する必要があります。 特化システムを作るためには、こちらの記事でも紹介している通りLLMそのものをfine tuningする方法と、LangChainを使ってVector MatchingするRetrieval Augmented Generation (RAG) の2つがあります。ただ、LLMのfine tuningは非常に大きな計算コストとデータセット構築作業が必要になります。 本記事では、RAGによる特化LLMシステムの構築方法を紹介します。本記事内で使用するLLMはG
イベント「教員向け ChatGPT 講座 ～基礎から応用まで～」 5/13 開催報告と振り返り
2023年5月13日13:00～17:00 に、イベント「教員向け ChatGPT 講座 ～基礎から応用まで～」（開催の広報記事）。この記事では、その開催報告と振り返りを記します。 注: 本イベントの動画や資料は、各大学や教育機関などの勉強会、研修、FD・SD などで是非ご活用下さい（何件かご連絡いただいておりますが、事前の確認などは必要ございません）。 概要人と「対話」する人工知能 ChatGPT は教育にも大きな影響を与え始めています。数多くの情報が出てきていることをふまえて、教育における活用を検討する上で有用であろう情報を吉田なりにまとめて提供する講座を開催しました。 コロナ禍における教育オンライン化対応のように、多くの教員が困るだろうと感じ、できる限りの情報提供をしたいと思い、長くなってしまい恐縮ですが渾身の4時間イベントとしました。 内容としては、ChatGPTの使い方などの基礎
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
