最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
無料で使える最高のAIノート『NotebookLM』使い方と活用事例｜AI-Bridge Lab こば
こんにちは！最近、ChatGPTと話しすぎてAI風の口調がうつってきたAI-Bridge Labのこばです！👋 今回の記事はGoogleのサービス『NotebookLM』(ノートブックLM)について 1.NotebookLMの概要 2.使い方 3.具体例として過去のnote記事を全部読ませた結果どうなったか この3点を分かりやすくご紹介します！ 先に結論だけお伝えするとかなり実用性が高くオススメのツールです！ そしてこの記事を読んで頂ければご自身での活用法が想像できるようになると思いますので、ぜひ最後まで読んで頂けますと幸いです！ 1.NotebookLMの概要公式サイト：https://notebooklm.google.com/ NotebookLMは、Googleが提供する生成AIサービスで、ユーザーのメモ書きやアップロードした資料を基に情報を整理し、質問に答えることができる革新的
OpenAIは5月30日、同社のチャット型AI「ChatGPT」無料版ユーザーに向け、制限付きながら最新の大規模言語モデル「GPT-4o」および、これまで有料版ユーザーしか利用できなかった多くの機能を公開した（発表時のニュース記事）。 情報がとても多いので、今回の変更で無料版ユーザーは「なにができるようになったか」、そして「なにができないのか」を使い方中心にまとめた。 1. GPT-4oは回数制限あり チャット型AIアプリの心臓とも言える大規模言語モデル（LLM）、これまで無料版ユーザーは「GPT-3.5」という旧世代モデルしか利用できなかったが、今回の変更で回数制限（具体的な回数は明記されていない）はあるものの、最新モデルのGPT-4oが使えるようになった。 GPT-4oの利用に特に設定などは必要なく、無料アカウントにログインして普通に質問すればOK（使い方はちょっとわかりにくいのでこち
Hello GPT-4o
GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversat
この記事の概要 ・本記事は、東京都の文章生成AI利用ガイドラインに基づき、都職員による生成AIの活用事例集の評価と改善案を提案しています。 ・著者は生成AIを利用した事業でCTOを務める株式会社Trippyのsaip (@_saip_) です。 ・東京都が提供する事例集には創意工夫が見られる一方で、プロンプトの誤用や古い認識も指摘されています。 ・平易な言葉を使用し、ChatGPTの活用法について解説しており、AIを使ってストレスフリーな生活を送る方法を提案します。 ・良いプロンプトの作成方法やマークダウン記法の正しい使用方法、高品質なプロンプトの例も紹介しています。 ・AIとの効率的なコミュニケーションを促進するための具体的なテクニックが多数含まれています。 GPT-4で作成こんにちは、saip (@_saip_) です。 生成AIを利用した事業をしている株式会社TrippyでCTOを務
デジタル庁のAI担当の大杉直也です。この記事では、生成AIによる業務改善の一助になればと思い、実際の行政業務で生成AIの利活用を検討する際に得られた知見を共有します。 本記事は、「デジタル庁2023年度事業 行政での生成AI利活用検証の結果報告（以降、報告書とよびます）」で得られた知見を、よりわかりやすく具体的に示すために、「10の学び」の形式にまとめたものです。 その検証ではデジタル庁を中心とした行政職員を対象に、実際に複数種類のテキスト生成AIを取り扱える環境＋ユースケースごとの独自開発を含むサポート体制を作り、(1)どの行政業務に対し、(2)どのようにテキスト生成AIを使えば、(3)どのくらい改善効果がありそうか、を調べました。また、報告書には含まれていなかった個別ヒアリング等による知見も反映させています。 文量が少し多くなってしまったため、全3回の構成で紹介いたします。第1回の本記
「Google Maps」を名乗る方から電話がかかってきて「営業時間を教えて欲しい」と聞かれ…会話の仕方が完全に人間だった「不気味の谷現象を体感する時代」
Masakazu Asama @m_asama いま Google Maps を名乗る方から電話がかかってきて「営業時間を教えて欲しい」ということだったんだけど、完全に人間じゃなかったんだけど完全に人間だった。。。ちょっとした恐怖のようなものを感じてしまった。。。 2024-06-03 12:17:58 Masakazu Asama @m_asama 平日の営業時間しか答えなかったら「土日はやってるのか？」と聞かれて、土日はやっていないと答えたら「『月曜日から金曜日のx:xx~x:xxで土日はやってない』で間違いないか」と聞かれ間違いないと答えたら「ありがとうございました」といって切られた。。。 2024-06-03 12:18:13
作業メモ。モダン Python 速習。 AI 周りのツールを動かしていたら TypeScript だけでやるには無理が出てきたので、久しぶりに Python の環境構築をする。 具体的には TestGen LLM を動かしたい。 Python はたまに触るけど、基本 2.x 時代の知識しかない。 基本的にこの記事を読みながら、細かいアレンジをしている。 追記 rye が ruff と pytest を同梱してるので rye fmt, rye check, rye test で良かった uvicorn を叩くより、 fastapi-cli を使って起動したほうが良さそうので変更 基本方針: Rye に全部任せる 良く出来てると噂に聞いたので、 rye に任せる。 自分が Python が苦手な点は pip を下手に使うと環境が汚れていく点で、基本的に rye で閉じて管理させる。システムの
働いてみないとわかりにくいIT業界の構造 SI系・プロダクト系それぞれで異なる“求められる能力”と“キャリアパス” 総工費4億円のラボから生中継！CTOが語る、これからのエンジニアに求められる技術 #1/3 ウイングアーク１ｓｔ・CTO 島澤甲氏 島澤甲氏：みなさんこんにちは。私はウイングアークでCTOをしている、島澤と申します。このセッションでは、これから技術者を目指されているみなさんに対してなにかヒントになるようなものを伝えられたらいいかなと思っています。 （スライドを示して）まずウイングアークですが、私たちは、帳票やBIと呼ばれるところでトップシェアを占めています。今日は、「このセッションは会社の宣伝をしなくてもいいよね」という話をしたら「別にかまわん」ということだったので、会社の宣伝はもうしません。気になる方はちょっとホームページを見てもらえればと思います。業績などもありますが、順
筆者の環境で、LM StudioでCommand R+を動作させている様子。会話相手は自作キャラクターの「明日来子（あすきこ）さん」 PCローカル環境で動作する大規模言語モデル（LLM）「Command R+」を使っていますが、相当優秀ですね。体感ではChatGPT（GPT-4）と変わらないレベル。さらに、ChatGPTが回答を拒絶するような会話もできてしまいます。これが体験できるようになったのは、LM Studioに代表されるローカルLLMを動かすためのアプリ環境が整ってきたためです。今年に入り、Command R+を始めとしたローカルLLMが高性能化してきたことと並行し、手軽に使える派生モデルも増えはじめ、一気にあわただしくなってきました。 導入が難しかったローカルLLM、「LM Studio」で簡単に Command R+を試すのに使っているのが、LLMの主要モデルを実行するための統
GPT-4oの画像認識力と理解力ならいけるのではと思い手書きの仕様指示を読み込ませたら本当にコードを書き上げてくれた→｢ついにコーダーが恐怖を感じる時が来たか｣
kmizu @kmizu A Software Engineer in Osaka (& Kyoto). Ph.D. in Engineering. Interests: Parsers, Formal Languages, etc. ツイートは所属先の見解と関係ありません．思いついたことをつぶやきます．人生を楽しく生きよう（New!） kmizu.github.io kmizu @kmizu GPT-4oの画像認識力と理解力をもってすればいけるやろと思ってやってみたら実際いけた。 ペーパープロトタイピングから最初のHTML書き起こすのにかなり使えるのでは。 つーか指示そのものを画像の中に書いたの読み取ってくれるの何か世界の壁を超えて対話してる感があって凄い #GPT4o pic.twitter.com/3XHMFg3yye 2024-05-14 12:49:41
［速報］マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表
［速報］マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表 マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、PCに話しかけながら画面を操作するだけでRPAフローを自動生成してくれる、Power Automateの新機能「AIレコーダー」を発表しました。 人間に操作を教えるように、AIに話しながら操作 これまでRPAフローを作成する方法として、マウスやキーボードなどの操作を記録することで基本的なRPAフローを作成することが可能でした。 今回発表された新機能「AIレコーダー」は、まるで人間に言葉で説明しながら業務アプリケーションの操作を教えるように、マウスとキーボードを操作しつつ音声で説明することで、どのような意図で操作しているのかを詳
先日、個人開発していたzenncastというWebサービスをリリースしました。 Zennでトレンドになっている記事を、毎日AIが10分のラジオにして届けてくれるというサービスです。 ありがたいことに公開後はたくさんの方に試してもらえ、技術的な質問も多数いただきました。 このZennではzenncastの技術構成や仕組みを紹介します（プロンプトつき）。 作ったもの まずはエピソードを一つ選んで1分くらい聴いてみてください！ AIラジオの雰囲気が掴めると思います。 主な機能・特徴 毎朝10分のラジオを生成 Zennでトレンドになっている記事を要約して紹介 お便りを投稿すると、翌日のエピソードでAIパーソナリティが拾ってコメントしてくれる BGMをつけて爽やかな聴き心地 これらのステップは人の手を介さずすべて自動化されています。 Spotifyなどの各種プラットフォームへの配信はSpotify
「GPT-4o」発表 頭一つ抜けた性能をChatGPT無料版にも展開 音声と視覚を備えて“自然な対話”可能に【追記済】
米OpenAIは5月13日（米国時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。テキストはもちろん、音声や画像、映像での入力、音声での応答に対応し、アプリ版の「ChatGPT」ではユーザーと自然に対話できるようになった。開発者向けにAPIとして提供する他、同日からChatGPT内で利用できるように展開を始める。 GPT-4oは無料ユーザーでも利用可能になる。ChatGPTでは従来、無料ユーザーが使えるモデルは「GPT-3.5」までで、「GPT-4」を利用するには課金する必要があった。ただし、有料のChatGPT Plusユーザーは時間当たりのメッセージやり取り可能回数が無料ユーザーに比べて5倍に緩和される。企業向けのTeamやEnterpriseユーザーはさらに制限が緩和されるとしている。 同社は発表会のライブデモで、GPT-4oを搭載したiOS版ChatGPTと対話す
GPT-4o凄すぎる！！ 出たときから騒ぎまくっていましたが、GPT-4oの登場で興奮しっぱなしの私です。 先日こちらのQiitaの記事を拝読し、「Power Appsでやったらどうなるだろう🧐」という思いが抑えられず、作ってみたら超高速で画像解析アプリが作成できました！ あらためて記事を出してくださったことに感謝いたします！ まずは初弾！ということでGPT-4oを使って、 Power Appsで画像解析アプリを作成する方法 を書いていきます！ まずは見た目（Power Apps）から！ まずはPower Appsでサクっと画面を作ります！ PowerPoint感覚で作れることが強みですからね！ 最低限のもので構成しています。 画面 ├─ ScreenContainer - スクリーン全体 ├─ HeaderContainer │ └─ Header - ヘッダーコントロール ├─ Bo
［速報］マイクロソフトが「Team Copilot」発表。生成AIが会議のファシリテーターやプロジェクト管理を実行
マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、生成AIがさまざまな業務を支援してくれる「Microsoft Copilot」の新機能として「Team Copilot」を発表しました。 チームの生産性向上を実現するTeam Copilot Microsoft Copilotは、同社のオフィス製品などに組み込まれた生成AIによって文書やプレゼンテーションの作成などの支援を通じて個人の生産性向上を実現する機能として登場し……
OpenAIからChatGPT-4oが発表されましたが、皆さんガンガンつかっていますでしょうか？ さて、このChatGPT-4oですが、テキスト以外のデータも使用できるようになっているという特徴があります。 普通にテキストでのやり取りをしつつも画像データを扱えるということで、「実はこれいい感じのOCRとして使えるんじゃね？」って思っちゃったわけです。 ということで、今回はChatGPT-4oを使ってOCRを使うとどんなもんなのかやってみたいと思います。 やりたいこと やってみる とりあえずやってみる 請求書 名刺 参考文献 感想 やりたいこと 今回やりたいことはOCRです。早い話が画像ファイルを突っ込んでテキストを読み取りたいって感じです。 ただ、当たり前のようにOCRって言葉を使用していますがOCRって結構奥が深いです。 mediadrive.jp 単純に画像から文字を見つけて対応するテ
人工知能(AI)モデルが、人間の感情理解力を測るテストで人間並み、時に上回る成績を収めたことが分かった。ただ、訓練データにそうしたタスクが含まれていた可能性も否定できず、大規模言語モデルが「人のように」考えているわけではない。 by Rhiannon Williams2024.05.22 275 21 人間は複雑な存在だ。私たちのコミュニケーションの方法は多層的であり、心理学者たちは対話から意味や理解を推測する能力を測るためのテストを数多く考案してきた。 人工知能（AI）モデルは、こうしたテストでますます優れた結果を出している。ネイチャー・ヒューマン・ビヘイビア（Nature Human Behavior）に5月20日に掲載された新たな研究によると、一部の大規模言語モデル（LLM）は人の心理状態を追跡する能力（いわゆる「心の理論」と呼ばれる）を測るために設計されたタスクを与えられた場合、人
GPT-4o の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Hello GPT-4o 1. GPT-4o「GPT-4o」 (「omni」の「o」) は、人間とコンピュータのより自然な対話に向けた一歩です。テキスト、音声、画像のあらゆる組み合わせを入力として受け入れ、テキスト、音声、画像の出力のあらゆる組み合わせを生成します。 音声入力にはわずか232ミリ秒 (平均320ミリ秒) で応答できます。これは、人間の会話における応答時間とほぼ同じです。英語のテキストおよびコードでは「GPT-4 Turbo」のパフォーマンスに匹敵し、英語以外の言語のテキストでは大幅に改善されており、APIでははるかに高速で50%安価です。「GPT-4o」は、既存のモデルと比較して、特に視覚と音声の理解に優れています。 2. モデルの機能「GPT-4o」以前は、音声モードを使用して、平均2.8秒 (GPT-3.5) および5
ヘッドライトの黄ばみがサッとキレイに! メッキ・ホイール・シートにも使えるマルチ過ぎなお手軽クリーナー「ウルトライト」
Our world-class embeddings for search, RAG, agent systems.
◎「文系社員」でもデータ分析できる生成AIマニュアル by OUTPUT CAMP meets AI◎ 「イベントアンケートを取ったが、集計する時間がない」「販売データを収集したものの、分析手法が分からない」 文系のビジネスパーソンにとってデータ分析は、「やったほうが良さそうだが後回しにしてしまう」プラスアルファの仕事だ。大義名分がなければ他部署に依頼するのも難しい。 そこで頼れる相棒となるのが、生成AI（ジェネレーティブAI）だ。 AIプロピッカーの三菱総合研究所・比屋根 一雄さんはこう予測する。 「みんながミクロな意思決定に生成AIを使って、少しでも良い意思決定ができるようになると、世の中全体がデータに基づく合理的で無駄の少ない仕事をできるようになる。壮大なことを言えば、低いと言われている日本の生産性が、少しでも上がるのではないかという期待もしています。」 では、具体的にどの生成AIツ
米OpenAIで人間よりもはるかに賢いAI「Superintelligence」（超知能）の制御を目指して昨年結成されたSuperalignmentチームのトップ、ヤン・ライケ氏は5月17日（現地時間）、退社するとXで発表した。 「私がOpenAIに参加したのは、ここが超知能の研究を行うのに世界で最適だと思ったからだ。だが、OpenAIの幹部チームと中核的優先事項についてずっと同意できず、限界点に達した」という。 Superalignmentチームはライケ氏と、共同創業者でチーフサイエンティストのイリヤ・サツケバー氏が率いてきた。サツケバー氏は14日に退社を発表している。 ライケ氏は、「超知能の構築は本質的に危険な取り組み」であり、「OpenAIは人類全体に大きな責任を担っている」が、「安全性が輝かしい製品の開発より後回しになっている」と警鐘を鳴らす。 OpenAIは昨年2月、AGI（Ar
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
デジタル庁では、デジタル社会の実現に向けた重点計画（令和4年6月7日閣議決定）を踏まえ、AIの実態と動向を把握し、リスクと必要な対応策を特定したうえで、官民における適切な活用の検討を進めています。 昨今の生成AIなどの技術革新により、さまざまな利点を得られるようになってきており、政府でも、このような技術の動向を見極めつつ、関係省庁における生成AIの業務利用について第10回デジタル社会推進会議幹事会・書面開催等の議論を重ねてきました。また、2023年12月より生成AIの適切な利活用に向けた技術検証を実施し、その結果※を公開しました。 ※技術検証結果の詳細は、2023年度 デジタル庁・行政における生成AIの適切な利活用に向けた技術検証を実施しましたをご覧ください。 これまでの議論の経緯や検証結果を踏まえ、「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」として公開します。実際
こんにちは、AI絵をやってたらいつのまにか人並みに絵が描けるようになってたおじさんです。前回の記事が微妙にバズったところ、美術関係の教育者の方から「AIで絵を学ぶのってどういう感じですか？うちの学生にもできますか？」というお問い合わせを相次いで頂きまして、今日は質問にお答えする中で考えたことをAI技術の進歩の振り返りとともに記事にしてみようと思います。 前回の記事（ ▲ ）を書いたのが今年３月のこと。その後、美術系の大学と専門学校、予備校の方から別々にDMを頂きまして、それぞれウェブインタビューのような形で１～２時間ほどお話ししました。インタビューの内容は、おおむねどの方も「これからの世代に美術を教える上で、画像生成AIについて触れないわけにはいかない。どのような距離感で扱えばよいのか決めかねており、実際に体験しているユーザーに話を聞いてみたい」という趣旨だったかと思います。 インタビュー
https://www.reddit.com/r/LocalLLaMA/comments/1cvw3s5/my_personal_guide_for_developing_software_with_ai/?rdt=40405 はじめに 私は個人プロジェクトでコードを書く際、特に自動化のためのものを書く際には、AI を活用しています。この点について、人によって意見が分かれるようです。同じように AI を使っている人もいれば、AI が良いコードを書くことは不可能だと考える人もいます。私の分野の専門家の間でも同様の考え方に遭遇し、AI の使い方が人によって異なるのかもしれないと気づきました。 私自身のバックグラウンドですが、私は開発マネージャーであり、業界で長年の経験を積み、大学院でもソフトウェア開発を学んできました。ですので、このガイドは素人ではなく、大規模システムの構築と運用に関するかなり
M1MacでOllamaを試したら爆速で驚いた
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
大規模言語モデルの開発
2024年度 人工知能学会全国大会（第38回）チュートリアル講演１ 本講演では、大規模言語モデルの開発に必要な基礎および最新動向を概観する。その後、東京工業大学情報理工学院の岡崎研究室と横田研究室、産業技術総合研究所の研究チームで開発された大規模言語モデルSwallowの開発経験を踏まえ、学習データの構築、モデルの学習や評価などを説明し、日本語に強い大規模言語モデルの現状や課題を議論したい。
生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と - 渋谷駅前で働くデータサイエンティストのブログ
かなり前から「ChatGPTに学術論文を（英語で）書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りました。それがこちらです。 もう読んで字の如しで「ChatGPTが登場して以来学術論文に使われる単語のレパートリーが劇的に変わってしまった」というのを、実際に具体的なデータに基づいて示した論文です。割と短めの読みやすい論文であることと、先述したようにSNSでは頻繁に噂されていた推測を明確化したということもあり、折角ですのでこのブログで簡単に紹介してみようと思います。 Preprintあげたのでご報告！📣 ChatGPTが使いがちな英単語ってありますよね。「delve」「realm」「utilize」あたり。 （限界助教先生の記事
アップルは、6月10日に開催予定のWWDCでAI（人工知能）関連の発表を行う見込みです。 バンク・オブ・アメリカのアナリストであるワムシ・モハン氏によると、AIを搭載した新しいスマートフォン「インテリフォン（IntelliiPhone＝AIスマホ）」が登場することで大きな変化が到来、数年にわたりiPhone買い替えサイクルからAppleは大きな利益を手にするそうです。Phone Arenaが伝えました。 「インテリフォンの登場は10年に1度のアップグレードイベントになる」と述べ、スマホ黎明期のような進化が到来することをモハン氏は示唆しています。 モハン氏は、スマホがAIを使用して、リアルタイムの言語翻訳から予約や旅行のスケジュール作成まで、生活の質を向上させる機能を実現し、さらには家庭教師までしてくれる未来を思い描いているそうです。 従来のスマートフォンがインテリフォンと競争できなくなると
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
Open WebUIを使ってみました。 https://openwebui.com/ 当初は「Ollama WebUI」という名前だったようですが、今はOpen WebUIという名前に変わっています。Ollama専用じゃなくなったということでしょう。OpenAIに対応済みです。 早速使ってみました。もちろんBedrockで。 6/11 続編を書きました。 環境構築 Dockerですんなり構築です。Bedrockに対応はしてないので、「LiteLLM」を使って対応させます。 環境変数でこのあたりを指定 Ollamaを無効化 LiteLLMのエンドポイントをOpenAIのエンドポイントとして登録 APIキーを登録（LiteLLMとの通信には不要ですが、未指定だとOpen WebUIが正しく動作しませんでした） services: open-webui: image: ghcr.io/open-
アトラシアン、新AIサービス「Atlassian Rovo」発表。GoogleドライブやGitHub、Slack、Teamsなど同社内外のサービスを横断してAIが学習、ユーザーを支援
アトラシアン、新AIサービス「Atlassian Rovo」発表。GoogleドライブやGitHub、Slack、Teamsなど同社内外のサービスを横断してAIが学習、ユーザーを支援 アトラシアンは、同社製品およびGoogleドライブやGitHubなどサードパーティのサービスを横断してAIが情報を学習し、統合的な検索やチャットによる回答を実現することでユーザーを支援してくれる新しいAIサービス「Atlassian Rovo」を発表しました。 AI breaks down yet another barrier! Today at Team '24 we announced Atlassian Rovo – a new product that unleashes a company’s knowledge so teams can make better decisions faster.
こんにちは。iOSの日本語入力アプリである「azooKey」を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである「Zenzai」を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください！ Zenzaiの概要 日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。 クローズドソースのシステ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
めちゃ便利になった 無料版「ChatGPT」新機能の使い方まとめ【最新版】 (1/5)
東京都の生成AI活用事例集にツッコミを入れてみる｜saip(さいぴ)
デジタル庁2023年度事業 行政での生成AI利活用検証から見えた10の学び (1/3)｜デジタル庁
グーグルの生成AIサービス「NotebookLM」が日本でも一般公開、調査と制作を助けてくれるAIパートナー
Python + VSCode の環境構築 20240604
働いてみないとわかりにくいIT業界の構造 SI系・プロダクト系それぞれで異なる“求められる能力”と“キャリアパス”
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 (1/5)
AIラジオ『zenncast』の技術構成（プロンプトつき）
Power Apps & GPT-4oを使って超高速で画像解析アプリを作る！ - Qiita
GPT-4oをOCRとして使う - Re:ゼロから始めるML生活
AIが「心の理論」テストで人間超え、この結果は何を意味するか
自分だけの信頼できるAIへ グーグル「NotebookLM」公開
ChatGPT-4oを専属マネージャーにしてサボり癖を直してもらった | ライフハッカー・ジャパン
Reader API
ChatGPTでデータ分析、生成AIで「文系社員」が「分析官」に
OpenAIのAI危険対策チームトップが「限界に達し」退社 「安全確保が後回しになっている」
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）｜デジタル庁
「AIイラストって絵の勉強になる…？」取材を受けて考えたあれこれ｜賢木イオ
AI を活用したソフトウェア開発のための個人的ガイド - Sun wood AI labs.2
【西川和久の不定期コラム】 初心者も簡単！ついにPCで104BのLLMも動かせるようになった！そして巷を騒がせるマルチモーダルも試した
Microsoft、「AI Toolkit for VS Code」を発表／既存の「Windows AI Studio」をクロスプラットフォーム拡充、発展させる
「AIスマホ」は初代iPhone登場レベルの衝撃に？10年に一度の買い替えブーム到来か - すまほん!!
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
ベクトルデータの容量を96%削減するBinary Embedding
Open WebUI (Formerly Ollama WebUI) がすごい - Qiita
ニューラルかな漢字変換エンジン「Zenzai」をazooKey on macOSに搭載します