ChatGPTの「メモリ（Memory）」機能の活用法 - Taste of Tech Topics
こんにちは、暖かくなったと思ったら涼しくなったりと、なかなか洋服選びが難しい季節ですが皆さん体調お変わりないでしょうか。安部です。 今回は、ChatGPTで少し前に一般公開された「メモリ（Memory）」機能をご紹介し、活用のためのTipsを共有できればと思います。 機能の利用自体は何も意識せず簡単にできますが、意識的に活用しないと本領発揮してくれない機能だなという印象です。 まずは、どのような機能なのか簡単に見ていきましょう。 メモリ機能の概要 メモリ機能が使えると何がうれしいのか メモリ機能の有効化 実際に使ってみる 活用Tips ショートカットコマンドの作成 手順自動化 前提知識の補完 メモリの削除 プライバシー/セキュリティについて まとめ メモリ機能の概要 「メモリ（Memory）」機能とは、文字通りChatGPTがこれまでやりとりした情報を記憶し、以降の応答時にそれらを踏まえた
ChatGPTプログラミングのすすめ
ChatGPTなどの大規模言語モデル (Large Language Model; LLM) にプログラミングやリファクタリングをさせる場合、目的に合ったものが作られているかを何らかの方法で検証する必要がある。 プログラムの正しさを完全に保証する方法はないが、ある程度の正しさを継続して担保するための方法を探ってみたので以下にまとめた。 ポイントは、ChatGPTの生成したプログラムの検証にもやはりChatGPTの力を借りることである。 実行可能性と入出力のチェック プログラムを生成するタスクである場合、いつでも「実行できるか？」というチェックが可能である。これは自然言語の生成と大きく異なる点だろう。実行可能性を確かめることは最低限のチェック項目になる。 エラーが出力された場合、自力で修正するか、もしくは、エラーの内容をChatGPTに提示して修正を依頼し、再度実行可能かを確かめる。 入力・
インストールが完了したらアドレスバーに chrome://flags と入力して設定画面を開きます。以下の 2 つのフラグを設定します。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled また、あらかじめ Gemini Nano のモデルをダウンロードしておく必要があります。アドレスバーに chrome://components/ と入力して Optimization Guide On Device Model の「アップデートを確認」をクリックします。 Gemini Nano を使ってみる それでは、Gemini Nano を使ってみましょう。以下のコードをコンソールに貼り付けて実行します。 const canCreate = aw
デジタルプロダクション「factory4」でアプリやさまざまなIoTプロジェクトのUIUXデザインを手がける新谷友樹さんが、UIやUXにまつわるトピックについて解説する本連載。今回のテーマは「GPT4oを活用したウェブサイトづくり」です。 こんにちは！株式会社Cosmowayが組織するデジタルプロダクション「factory4」のUIUXデザイナー新谷です。 今回は先日OpenAIが発表した新たなAIモデル「GPT-4o」を使ってウェブサイト（LP）を作成してみました。GPT-4oのパフォーマンスを知ること、そしてデザイナーが生成AIとどう関わっていくべきかを探るきっかけにすることが、今回の目的です。 前提として「GPT-4o」がゼロベースでウェブページを作成することに向いているツールではないと思いますが、チュートリアルの要素と今後の可能性を知るためにあえて取り組んでみました。 GPT-4o
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
LLMにまつわる"評価"を整理する
「LLMの評価」というフレーズを見て、どんなことを思い浮かべるでしょうか？ おそらく大半はLLMモデル自体の評価のことを思い浮かべると思います。新しいモデルが出てきた時に𝕏で見かける「GPT-4o のMMLUベンチマークは89%!」みたいなアレ。 ですが、プロダクト開発にLLMを使っている人の間では、プロンプト等が十分な品質を出しているかの確認などにも評価という言葉を使っていることは多いのではないかと思います。 うまい具合に後者を区別するためにいい感じの呼び名を付与したい気持ちがあるのですが、英語圏での例を見てみるとシンプルに"Evals"と呼んでることもあれば Evaluating LLM System Evaluating LLM-based Applications などなど表現の仕方は様々になっています。 そしてそのプロダクト開発文脈での評価も、実態としてはオフライン評価やオンラ
Stockmark-100b: ビジネスドメインに対応した1000億パラメータ規模の大規模言語モデルの事前学習 - Stockmark Tech Blog
ストックマークは最近、ビジネスドメインに対応した1000億パラメータ規模の大規模言語モデルであるStockmark-100bの開発を行い、事前学習モデルと指示学習モデルをオープンソース（MITライセンス）として公開しました。この記事では事前学習における弊社の取り組みを紹介させていただきます。 プレスリリース: stockmark.co.jp 事前学習モデル： huggingface.co 指示学習モデル： huggingface.co 背景 2024年2月に国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する「ポスト５Ｇ情報通信システム基盤強化研究開発事業／ポスト５Ｇ情報通信システムの開発」に採択されました。これは、経済産業省の国内の生成AIの開発力強化を目的としたGENIACプロジェクトと連携して行われており、国内事業者に対して生成AIの開発に必要な計算資源の確保と利
LLM-as-a-Judgeとは LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの「出力は確率的である（毎回異なる）」ためです。 また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出力をエンドユーザーに提示してしまうかもしれません。 LLMの出力を評価して、出力が適切でないことを判定できれば、ユーザーには表示しない、出力を再度行わせる（出力をLLMに修正させるのもよいでしょう）というようなことができるようになります。 ただし、LLMのすべての出力を人が評価していたのでは、手が回りません。 そこで、注目されているのが、LLM-as-a-Judgeと呼ばれるLLMにLLMの出力を評価させる手法（以後、単に評価と呼ぶ）です。 評価にLLMを使えば、出力をすぐに評価し、評価結果をアプリケー
時系列基盤モデルの世界 / The World Of Time Series Foundation Models
【LT大会#7】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれようの資料です https://studyco.connpass.com/event/318107/
バリデーション付きフォームを宣言的に実装する / Declaratively Implementing a Form with Validation
はじめに Chrome 126からローカルで使えるLLM Gemini Nanoが使えるようになりました。 本記事では実際に使ってみようと思います。 前準備 まずはChrome Release ChannelsにてDev channelのChromeをインストールします。 インストールできたら下記機能を有効にします。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled 次に、LLMのダウンロードが必要のため、 chrome://components/にアクセスし、Optimization Guide On Device Modelのアップデート状況を確認します。 まだダウンロードされていない場合は、アップデートを確認ボタンでダウンロード
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、サービスのシステム開発を行なっています。サービスではLLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、入力するプロンプトの圧縮を効率的に行うための技術、LLMLingua-2について解説します。 LLMLingua-2は、いくつかの手法を組み合わせることによって、品質を下げないままプロンプトを圧縮してくれます。 サマリー LLMLingua-2は以下の方法で、情報の欠落を抑えた上でプロンプトのトークン数を大幅に減らすことに成功しています。 ターゲットとなるLLM(GPT-4など)にプロンプトの圧縮タスクを行なってもらう そのデータを基に入力したプロンプトを構成するトークンの不要、必要を判断する機械学習モデルを作成する 入力に対して上記機械学習
人間の持つ知識を形式的に表現する、知識表現の研究は古くからなされてきており、例えば一つの形としてWebシステムではよくつかわれるリレーショナルモデルなどがある。近年よく着目されているのがナレッジグラフであり、先端的な研究を超えて、実産業での活用事例（例えばGoogleのナレッジグラフサーチ）も多くみられるようになった。 本記事では、noteのレコメンドシステムも手がけている筆者がWikidataのエンドポイントを利用して、ナレッジグラフを探索し、スターウォーズファンにおすすめできそうな映画をリストアップしてみる。最終的にこんな感じのリストが得られる。スターウォーズファンのみなさまには、興味が惹かれるタイトルがあっただろうか？ ナイト ミュージアム2 インディ・ジョーンズ／クリスタル・スカルの王国 地獄の黙示録 チャーリーズ・エンジェルフルスロットル ブレードランナー 2049 ジャッジ・ド
Azure AI Studioが一般公開(GA)されたので早速色々使ってみました！ - CCCMKホールディングス TECH Labの Tech Blog
こんにちは、CCCMKホールディングス TECH LABの三浦です。 いつの間にかこの会社に勤めて10年が経っていました。10年前はニューラルネットワークやディープラーニングが少しずつ浸透してきたころで、従来の機械学習とは何が違うのか、といったことを調べていた気がします。あれから10年、ディープラーニングの分野ではTransformerが生まれ、いつの間にか人の思考を代理でこなしてくれるようなAIまで誕生し、技術の進化のスピードにびっくりします。次の10年はどうなるんだろうと色々と考えてしまいます。 さて、今年に入ってからずっと楽しみにしていたのですが、ついにMicrosoftのAzure AI Studioが一般公開(generally available)になりました！ 今年一番最初に見た動画がAzure AI Studioのデモ動画で、それがとても面白い内容でずっと気になっていました
画像生成を手元データから追加学習。Stable Diffusionで使える LoRAを作成。ただ、キャラクターの学習は思っていたような結果にならなかった話。
Quickstart を利用して Snowflake における RAG ベースの LLM アシスタントの構築手順を確認してみる #SnowflakeDB | DevelopersIO
Quickstart を利用して Snowflake における RAG ベースの LLM アシスタントの構築手順を確認してみる #SnowflakeDB はじめに 2024年5月のリリースで、一部のリージョンではありますが、Snowflake 上でベクトルデータの管理と操作が可能な以下の機能が一般提供になりました。 VECTOR データ型 Snowflake Cortex LLM ベース関数 EMBED_TEXT_768 Vector similarity functions VECTOR_INNER_PRODUCT VECTOR_L2_DISTANCE VECTOR_COSINE_SIMILARITY この機能により Snowflake 上で RAG（Retrieval-Augmented Generation）アプローチを取る AI アプリケーションの構築を行えるようになります。 また
箇条書きであれば、「長い文章のうちの3段目のインデントまでの内容を切り出す」みたいな感じで小さいチャンクを取り出すことが可能blu3mo.icon
この記事は every Tech Blog Advent Calendar 2024(夏) 10 日目の記事です。 はじめに こんにちは。DELISH KITCHEN 開発部の村上です。 エブリーでは4月に第4回挑戦weekを実施しました。挑戦week5日間の中で私たちのチームはナレッジ活用のために社内ChatAppに社内ドキュメントを参照できる仕組みづくりに取り組みを行いました。今回はその中でRAG基盤のPoCを行ったので、その取り組みについて紹介します。 挑戦weekについてはこれらの記事で初回の取り組みの様子やCTOの挑戦weekに対する考えが知れるのでぜひ読んでみてください。 https://everything.every.tv/20230428 tech.every.tv PoCの背景 まずは、なぜ社内ナレッジ活用のためのRAG基盤のPoCを行うに至ったか、その背景について説明
こんにちは。エイチームライフデザイン技術開発室の鈴木です。 弊社ではGPT-4のような高性能な生成AIを社内の業務で利用できるように、Slack用アプリなどいくつかの社内ツールを用意しています。その中でも LibreChat というオープンソースソフトウェアを利用しているので、それについて説明します。 LibreChatとは 構成 バージョンアップ等の運用 LibreChatを使っていて起きた問題 新しいモデルがなかなか使われない Banされる RAGが使えなくなる 画像認識が使えない LibreChatの利用状況 まとめ 画像の出典 LibreChatとは www.librechat.ai LibreChatとは、いわゆるChatGPTクローンです。 OpenAIなどが提供する言語モデルのAPIに接続してチャットできるUIを提供する、オープンソースのWebアプリケーションです。 Libr
こんにちはkirigayaです！ 少し前にSnowflakeの大型イベントDATA CLOUD SUMMIT 24が開催されました！ 今回は特に激アツや〜〜〜と感じた以下 ノートブックからGPUコンテナ使用 CortexLLMのFine-Tuning この記事ではCortexLLMのFine-Tuningについて調査していきたいと思います！！！ どちらの機能もすごく欲しかったので発表された時は家の中で跳ね回っていましたw 夢を叶えてくれるSnowflake さっそく新機能のダークモードがお出迎えしてくれます Fine-Tuning ドキュメント 中身はPEFTを使っているようです。 中のどれ？って感じですが... 微調整可能なモデル一覧 Mistral AI の 70 億パラメータの大規模言語モデルは、最も単純な要約、構造化、質問への回答などのタスクを迅速に実行する必要がある場合に最適です
はじめに 人の思考プロセスや考え方は、その人が触れてきた情報や経験によって大きく影響されます。逆に言えば、その人が影響を受けた考え方や経験を知ることができれば、その人の思考プロセスを理解できるはずです。 本記事ではこのような仮定のもと、私と同じような考えを持つAIを作るために、自分が普段使っているsupernotesというメモアプリに保存されている大量のメモを使ってRetrieval Argumented Generation (RAG)を実装し、どんな受け答えをしてくれるのかを試してみました。 supernotes supernotesは私が愛用しているメモアプリです。 私は、読んだ本の中で印象に残った考え方や、思い浮かんだアイデアなどをsupernotesにメモしています。そのため、supernotesには私の思考を形成する情報が保存されていると言えます。 (supernotesは素晴
calm2-7b-chatで日本語Instructionデータセットを生成する【jimba-instruction-1k-beta】
calm2-7b-chatで日本語Instructionデータセットを生成する【jimba-instruction-1k-beta】 要約 cyberagent/calm2-7b-chatの出力を人手でチェック・修正することで作成した日本語のInstructionデータセット『jimba-instruction-1k-beta』を商用利用可能なApache Licence 2.0で公開しました。 背景 ここ数ヶ月で、LLMを使った合成データ（Synthetic Data）をLLMの学習に用いるのが一つのトレンドになってきました。 1.3B/2.7Bでありながら高性能なMicrosoftのphi-1.5/2でも事前学習に合成データが使われていることで話題になっていたかと思います。 しかし、今の日本語オープンソースLLMの性能では事前学習に使える教科書のような文章は書けそうにないので、出力の使
はじめに Image EncoderにCNN系のモデルであるConvNeXtを使用した、ConvLLaVAが提案されました。 本記事はConvLLaVAを使って768x768の画像が入力可能な日本語VLMを学習してみました。 また、学習したモデルを日本語ベンチマークを使用して他のモデルとの比較も行いました。 モデルの重みは以下で公開しています。 ConvLLaVAについて ConvLLaVAはConvLLaVA: Hierarchical Backbones as Visual Encoder for Large Multimodal Modelsで提案された手法です。 前述したとおりImage EncoderにConvNeXtを使用しているのが特徴ですが他にも以下の2つの工夫点があります。 工夫点1 ConvNeXtにStage 5を追加することで解像度が高い画像を入力しても画像トークン
LangChainの新機能「langgraph-engineer」：Agentを作成するためのAgentを作る - Qiita
最近、GithubでLangGraph（LangChainが提供するエージェント構築用フレームワーク）のアップデートを確認していたところ、LangChainの開発チームが新機能の開発を進めていることに気づきました。現在はまだテスト段階かもしれませんが、試用コードなどはすでに整っているようです。この新機能は非常に興味深いので、共有したいと思います。 名前は⇩の「langgraph-engineer」です。 現時点ではまだスター数が数十個と少ないため、まだテスト中だと思われます。この機能を簡単に説明すると、agentを作成するためのagentを作るというものです。非常に革新的なアイデアだと思います。 LangChainの開発チームが想定している処理フローは、概ね以下のようになっています まず、ユーザーがagentのワークフローを手書きで作ります。その後、マルチモーダルモデルを使用して手書きの結
はじめに 先日，GPT-4のパラメータサイズに関するリーク情報が出ていました（ツイートリンク）．この情報の真偽は定かではないですが，これによるとGPT-4は220Bパラメータモデル×8体で構成されているとのことです．これはGPT-3のパラメータサイズの10倍以上のサイズであり，やはりスケーリング則はいまなお健在であることを示していると思います．（スケーリング則は以下の図を参照．） 一方で「Inverse Scaling: When Bigger Isn't Better」という論文が投稿されていました．これは，パラメータサイズが大きくなるにつれて性能が悪化する（逆スケーリングする）タスクがあることを示した論文です．LLMで解けないタスクがあることを知ること自体も重要ではありますが，なぜ逆スケーリングが発生してしまうのかを理解することは，安全にLLMを運用する上で非常に重要です． 本記事では
インターネットをご覧の皆さん、こんばんは。 皆さんは文章の要約、やっていますか？ やっていますね？ 先日 Stability AI よりリリースされた japanese-stablelm-2-base-1_6b をベースモデルとして、 SFT (Supervised Fine-Tuning) を用いて日本語要約に特化した言語モデルを作成してみましたので、本記事ではその学習の流れについて紹介します。 学習に使用したスクリプトは以下のリポジトリに置いています。 モデルの学習 モデルの学習は以下の流れで行いました。 学習用データセットの収集 まず、要約モデルを学習させるために必要なデータセットを収集します。 要約元となる文章と要約された文章のペアを用意できるようなデータセットを取得します。 学習用データセットの整形 収集したデータの前処理を行い、本文と要約のペアを整理します。 モデル学習の実行
オンプレミスで動かすLLM
あらゆる産業で生成AIの活用が検討される中で、導入自体が難しい代表的な業界が製造業です。製造現場は基本的に外部からネットワークが隔絶されており、GPTシリーズのようなLLM（大規模言語モデル）を利用することができません。従来であればエッジコンピューティングに代表されるようなオンプレミスでの運用も考えられますが、LLMは実行するコンピュータへのハードウェア要求が非常に高いため、研究室機関レベルのコンピュータを用意する必要があり、一般的な工場にそのような機器を導入することは現実的ではりません。 自然言語モデルには “スケーリング則” と呼ばれる原理が存在します。スケーリング則とは、自然言語処理モデルのパラメーター数・データセットのサイズ・トレーニングに使用される計算量の3つの変数が大きくなればなるほど、パフォーマンスが良くなるというシンプルなルールです。スケーリング則に従えばお金を投入すればす
はじめに DELISH KITCHENでデータサイエンティストをやっている山西です。 今回はレシピ動画のサムネイル画像の自動抽出の取り組みについて紹介いたします。 OpenCVを用いた画像処理 画像とテキスト情報のペアを扱う大規模モデル 等を用いつつそれを試みた事例になります。 ※記事後半で具体実装を扱っている部分では、周辺知識がある前提で説明を進めていることをご了承ください。 every Tech Blog Advent Calendar 2024(夏) 9日目の記事になります。 出来たもののイメージ どんなものが出来たかを先に紹介します。 一言で表すと、レシピ動画の中から「調理手順を表すのに良い感じのサムネイル画像」をAI的振る舞いで自動で抽出してくれるシステムになります。 これをワンパンカルボナーラというレシピに適用した例を以下に載せています。 図1: AIシステムによるレシピサムネ
はじめに LangSmith langchain.com が提供する LLM アプリ開発のプラットフォームです 2024/02/15 に GA した、今ホットなツールです LangSmith では evaluator を指定することで、様々な評価指標を出力することができます from langsmith import Client from langchain.smith import RunEvalConfig, run_on_dataset evaluation_config = RunEvalConfig( # ここで指定 evaluators=[ "qa", "context_qa", "cot_qa", ] ) client = Client() run_on_dataset( dataset_name="<dataset_name>", llm_or_chain_factory
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chrome の 組み込み AI Gemini Nano を試してみる
UIUXデザイナーが「GPT4o」を活用してウェブサイトをつくってみた
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較
LangGraphを用いたマルチエージェント
Chrome内蔵LLM Gemini Nanoを使ってみた
プロンプトを5倍圧縮できる「LLMLingua-2」
ナレッジグラフでスターウォーズファンに映画を推薦する｜kiha
自分の学習データで画像生成AIを使ってみる話
Scrapboxの文章はLLMにも読みやすいのでは - 井戸端
社内ナレッジ活用のためのRAG基盤のPoCを行いました - every Tech Blog
社内の生成AIチャットとしてLibreChatを使っています - Ateam Tech Blog
簡単にLLMをFine-Tuning！CortexLLM-Fine-Tuning
llama-indexを使って自分と同じ考えを持つAIを作りたい
ConvLLaVAを日本語LLMで学習してみた - Qiita
Inverse Scaling: LLMが解けないタスクとは何か．
日本語要約に特化したLLMをQLoRAを適用したSFTで作ってみる
レシピ動画からサムネイル画像を自動抽出するAIシステムを作りました - every Tech Blog
プロンプトを見て、LangSmithのevaluatorを理解する