[OpenAI] Function callingで遊んでみたら本質が見えてきたのでまとめてみた | DevelopersIO
ChatGPT、皆さん遊んで活用してますか！？ 0613のモデルと並んで発表されたFunction callingの機能を使って遊んでみました。 「自然言語でリクエストを投げつければ内部で関数が実行されて正確な計算ができる！？」みたいな雑すぎる理解しかしていなかったので、 どんなことができるのかな？と思って試してみました。 試してみた結果、Function callingは関数を実行してくれる機能じゃない！（極論）ということがわかったので、 その辺について考察してみたいと思います。 前提として、OpenAI APIを用いたChatGPTの利用方法については基本を理解しているものとしています。 具体的には、以前私が書いたこのブログの内容が何となく理解できてれば十分だと思います。 [初心者向き] OpenAI APIを使ってPythonでChatGPT遊びするための最初の三歩くらい また、こち
![[OpenAI] Function callingで遊んでみたら本質が見えてきたのでまとめてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c1e7d69a330d74b919a52ae9d3a24612acf3ace/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Feyecatch_openai_1200x630.png)
openai-cookbook/examples/How_to_call_functions_with_chat_models.ipynb at main · openai/openai-cookbook
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ReactPy
This documentation is still under construction 🚧. We welcome your feedback! ReactPy is a library for building user interfaces in Python without Javascript. ReactPy interfaces are made from components which look and behave similarly to those found in ReactJS. Designed with simplicity in mind, ReactPy can be used by those without web development experience while also being powerful enough to grow w
LLMに狙いどおりの動きをさせるために内部で使われているプロンプトエンジニアリングから、LangChainに入門する「プロンプトエンジニアリングから始めるLangChain入門」。ここで大嶋勇樹氏が登壇。最後に、LangChainのモジュールである「Agents」について解説します。前回はこちらから。 LangChainのモジュール「Agents」 大嶋勇樹氏：最後に、一番おもしろいモジュールであるAgentsを見ていこうと思います。質問をまあまあもらっていますが、最後までいってから回答できればと思います。最後に、一番おもしろいのがこのAgentsです。 まずAgentsのモチベーションですが、Indexesを使ってVector Storeを検索する以外にも、LLMが必要に応じていろいろなことをしてくれたら夢が広がると思います。 例えば、必要に応じて知らない知識だったらGoogleで検索し
筒井（@ryu22e）です。2024年2月の「Python Monthly Topics」は、Excelの新機能Python in Excelについて紹介します。 なお、Python in Excelは本記事執筆時点（2024年1月29日）ではプレビュー段階です。正式版リリース時には仕様が変更される可能性があります。 誰向けの機能なのか Python in Excelは、以下のようなことをしたい人に最適な機能です。 Excelに入力したデータを集計、分析したい Excelに入力したデータでグラフを作成したい 従来も上記を行うための機能はありましたが、Python in ExcelではPythonを使うことでより複雑な処理を書くことができます。 導入方法 冒頭でも説明した通り、Python in Excelは本記事執筆時点ではプレビュー段階です。今のところWindows版Excel（Exce
ChatGPTのAdvanced Data Analysisで、デフォルトで存在しないライブラリを利用する方法 - Taste of Tech Topics
月がきれいな季節になってきましたが、花より団子なので月見団子や月見バーガーに目移りしてしまう菅野です。 前回ブログでは、diagramsを用いてAWSの構成図を描いてもらうPythonスクリプトを作成してもらいました。 acro-engineer.hatenablog.com そこでも記載した通り、Advanced Data Analysis（旧Code Interpreter）環境ではdiagramsのライブラリがインストールされていないため、Advanced Data Analysis上で構成図の生成はできませんでした。 しかし、ライブラリを自前でアップロードすることで、そのライブラリをAdvanced Data Analysisでも利用可能にできるようになるようです。 そこで今回は、やり方を変えて、Advanced Data Analysisを利用してAWS構成図の作成まで実行しても
Excelは万能なので、商品金額をいくつか足し算したいだけでもExcelを起動することがあるだろう。しかし、業務でよく足し算するのなら専用ツールを作ってしまうと便利だ。本稿では、計算処理をしてメールに貼り付けするという一連の処理を自動化するツールを作ってみましょう。 専用の税込み金額計算ツール 汎用ツールと専用ツールを使い分けよう Excelのような汎用表計算ツールに習熟しておけば、あらゆる計算処理をExcelだけで処理できる。世界中のオフィスでExcelが活躍しているのは、その高い汎用性と豊富な機能によるところが大きいだろう。 これに対して、簡単な専用ツールを自作するならば、汎用ツールを工夫して使うよりも、何倍も効率が良く、素早くタスクを完成させることができる。専用ツールは、特定のタスクに特化させるため、操作性がよく画面もシンプルで使い勝手の良いものとなる。 それで、今回は、入力した商品
OpenAI APIであらゆるジャンルのクイズを無限に作る（Function Calling、JSON Mode） - Qiita
OpenAI APIであらゆるジャンルのクイズを無限に作る（Function Calling、JSON Mode）PythonOpenAIChatGPT OpenAIのChat Completion APIを使って、あらゆるジャンルのクイズを無限に作るクイズAPI1を作ってみました。利用するためには、OpenAIのAPIトークンが必要です。 PythonのStreamlitで作ったデモアプリの中で使っています。 クイズのデータ形式 ジャンルを指定すると、Chat Completion APIを使って、次のようなJSON形式の4択クイズデータを生成します。次の例はジャンルにPythonを指定した結果です。 { "questions": [ { "question": "Pythonの特徴でないものはどれ？", "options": ["動的な型付けを採用している", "クラスベースのオブジェ
門脇（@satoru_kadowaki）です。11月の「Python Monthly Topics」は、Python 3.12の新機能であるsub-interpretersについて紹介します。 2023年10月2日に「 Python 3.12.0 」がリリースされました。今回も気になる新機能が多く、本記事で紹介するsub-interpretersもPythonで並列処理を行うための新機能です。 Python 3.12の新機能については以下のリンクを参照してください。 What’s New In Python 3.12 -Python 3.12.0 Documentation 本記事ではPythonにおける並列実行のこれまでと、sub-interpretersが現状どのように使用できるかについて説明します。 なお、執筆にあたり先日開催されたPyCon APAC 2023において、sub-in
OpenAIは2023年7月7日（現地時間）、ChatGPTの追加機能「Code Interpreter（コードインタープリター）」機能を、有償サブスクリプションプラン「ChatGPT Plus」ユーザーに向けベータ版として公開した。 同機能は、3月23日のプラグイン機能公開のタイミングで、一部ユーザーのみに向けてアルファ版として公開していたが、今回すべてのサブスクリプション登録ユーザーが利用可能になった。 ファイルのアップロードも可能 Code Interpreterを有効にすると、ChatGPT内にサンドボックス化された実行環境で動作するPythonインタープリターおよび一時的なディスク領域を利用できるようになる。 例えば、ユーザーが自然言語で問題を入力すると、Code Interpreterはそれを理解し適切なコードをインタープリターを使って生成する。また、既存のデータを読み込ませ視
Happy New Year everyone! In late December 2023 (Christmas Day to be precise), CPython core developer Brandt Bucher submitted a little pull-request to the Python 3.13 branch adding a JIT compiler. This change, once accepted would be one of the biggest changes to the CPython Interpreter since the Specializing Adaptive Interpreter added in Python 3.11 (which was also from Brandt along with Mark Shann
GitHub - microsoft/UFO: A UI-Focused Agent for Windows OS Interaction.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
I'm about to share a lengthy tale that begins with opendal op.read() and concludes with an unexpected twist. This journey was quite enlightening for me, and I hope it will be for you too. I'll do my best to recreate the experience, complete with the lessons I've learned along the way. Let's dive in! All the code snippets and scripts are available in Xuanwo/when-i-find-rust-is-slow TL;DRJump to Con
PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる
AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のクリーンなコードで行えています。 GitHub - karpathy/llm.c: LLM training in simple, raw C/CUDA https://github.com/karpathy/llm.c 作者のアンドレイ・カルパシー氏はOpenAIの創設グループの一員で、テスラのAIディレクターだった事もある人物です。 llm.cを使用することで、245MBの容量を持つPyTorchや107MBの容量を持つcPythonを使用せずに大規模言語モデル
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
概要 はじめに Qlibの試用 動作条件 使用したrequirements.txt データの取得 予測の実施 出力 図示 ソースコード バックテストでのポートフォリオ分析 リスク分析、分析モデル おわりに 概要 本記事では、Qlibを使用して、機械学習パイプライン環境を構築する第一歩について述べる。 はじめに このブログの趣旨としては、当初は「戦略作成」→「戦略検証」→「戦略稼働」→「成果の評価」→「戦略へフィードバック」といったサイクルを管理できるような自動トレーディングシステムを作ることを考えていた。 最近、すこし株取引から離れていたのだが、最近になってまたやり始めようかなと思い、色々と現在の状況を調べはじめた。 その中で、MicrosoftのリポジトリにQlibというものがあるのを見つけた。これが2020年の8月から作られたもので、現在でもメンテされており、もしかするとこれがやりたい
こんにちは。CX事業本部Delivery部のakkyです。 少々旧聞となりますが、今年9月にMojo言語がローカルで実行できるようにリリースされました。 MojoはSwiftの開発者が立ち上げたModular社が開発している新しいプログラミング言語で、Pythonの文法とRustのメモリ安全性を兼ね備えたコンパイラ型プログラミング言語です。 AI開発に使用することが想定されていて、SIMDのファーストクラスサポートなども特徴的です。実際にllama2.mojoというLlama2の実行環境の実装も行われています。 現在はPythonとの完全な互換性はありませんが、Pythonインタプリタを呼び出すことでPythonコード/ライブラリを呼び出すことができ、将来的にはMojo自体がPythonのスーパーセットとなることを目指しているそうです。 10月19日にはMacのApple silicon(
以前より不完全情報のボードゲームで強化学習のアルゴリズムを試したいと思ってる。 簡単すぎるゲームやマイナーなゲームでは、開発のモチベーションが続かない気がするので、日本で人気のある麻雀AIを開発したいと考えている。 麻雀は、「Lucky J」や「Suphx 」で強化学習が試されており、人間の高段者くらいの強さになっている。 それらのAIで使われている手法を自分で実装してみて理解したいと思っている。 また、MuZeroのようなモデルベースの手法を麻雀AIで試してみたいと思っている。 Pythonライブラリ まず、Pythonで使える麻雀ライブラリを探したが、点数計算用のライブラリが見つかったが、1局通して対局できるライブラリが見つからなかったので、自分で作ることにした。 Python以外の言語向けのオープンソースのライブラリでは、対局までできるものが見つかったので、参考にして実装した。 以下
NEC は、プログラミング言語「Python」を用いたデータ分析において標準的に使用されているテーブルデータ分析用ライブラリ「pandas」を高速化するソフトウェア「FireDucks」を開発しました(注1)。データ分析に必要なデータの前処理を最大16倍(注2)高速化し、データ分析にかかる時間の大幅な削減とコンピューティングコストの低減に貢献します。 また本日よりFireDucksのβ版をオンライン(https://fireducks-dev.github.io/)で公開します。どなたでも無償でご使用いただくことが可能です。 近年POSやEコマース等の売り上げデータや金融取引のトランザクションデータなど、大量のデータが容易に取得できるようになりましたが、それらデータから価値ある分析結果を導き出すためには、人工知能(以下、AI)や機械学習(machine learning： 以下、ML)を使
Release v0.5.10 - Create an AI Agent as Your Assistant and Customize Your Tools.
Amazon Bedrock（Claude2）でPythonのソースコード／テストコードの生成を確認してみた - Taste of Tech Topics
こんにちは、最近久々にソロキャンプをしてきました菅野です。 AWS上で、 様々なAIモデルを利用できるようになるサービス、Amazon Bedrockがリリースされました、と書き続けてそろそろひと月が経過しております。 楽しみながら様々なモデルを利用していたらあっという間に時間がたってしまいました。 今回は、BedrockのClaudeV2モデルを用いてPythonコードとテストコードを生成してみようと思います。 Bedrockの説明は、以下を参照してください。 acro-engineer.hatenablog.com 「Fizz Buzz」の生成 プログラミングの初歩も初歩、定番の課題といえばFizz Buzzです。 1-100までの数字のうち、3の倍数の時にはFizzを、5の倍数の時はBuzzを、３の倍数且つ、5の倍数の時はFizzBuzzと、それ以外の時はその数字を表示するプログラム
[Python] Amazon S3のオブジェクトキーとして安全な文字列に変換する | DevelopersIO
こんにちは。サービス部の武田です。Amazon S3のオブジェクトキーの命名に関するガイドラインは見たことがあるでしょうか。一部の文字はURLエンコードすることが推奨されています。 こんにちは。サービス部の武田です。 ファイルをS3バケットに保存しようとした際に、それがオブジェクトキーとして問題ない名前になっているか気になったことはないでしょうか。 AWSのドキュメントでは、オブジェクトキーの命名に関するガイドラインがあります。 オブジェクトキー名の作成 - Amazon Simple Storage Service 変換せずに安全に使用できる文字は0-9a-zA-Zに加え、!-_.*'()の8文字です。 またそのままでは使用できない可能性のある文字としては、制御文字を除くと&$@=;/:+ ,?の11文字です（空白を含む）。 これらの文字が含まれる場合は、問題が起きないようにURLエンコ
![[Python] Amazon S3のオブジェクトキーとして安全な文字列に変換する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/47371cd63121a4cc67ed74841e706530c7e548f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Fpython.png)
クローリング監視の必要性 ウェブサイトのクローリングは、インターネット上の情報を自動的に収集する方法です。機械学習の文脈では、言語モデルや辞書作成などのデータの収集に欠かすことができません。必要な質および量のデータを収集するためには、定期的かつ大規模なクローリングが必要となります。 さて、クローリングを実装し運用する上で問題となるのが、エラーの対応です。インターネットを通じてウェブページをクローリングする際には、以下のような問題が偶発的に発生します。 ネットワーク的な問題でリクエストがタイムアウトする リクエスト先のサーバの問題で、正常にHTMLが読み込まれない ウェブページの構造が変わってしまい、意図した抽出処理が失敗する 上の2つは実行時の外部環境に起因するため時間を空けたり再実行することで解決することがありますが、最後の1つは外部環境の変化に対して自身のコードが対応できていない問題で
はじめに 8/23未明(日本時間)、下記のアナウンスがありました。 「ExcelにPythonが導入」という、 これまで何回か見たような気がしなくもない1 大ニュースが飛び込んできました。 これはPythonの生みの親であり、現在はMicrosoftのDistinguished EngineerであるGuido van Rossumが直々に紹介していました。 日本語でも様々なメディアがニュースにしています。 上記記事を読んで、初見時に思ったことをメモしておきます。 後で私の誤解、はやとちりで間違いだとわかるかもしれないのでその点はご了承下さい。 技術的にどのような実装をしているのか Starting today, Python in Excel will also be natively integrated directly into the Excel grid. To get sta
Gradio: Pythonで簡単にAIをWebアプリ化 - Safie Engineers' Blog!
この記事はSafie Engineers' Blog! Advent Calendar16日目の記事です。 はじめに Gradioとは Hello World! Gradioのインストール コード実装 実行結果 認証機能 リアクティブインターフェース ブロック構造とイベントリスナー コンポーネントの種類 実装例 ソースコード 画面 その他ドキュメント まとめ はじめに セーフィー株式会社 開発本部 第3開発部 AIVisionグループで画像認識AIの開発エンジニアをしている土井 慎也です。 セーフィーには2023年1月に入社し、もうすぐ1年が経とうとしています。 今年を思い返せば、生成系AIを中心とした、AI界隈の発展がすごい1年でした。 毎日のようにいろんな技術が発表されて、使えそうなものはすぐにOSSに実装されていて、技術進歩の速度がものすごく速く感じました。 さて、今回はそんなAI界
本記事では、放物形偏微分方程式の数値解法について、分かりやすい具体例とともに掘り下げていきます。Pythonを活用したアプローチ方法を学びます。 本記事を通して偏微分方程式の数値解法の1つを会得しましょう！ 注） 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。こ
はじめに Streamlitって気づいたら神アプデしてますよね。もっと大々的に宣伝してほしいものです（←自分で情報取りに行け）。 さて、化学メーカーに勤めている"自称"データサイエンティストとしてはやはりベイズ最適化したい衝動に駆られます。Notebook上では実装できていたのですが、もっと簡単に使いたいし、周囲に広めるためにもアプリの方が便利だなぁと思いました。 世の中にはそんなアプリがあるけど、ダウンロードが必要だったり（社内申請めんどくさい）、お金がかかったり・・・そうだ！自作しよう！ ということで、Streamlitでベイズ最適化による実験点提案アプリを自作しました。 ひとまず必要最低限の機能だけ実装したので、今後アップデートしていきます。 メインライブラリ streamlit==1.30.0 scikit-learn==1.4.0 ガウス過程回帰、ベイズ最適化 ・scikit-l
プログラミングで気になるあの娘と一夏の青春を送る無料恋愛ノベルゲーム×「初恋プログラミング研究会〜海に行こうよ〜」遊んでみたレビュー
少女から出題されるプログラミングの問題を解いていくことで、少女との思い出を増やしていき、一夏の青春を送るノベルゲーム「初恋プログラミング研究会〜海に行こうよ〜」をpaizaがリリースしたので、プログラミング初心者である編集部員が実際にプログラミングの問題を解きながら、少女との仲をじっくりと深めてみました。 初恋プログラミング研究会〜海に行こうよ〜 https://paiza.jp/entry/proken_g paizaのアカウントにログインした状態で、「初恋プログラミング研究会～海に行こうよ～」にアクセスし、「ゲームスタート」をクリックします。paizaのアカウントは新規登録ページから、無料で登録可能です。 「初恋プログラミング研究会～海に行こうよ～」のあらすじはこんな感じ。 高校2年の夏、俺は勇気を出して同じプログラミング研究会に所属する橘まりかを海に誘った。 彼女はいたずらな笑みで
群馬県沼田市は、市政改革大綱を定め、人口減少や逼迫する財政状況などの直面する課題へ取り組み、持続的行政サービスの提供を行うことを掲げている。 そうした中、副市長の川田正樹CIO（Chief Information Officer)をトップとしたDX推進室を令和4年度から新たに組織し、デジタルを活用した業務変革、DX（デジタルトランスフォーメーション）に取り組んでいる。具体的には、スマート自治体を推進するため、効果的な手段としてAIやRPAの導入を進めている。 当初は、有償のRPAソフトを導入し効果を上げていたが、浮かんできた課題を解決するため、オープンソースのPythonとRPAソフトに切り替えた。これにより、どのような効果が得られたのだろうか。 この一連の取り組みについて、沼田市総務部企画政策課 課長 星野盾氏、DX推進室長 鳥羽雄一郎氏、主査 石澤賢一郎氏、主任 原沙和氏に聞いた。 左
社内向けStreamlitのデプロイの現実解
結論 社内データを扱うアプリケーションを安全にデプロイするならCloudflare Tunnel,Cloudflare Accessを使う。要件次第ではStreamlit in Snowflakeも使える。 はじめに Streamlitはデータアプリケーションを短時間で作成できる便利なツールですが、社内データを扱うアプリケーションをデプロイする際は外部からの不正アクセスを防ぐように厳重な注意が必要です。 にもかかわらず、Streamlitを安全にデプロイする成熟した方法はまだありません。 本記事では、最も単純なStreamlitのデプロイ構成の例から問題点を再確認し、それらを解決する方法を順に説明します。ただし、本記事で紹介する構成を使うにはドメインのネームサーバーがCloudflareである必要があることに注意してください。 単純な構成はどう危険なのか？ まずは非常に単純なStreaml
大規模小説データをOpenAI Embedding APIで特徴抽出してUMAPで可視化してみた
テラーノベルで機械学習を中心に担当している川尻です。みなさんも大量のデータを特徴抽出してみたけど、どう使ったらいいかわからないなぁということありますよね。とりあえずどういうデータなのか雰囲気だけでもみるために、簡単な可視化から入るかと思います。以前にもグラフデータの可視化について記事を書きました。 テラーノベルでは小説投稿アプリを作っており、OpenAI Embedding APIを使って全作品の特徴量を出しているデータベースがあります。今回はこのデータを例にして、UMAPという可視化に便利な次元削減手法の使い方を紹介します。 UMAPとは UMAPというのは非線形の次元削減手法で、特徴は次元数やデータ量に対してほとんど一定の計算時間で済むということです。LLMなどの事前学習モデルでよく扱うような1,000次元を超えるような特徴量でも全く問題なく動きます。さらに、Pythonでとても使いや
AnthropicAI Tool で Retrieval-Augmented Generation を実装してみた
LangChain なんか使わなくてもシュッと作れたので記事にしておく。 RAG とは 生成AIに検索能力をもたせるやつ。 要は検索機能をこちらで提供してやって、AIにそれを読ませる。 AnthropicAI Tool OpenAI でいう Function Calling JSONSchema で関数シグネチャを与えると、それを使うDSLを生成する。実際の関数は自分で実装して、AI が生成した引数(JSONSchema に従う)を渡す。 TypeScript の Mapped Types でツールの実装部分に型をつける簡単なラッパーを書いた。 RAG の CLI を作る Google検索をするAPIを実装 Google Custom Engine API を使った 本文要約をするAPIを実装 Mozilla の実装を使った 与えられた URL を fetch して、その本文部分を抽出する
Python言語による実務で役に立つ100の最適化問題
最適化問題を100以上集めて，Python言語を用いた実用的な解法を紹介しています．
はじめに 元AI女子高生「りんな」をご存知でしょうか LINEに突如現れたAI女子高生で話題となっていたと思いますので、ご存知の方も多いかとおもいます。 先日「りんな」の開発元であるrinna社から日本語特化の学習がされたGPT-2モデルが 商用利用可能なMITライセンス で公開されました。 rinna、人間の評価を利用したGPT言語モデルの強化学習に成功 本モデルは、 ChatGPTに用いられている学習手法である、人間の評価を利用したGPT言語モデルの強化学習に成功している とのことです。 かつ ローカル環境でも動作する ようです。 本記事では、その対話GPT言語モデルの動作を見てみようと思う 目次 動作環境 モデル動作確認（GoogleColab） ローカル環境で実行 さいごに 動作環境 検証環境 google colaboratory（Colab Pro版） ローカル検証環境 Win
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM 2023 10/19 皆さん、StreamingLLMというLLM用のアプリケーションをご存知ですか？ LLMで無限に入力ができることを可能にしたツールなんです！LLMを日々使い倒している弊社としては、衝撃のツールなんですよ。 GitHubでも4500超えのスターを獲得しており、徐々に注目が集まっています。AIオタクであれば、知らなかったなんてことないですよね。 このStreamingLLMを使えば、対話型でLLMを動かすことができ、モデルが質問の都度、リアルタイムで応答を生成してくれます。 というわけで、今回はStreamingLLMの使い方や、実際に使ってみた感想などをご紹介します。 この記事を最後まで読むと、StreamingLLMを使いこなすことができ、LLMとのリアルタイムの会話も可能になります！
はじめに ここ最近、大雨のニュースを見るたびに「〇〇年に一度の大雨」という表現を目にします。これは「千年に一人の美少女」や「百年に一度の逸材」といったレトリックではなく、データに基づいて統計的に算出された根拠のある数字です。 気象庁や自治体では観測結果をもとにこのような量を算出し、発表することで防災に役立てています。このシリーズでは、算出方法を確認し、Pythonを使って、実装・計算してみたいと思います。 なお、ここで紹介する手法は、実際に公的機関が発表しているものとは異なる場合が多分にありますので、十分にご注意ください。 今回は、前回に引き続き、分布関数をヒストグラムに当てはめる方法について紹介したいと思います。 「○○年に一度の大雨」の計算方法とは？ 気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のこ
音声データをPythonで取り込んで表示したり解析したりしたいと思ったことはありませんか？ この記事では音声データの入出力をPythonで行えるpydubのインストールと基本的な使用方法（音声データの読み込み）について説明します。 pydubで音声データファイルの入力ができれば，Numpyが提供する関数等を使用してPython上で音声データの解析・加工ができるようになります。 動作検証済み環境 macOS Catalina(10.15.7), python3.7.10, Jupyter Notebook, OpenCV 3.4.2 Pythonで音声データを読み込み，波形を描画する方法 pydubのインストール Pythonで音声データファイルの読み込みをするときは，pydubが便利です。 pydubは内部で ffmpegというライブラリを使用しますので，あらかじめインストールしておく必要
連載目次 前回は、機械学習の基礎と、主要なPythonライブラリの概要を説明しました。 今回は、Pythonを使った機械学習プログラミングの基本的な流れを、実際にコードを書きながら体験的に学んでいきましょう。具体的には、データの読み込みと加工から、グラフによる可視化、統計的な数値計算、そして簡単な機械学習モデルの構築まで、基本的な一連の流れを体験できます（図1）。 今回で学べること 図1の通り、機械学習プログラミングの基本的な流れに沿って進めると、第1回で紹介した主要なPythonライブラリ（pandas、NumPy、Matplotlib、seaborn、scikit-learnなど）を各場面で使い分けることになります。 各ライブラリを深く理解して使いこなすためには、個別に詳しく学ぶことが必要です。ただし本連載では、詳細には触れず、実践で役立つ基本的な使用例に絞って説明します。もっと深く掘
先日、日本で発売されたRaspberry Pi 5 (メモリ4GB)が届いたので、流行りのLLMを動かしてみました。動作の様子は次のツイートに掲載しています。 ニューヨークにあるエンパイアステートビルの説明をしてくれています。 用いたOSは、2023-12-05にリリースされたRaspberry Pi OS (64-bit) with Desktopです。 Raspberry Pi Imagerを用いてSDカードにイメージを書き込み起動しました。 TinyLlamaの環境準備 まずターミナル上で以下のコマンドを実行して、Hugging FaceのサイトからTinyLlamaのモデルをダウンロードしてきます。操作は/home/pi/直下で行っています。 wget https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/res
IAMのポリシー設定画面 IAMユーザの作成方法の詳細は、IAM公式ドキュメント、または他の参考資料をご確認ください。 IAMユーザを作成する時に、「アクセスキー」と「シークレットアクセスキー」が作成時のみ画面に表示されます。これらのキーは後ほどログを取得する際に利用しますので、大切に保管してください。 AWSプロファイルを手元のPCに設定する方法もありますが、今回はプロファイルを生成せずに環境変数でコードに渡す方法で説明します。AWSプロファイルの設定を行いたい場合は、AWS公式ドキュメント（Configure the AWS CLI） を確認してください。 環境変数への登録と確認 「アクセスキー」と「シークレットアクセスキー」を環境変数に設定します。 $ export AWS_ACCESS_KEY=****************JUMP # 作成したアクセスキー $ export
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
まるで“LLMがツールを使う”かのように動作する デモから見るLangChainのモジュール「Agents」の使い方
ExcelにPythonコードを埋め込める「Python in Excel」の紹介 | gihyo.jp
ゼロからはじめるPython(116) 金額合計ツールでExcel要らず - 合計/整形/コピーのツールを作ろう
Python3.12で新たにサポートされたsub-interpretersの紹介 | gihyo.jp
「マジでやばい」ChatGPTでプログラムが実行できる“コードインタープリター“
Python 3.13 gets a JIT
Rust std fs slower than Python!? No, it's hardware!
Qlibを使った機械学習パイプライン環境の構築 投資の取引戦略最適化と機械学習モデル作成の省力化を目指して - 株のシステムトレードをしよう - 1から始める株自動取引システムの作り方
新しいPython風プログラミング言語Mojoを試してみた | DevelopersIO
Pythonの麻雀ライブラリを作る - TadaoYamaokaの開発日記
NEC、Pythonを用いたデータ分析を高速化するソフトウェア「FireDucks」の無償提供を開始
Dify.AI · The Innovation Engine for Generative AI Applications
Sentryを使ったScrapyのウェブクローリング監視
"Python in Excel"について初見時の感想 - Qiita
【コード付き】放物形の偏微分方程式の数値解法【Python】 - LabCode
ベイズ最適化（実験点提案）アプリをStreamlitで構築するぜ！ - Qiita
有償RPAソフトからオープンソースのPythonに切り替えた沼田市、その狙いと効果とは
ローカルでも動く！？日本語に特化した強化学習済み対話GPT言語モデルを検証してみる - Qiita
【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM | WEEL
【気象データ】「〇〇年に一度の大雨」の算出 (分布関数の当てはめ編)【統計解析】 - LabCode
【Python】pydub使ったら音声データの解析がめっちゃ簡単だった
scikit-learn入門＆使い方 ― 機械学習の流れを学ぼう
Raspberry Pi 5上で軽量LLM、TinyLlamaを動かしてみる - Qiita
AWS CloudWatchのログをpandasで解析し、エラーの状況を可視化する | gihyo.jp