Processing and narrating a video with GPT's visual capabilities and the TTS API
The new Assistants API is a stateful evolution of our Chat Completions API meant to simplify the creation of assistant-like experiences, and enable developer access to powerful tools like Code Interpreter and Retrieval. Chat Completions API vs Assistants API The primitives of the Chat Completions API are Messages, on which you perform a Completion with a Model (gpt-3.5-turbo, gpt-4, etc). It is li
GPT-4o ("o" for "omni") is designed to handle a combination of text, audio, and video inputs, and can generate outputs in text, audio, and image formats. Background Before GPT-4o, users could interact with ChatGPT using Voice Mode, which operated with three separate models. GPT-4o will integrate these capabilities into a single model that's trained across text, vision, and audio. This unified appr
Incremental models are one of the most powerful features of dbt. Let’s review common patterns for implementing incrementals. OverviewIncremental models are a dbt feature that allows us to manage large tables by adding subsets of data. dbt Query Pattern In dbt, we write templates that generate SQL.We use Jinja macros to declaratively generate our SQL queries. These macros output text and are identi
Processing and narrating a video with GPT's visual capabilities and the TTS API This notebook demonstrates how to use GPT's visual capabilities with a video. GPT-4 doesn't take videos as input directly, but we can use vision and the new 128K context window to describe the static frames of a whole video at once. We'll walk through two examples: Using GPT-4 to get a description of a video Generating
こんにちは!株式会社デジタルレシピ CTO室の荻原(@yui_nk222)です。 2023年6月14日に、OpenAIから大きなアップデートが発表され、外部ツールを呼び出せる「Function calling」という機能が発表されました。 早速Cookbookのサンプルコードを試しながら、どんなことができるのか見ていきたいと思います。 1. Function callingの概要gpt-3.5-turbo-0613やgpt-4-0613というモデルでは、関数呼び出しに必要なJSONを生成できるようになった モデルにfunctionsパラメータで関数の内容を渡すと、その内容に基づいて関数の引数を含んだJSONを生成する このJSONを使用して、関数を呼び出すことができる 関数はモデルのコンテキスト制限に含まれ、入力トークンとしてカウントされる functionsパラメータについてChatCo
資料内に記載のリンク Anthropic Cookbook https://github.com/anthropics/anthropic-cookbook Context Window のお話 https://speakerdeck.com/schroneko/context-window-noohua 君は Anthropic Tools を知っているか? https://qiita.com/schroneko/items/a4098baa29580ec906b8 Claude Opus / Sonnet / Haiku System Prompt https://twitter.com/schroneko/status/1765372238503760324 Claude3にプロジェクト全体をぶち込むためのプロジェクトの構造とファイル内容を自動でまとめるPythonスクリプト htt
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く