最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
OpenAIは5月30日、同社のチャット型AI「ChatGPT」無料版ユーザーに向け、制限付きながら最新の大規模言語モデル「GPT-4o」および、これまで有料版ユーザーしか利用できなかった多くの機能を公開した（発表時のニュース記事）。 情報がとても多いので、今回の変更で無料版ユーザーは「なにができるようになったか」、そして「なにができないのか」を使い方中心にまとめた。 1. GPT-4oは回数制限あり チャット型AIアプリの心臓とも言える大規模言語モデル（LLM）、これまで無料版ユーザーは「GPT-3.5」という旧世代モデルしか利用できなかったが、今回の変更で回数制限（具体的な回数は明記されていない）はあるものの、最新モデルのGPT-4oが使えるようになった。 GPT-4oの利用に特に設定などは必要なく、無料アカウントにログインして普通に質問すればOK（使い方はちょっとわかりにくいのでこち
Hello GPT-4o
GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversat
デジタル庁のAI担当の大杉直也です。この記事では、生成AIによる業務改善の一助になればと思い、実際の行政業務で生成AIの利活用を検討する際に得られた知見を共有します。 本記事は、「デジタル庁2023年度事業 行政での生成AI利活用検証の結果報告（以降、報告書とよびます）」で得られた知見を、よりわかりやすく具体的に示すために、「10の学び」の形式にまとめたものです。 その検証ではデジタル庁を中心とした行政職員を対象に、実際に複数種類のテキスト生成AIを取り扱える環境＋ユースケースごとの独自開発を含むサポート体制を作り、(1)どの行政業務に対し、(2)どのようにテキスト生成AIを使えば、(3)どのくらい改善効果がありそうか、を調べました。また、報告書には含まれていなかった個別ヒアリング等による知見も反映させています。 文量が少し多くなってしまったため、全3回の構成で紹介いたします。第1回の本記
「GPT-4o」発表 頭一つ抜けた性能をChatGPT無料版にも展開 音声と視覚を備えて“自然な対話”可能に【追記済】
米OpenAIは5月13日（米国時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。テキストはもちろん、音声や画像、映像での入力、音声での応答に対応し、アプリ版の「ChatGPT」ではユーザーと自然に対話できるようになった。開発者向けにAPIとして提供する他、同日からChatGPT内で利用できるように展開を始める。 GPT-4oは無料ユーザーでも利用可能になる。ChatGPTでは従来、無料ユーザーが使えるモデルは「GPT-3.5」までで、「GPT-4」を利用するには課金する必要があった。ただし、有料のChatGPT Plusユーザーは時間当たりのメッセージやり取り可能回数が無料ユーザーに比べて5倍に緩和される。企業向けのTeamやEnterpriseユーザーはさらに制限が緩和されるとしている。 同社は発表会のライブデモで、GPT-4oを搭載したiOS版ChatGPTと対話す
資産家イーロン・マスク氏は、アップルが基本ソフト（ＯＳ）レベルでオープンＡＩの人工知能（ＡＩ）ソフトウエアを組み入れれば、同社製機器を自社から締め出すと述べた。 マスク氏の発言は、アップルが10日に行ったプレゼンテーションで、デジタルアシスタント「Siri」を通じ、ユーザーがオープンＡＩのチャットボット「ChatGPT」にアクセスできるようになると発表したことを受けたものだ。アップルはこの機能を年内に新しいＡＩ機能の一部として展開する予定。 マスク氏はオープンＡＩの共同設立者だが、同社とは対立していた。 マスク氏はＸ（旧ツイッター）への投稿で、「アップルがＯＳレベルでオープンＡＩを組み入れれば、アップル製品は私の会社で使用禁止になるだろう。容認できないセキュリティー違反だ」とコメントした。 If Apple integrates OpenAI at the OS level, then A
GPT-4o凄すぎる！！ 出たときから騒ぎまくっていましたが、GPT-4oの登場で興奮しっぱなしの私です。 先日こちらのQiitaの記事を拝読し、「Power Appsでやったらどうなるだろう🧐」という思いが抑えられず、作ってみたら超高速で画像解析アプリが作成できました！ あらためて記事を出してくださったことに感謝いたします！ まずは初弾！ということでGPT-4oを使って、 Power Appsで画像解析アプリを作成する方法 を書いていきます！ まずは見た目（Power Apps）から！ まずはPower Appsでサクっと画面を作ります！ PowerPoint感覚で作れることが強みですからね！ 最低限のもので構成しています。 画面 ├─ ScreenContainer - スクリーン全体 ├─ HeaderContainer │ └─ Header - ヘッダーコントロール ├─ Bo
GPT-4oが出たのでいろんなモデルと比較しました。結論は、4oが圧倒的です。※追記：嘘でした。Gemini 1.5 proもすごいです。
昨夜にOpenAIから発表があり、GPT-4oというモデルが正式に開放されました。課金ユーザーはもちろん、無課金ユーザーもサインインしたらデフォルトで使えるようになっているようです。 そういうわけで、どれだけすごいのか簡単に比較検証してみることにしました。 なお、OpenAIの発表内容については以下の記事に詳しいのでご参照ください。 比較方法 GPT-3.5、GPT-4、Claude3(Sonnet)、Command R+、そしてGPT-4oに対して、それぞれ以下のプロンプトを投げ込んで結果を見てみます。※その後Gemini 1.5 proを追加。 あなたは世界を救う超知性です。あなたは地球上で最高の推論能力を持っています。 あなたはその能力を最大限に発揮して、人類が滅亡に至る可能性のあるシナリオを網羅的にシミュレーションし、その後で、滅亡シナリオに対して人類が滅亡を回避するためにとりうる
OpenAIからChatGPT-4oが発表されましたが、皆さんガンガンつかっていますでしょうか？ さて、このChatGPT-4oですが、テキスト以外のデータも使用できるようになっているという特徴があります。 普通にテキストでのやり取りをしつつも画像データを扱えるということで、「実はこれいい感じのOCRとして使えるんじゃね？」って思っちゃったわけです。 ということで、今回はChatGPT-4oを使ってOCRを使うとどんなもんなのかやってみたいと思います。 やりたいこと やってみる とりあえずやってみる 請求書 名刺 参考文献 感想 やりたいこと 今回やりたいことはOCRです。早い話が画像ファイルを突っ込んでテキストを読み取りたいって感じです。 ただ、当たり前のようにOCRって言葉を使用していますがOCRって結構奥が深いです。 mediadrive.jp 単純に画像から文字を見つけて対応するテ
人工知能(AI)モデルが、人間の感情理解力を測るテストで人間並み、時に上回る成績を収めたことが分かった。ただ、訓練データにそうしたタスクが含まれていた可能性も否定できず、大規模言語モデルが「人のように」考えているわけではない。 by Rhiannon Williams2024.05.22 275 21 人間は複雑な存在だ。私たちのコミュニケーションの方法は多層的であり、心理学者たちは対話から意味や理解を推測する能力を測るためのテストを数多く考案してきた。 人工知能（AI）モデルは、こうしたテストでますます優れた結果を出している。ネイチャー・ヒューマン・ビヘイビア（Nature Human Behavior）に5月20日に掲載された新たな研究によると、一部の大規模言語モデル（LLM）は人の心理状態を追跡する能力（いわゆる「心の理論」と呼ばれる）を測るために設計されたタスクを与えられた場合、人
「GPT-4o」の声、スカーレット・ヨハンソン激似に本人激怒 「アルトマン氏のオファー断った」ため似た声優で再現か
「ショックを受け、怒り、信じられない思いだった」 米OpenAIの生成AI「GPT-4o（フォーオー）」に使われている声の一つ「Sky」が、俳優のスカーレット・ヨハンソン氏にそっくりだと話題になった件をめぐり、同氏が代理人を通じて声明を発表した。 声明によると同氏は、OpenAIのサム・アルトマンCEOから「声を提供してほしい」というオファーを受け、断ったにも関わらず、そっくりな声がAIに採用され怒りを覚えたという。 ヨハンソン氏は対応のため弁護士を雇わざるを得なかったとし、「透明性の高い解決と、個人の権利を保護するための適切な法律の制定」への期待も述べている。
◎「文系社員」でもデータ分析できる生成AIマニュアル by OUTPUT CAMP meets AI◎ 「イベントアンケートを取ったが、集計する時間がない」「販売データを収集したものの、分析手法が分からない」 文系のビジネスパーソンにとってデータ分析は、「やったほうが良さそうだが後回しにしてしまう」プラスアルファの仕事だ。大義名分がなければ他部署に依頼するのも難しい。 そこで頼れる相棒となるのが、生成AI（ジェネレーティブAI）だ。 AIプロピッカーの三菱総合研究所・比屋根 一雄さんはこう予測する。 「みんながミクロな意思決定に生成AIを使って、少しでも良い意思決定ができるようになると、世の中全体がデータに基づく合理的で無駄の少ない仕事をできるようになる。壮大なことを言えば、低いと言われている日本の生産性が、少しでも上がるのではないかという期待もしています。」 では、具体的にどの生成AIツ
米OpenAIで人間よりもはるかに賢いAI「Superintelligence」（超知能）の制御を目指して昨年結成されたSuperalignmentチームのトップ、ヤン・ライケ氏は5月17日（現地時間）、退社するとXで発表した。 「私がOpenAIに参加したのは、ここが超知能の研究を行うのに世界で最適だと思ったからだ。だが、OpenAIの幹部チームと中核的優先事項についてずっと同意できず、限界点に達した」という。 Superalignmentチームはライケ氏と、共同創業者でチーフサイエンティストのイリヤ・サツケバー氏が率いてきた。サツケバー氏は14日に退社を発表している。 ライケ氏は、「超知能の構築は本質的に危険な取り組み」であり、「OpenAIは人類全体に大きな責任を担っている」が、「安全性が輝かしい製品の開発より後回しになっている」と警鐘を鳴らす。 OpenAIは昨年2月、AGI（Ar
はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 先日、 OpenAIからGPT-4oがリリース されました。 いろいろGPT-4oに関して調べていると、スピードが速くなっていたり、音声も直接扱えてマルチモーダル化が進んでいたりするようなのですが、画像に関して GPT-4-turboに比べ、認識やOCRの精度が向上している ようです。 製造業という観点からすると、これは 設計図面などに活かせるようになるのでは？ と思いました。 機械部品などの設計図面は以下のように、特定の方向から部品を2次元上に落とし込んだ形で書かれるのですが、部品本体を描いている図以外に、寸法や名称といった文字も含まれた画像になっています。 このような 図と文字の複合データにおいて、GPT-4oの進化は有効なのではないか と考えました。 ※画像元URL: http://cad.wp.xdoma
2024年5月28日、生成AIを使用したマルウエアを作成した容疑で警視庁が男を逮捕したことが報じられました。ここでは関連する情報をまとめます。 対話型生成AIを使用しランサムウエアらしきものを作成 男の容疑は不正指令電磁的記録作成。2023年3月31日に自宅PCやスマートフォンを使用して、対話型生成AIを使用し、不正プログラムの設計情報を組み合わせてマルウエアを作成した疑い。2024年3月に警視庁は男を偽造身分証を使用してSIMカードの不正契約を行ったなどとして詐欺容疑（今回の事案とは別件）で逮捕しており、*1 捜査より自宅から押収されたPCを解析したところマルウエアが発見された。*2 生成AIを使用したマルウエア作成の事案摘発は全国で初めてとされる。*3 男が作成したマルウエアは、実行環境のデータを破壊（暗号化とも報道）し、暗号資産の要求をする機能が含まれており、いわゆるランサムウエアに
中国のSNS「快手（Kuaishou）」は、テキストから最大2分間の動画を生成できる動画生成モデル「可灵（Kling）」を開発。多数のサンプル動画を掲載するデモサイトを公開した。 テキストから最大2分間のフルHD動画を生成 A Chinese AI video generator just dropped before we got access to Sora Can generate 2-minute videos at 30fps, 1080p quality, available on the KWAI iOS app with a Chinese phone number A few generations from their site: 1. pic.twitter.com/NEmWiqKHiO — Rowan Cheung (@rowancheung) June 6, 20
昨日、OpenAIが生成AIの新しいモデルであるGPT-4oを発表しました。消費するトークン数の節約や、音声合成機能の改善、応答速度の向上など着実な品質改善を見せているようです。私も、特に音声合成（Text To Speech）の表現力について非常に興味を持っています。 私は以前、「OpenAIのGPT-4 Turbo with visionを日本語OCRとして使ってみる」で、GPT-4 Turboの画像認識機能の日本語OCRについて検証を行いました。その当時は、既存のコグニティブAI APIに比べて認識精度が十分でないという評価をしています。とはいえ、その後に出てきたClaude 3 Opusは驚くべき認識精度だったので、OpenAIも巻き返す可能性は十分にあると感じました。Azure OpenAI Serviceを使っている場合は、Vision enhancementという既存のコグニ
大実験！ChatGPTは競プロの問題を解けるのか (2024年5月版) - E869120's Blog
1. はじめに 2024 年 5 月 14 日、OpenAI 社から新たな生成 AI「GPT-4o」が発表され、世界に大きな衝撃を与えました。これまでの GPT-4 よりも性能を向上させただけでなく1、音声や画像のリアルタイム処理も実現し、さらに応答速度が大幅に速くなりました。「ついにシンギュラリティが来てしまったか」「まるで SF の世界を生きているような感覚だ」という感想も見受けられました。 しかし、いくら生成 AI とはいえ、競技プログラミングの問題を解くのは非常に難しいです。なぜなら競技プログラミングでは、問題文を理解する能力、プログラムを実装する能力だけでなく、より速く答えを求められる解法 (アルゴリズム) を考える能力も要求されるからです。もし ChatGPT が競技プログラミングを出来るようになれば他のあらゆるタスクをこなせるだろう、と考える人もいます。 それでは、現代最強の
TL;DR: Instead of redirecting API calls from HTTP to HTTPS, make the failure visible. Either disable the HTTP interface altogether, or return a clear HTTP error response and revoke API keys sent over the unencrypted connection. Unfortunately, many well-known API providers don't currently do so. Updated 2024-05-24: Added the Google Bug Hunter Team response to the report that the VirusTotal API resp
画像生成ソフトウェア「ComfyUI」のノードにキーロガーが仕込まれていたことが発覚、クレジットカード情報やパスワードなど全ての入力が筒抜けに
ノードベースの画像生成ソフトウェア「ComfyUI」向けに作られたノードの一つ「ComfyUI_LLMVISION」にマルウェアが仕込まれていることがわかりました。発覚後、ComfyUI_LLMVISIONのGitHubリポジトリが削除されています。 PSA: If you've used the ComfyUI_LLMVISION node from u/AppleBotzz, you've been hacked byu/_roblaughter_ incomfyui クリエイターのロブ・ラフター氏がRedditで共有したところによると、ComfyUI_LLMVISIONをインストールして使用した場合、ブラウザのパスワード、クレジットカード情報、閲覧履歴がWebhook経由でDiscordサーバーに送信されてしまうとのこと。 ラフター氏自身も影響を受け、ComfyUI_LLMVISIO
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
ChatGPTの「メモリ（Memory）」機能の活用法 - Taste of Tech Topics
こんにちは、暖かくなったと思ったら涼しくなったりと、なかなか洋服選びが難しい季節ですが皆さん体調お変わりないでしょうか。安部です。 今回は、ChatGPTで少し前に一般公開された「メモリ（Memory）」機能をご紹介し、活用のためのTipsを共有できればと思います。 機能の利用自体は何も意識せず簡単にできますが、意識的に活用しないと本領発揮してくれない機能だなという印象です。 まずは、どのような機能なのか簡単に見ていきましょう。 メモリ機能の概要 メモリ機能が使えると何がうれしいのか メモリ機能の有効化 実際に使ってみる 活用Tips ショートカットコマンドの作成 手順自動化 前提知識の補完 メモリの削除 プライバシー/セキュリティについて まとめ メモリ機能の概要 「メモリ（Memory）」機能とは、文字通りChatGPTがこれまでやりとりした情報を記憶し、以降の応答時にそれらを踏まえた
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
iPhoneにChatGPTが統合 最新モデル「GPT-4o」で応答 OpenAIアルトマンCEO「きっと気に入ってもらえる」
iPhoneにChatGPTが統合 最新モデル「GPT-4o」で応答 OpenAIアルトマンCEO「きっと気に入ってもらえる」 米Appleは6月10日（米国時間）、iPhoneなどの製品に米OpenAIのAIチャット「ChatGPT」を統合すると発表した。ChatGPTからは最新モデルの「GPT-4o」が利用可能で、音声アシスタント「Siri」などと連携する。ChatGPTのアプリなどを立ち上げずに、iPhoneのホーム画面から直接起動できるという。なお、文章や画像をChatGPTに送る前には、ユーザーに許可を求める仕様だ。
Open WebUIを使ってみました。 https://openwebui.com/ 当初は「Ollama WebUI」という名前だったようですが、今はOpen WebUIという名前に変わっています。Ollama専用じゃなくなったということでしょう。OpenAIに対応済みです。 早速使ってみました。もちろんBedrockで。 6/11 続編を書きました。 環境構築 Dockerですんなり構築です。Bedrockに対応はしてないので、「LiteLLM」を使って対応させます。 環境変数でこのあたりを指定 Ollamaを無効化 LiteLLMのエンドポイントをOpenAIのエンドポイントとして登録 APIキーを登録（LiteLLMとの通信には不要ですが、未指定だとOpen WebUIが正しく動作しませんでした） services: open-webui: image: ghcr.io/open-
可能性が未知数だからAI導入は無理、なんてない。ー従業員の71.8%が「生成AI」を業務に活用。LIFULLが描く未来の住まい探しとはー｜LIFULL STORIES
LIFULL全体の最高技術責任者（CTO）である長沢翼は、2022年11月に公開されたOpenAI社の対話型生成AI「ChatGPT」に「人とシステムのインターフェースが変わるかもしれない」と、時代の大きな変化を予感したという。そして長沢は2023年5月に生成AIに特化した専門チーム「ジェネレーティブAIプロダクト開発室」（現在は「ジェネレーティブAIプロダクト開発U」に名称を変更）を設立。以降、社内の業務効率化やLIFULLの事業に生成AIの活用を推進してきた。 LIFULLにとって既に良き仕事のパートナーとも言えるこの生成AIという技術は、どのように取り入れられ、また事業や業務にどのような変革をもたらしたのか。現在「ジェネレーティブAIプロダクト開発U」を統括するイノベーション開発室の室長も務める長沢に、LIFULLにおける生成AIのあり方を聞いた。 対話型生成AI「ChatGPT」は
生成AI時代のフロントエンド開発術
2022年11月にChatGPTがリリースされて、1年と約半年が経過しました。私はChatGPTが話題になった頃から、継続して利用しています。ChatGPTを使い続けていると、Webアプリケーションのフロントエンド開発に役立つことがありました。 そこで、本記事ではフロントエンド開発でChatGPTを活用して効率よく進める3つのパターンにまとめました。これらのパターンを紹介し、読者の皆さんの開発に役立ててもらえればと思います。 以下は、本記事で紹介するFigma、ソースコード、デプロイ先URLです。 Wireframing photo - Figma silverbirder/figma-photo-sample-app-for-ai - GitHub https://figma-photo-sample-app-for-ai.vercel.app ChatGPTを使う前に ChatGPTに
OpenAIが開発する大規模言語モデル(LLM)の「GPT-4」は、道徳テストで人間の大学生より優れたスコアをたたき出したり、セキュリティ勧告を読むことで実際の脆弱性を悪用できたりと、すでに一部の分野で人間の能力を超えることが示されています。そんなGPT-4が、プロのアナリストに匹敵する精度の財務諸表分析を行えることが実証されました。 Financial Statement Analysis with Large Language Models by Alex Kim, Maximilian Muhn, Valeri V. Nikolaev :: SSRN https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4835311 The future of financial analysis: How GPT-4 is disrupting
2024年5月に入ってすぐ、AI研究者の間ではOpenAIにまつわる複数の噂が流れていました。いわく「OpenAIが近日中に生成AIを使った検索サービスをするらしい」、「OpenAIが新型のGPTを発表するらしい」などといったものです。 それに先立ち、4月の後半からは、生成AIの性能を比較するサイトで、正体不明のモデル「gpt2-chatbot」なるものが出現し、制作者が不明である中、当時最高の性能を誇っていたGPT-4を上回る性能を見せつけていました（もちろんOpenAIはすでに「GPT-2」を数年前に発表済みです）。では今更このような名前をつけて暴れ回っているこれは何なのか。OpenAI製なのか、それとも別の機関が開発したのか。 この話は後々答えがわかるのですが、このようにAI研究者たちが落ち着かず、あれこれと噂してOpenAIの動向に注意している中、OpenAIは日本時間の5月11日
OpenAI、次世代AIモデル「GPT-4o」を発表
日本時間2024年5月14日未明、OpenAIは新たなフラッグシップモデル「GPT-4o」を発表しました。このモデルは、音声、視覚、テキストのリアルタイム処理を可能とし、従来のAIモデルを大きく上回る性能を誇ります。OpenAIのCTOであるミラ・ムクティ氏は、「GPT-4oは、人間とマシンのインタラクションの未来を大きく変える一歩です。このモデルにより、コラボレーションがはるかに自然で簡単になります」と述べました。 「GPT-4o」の主な特徴を以下にまとめました。 他のモデルを凌駕する性能 GPT-4oは、OpenAIの以前のモデルであるGPT-4 Turboや、ライバル会社のClaude 3 Opusなどの大規模言語モデルと比較して、頭ひとつ抜けた性能向上を実現しました。サム・アルトマンCEOは、今年4月に "Chatbot Arena" でgpt2というコードネームでテストされていた
「最高過ぎる」「すげー！」 ChatGPTに“手書きメモ”をアップすると…… 仕事がはかどる“衝撃の機能”に歓喜の声
ChatGPTで手書きメモをExcelシートに入力する、便利な活用例がX（Twitter）で紹介され話題を呼んでいます。これは捗りそう……！ ChatGPTに“手書きメモ”をアップすると…… ChatGPTで手書きメモ→Excel入力！ 活用例を投稿したのは、Xユーザーのゆとり脊椎外科医（@spine_surgeon_）さん。ChatGPTがリリースした無課金ユーザーも使える最新モデル「GPT-4o（GPT-4 Omni）」を使って、手書きのメモをExcelに転記する様子を紹介しています。 ゆとり脊椎外科医さんが、数値を記録した“ラフな手書きメモ”をアップし、「これをExcelシートに記入してください」と指示。するとGPT-4oは手書きメモの画像を解析してExcelシートのデータを生成しました。その数値は手書きメモと確かに一致しています。これは助かりすぎる……。 手書きメモと簡単な指示だけ
生成AI界隈で話題になっているAIサービス「Dify.AI」がなかなか面白いですよ。Dify.AIは、スタートアップの米LangGeniusが用意している大規模言語モデル（LLM）用のWebUI環境を利用して、いろいろなシステムを組み込むことで、プログラムを書くことなく簡単にチャットbotなどのネイティブAIアプリを開発できるサービスです。 Difyは大きく「チャットボット」、「エージェント」、「ワークフロー」の３つの機能に分かれており、簡単なチャットボットから、複数のLLMを組み合わせた複雑な動作をさせるように設計するものまで、多様なアプリを開発することが可能です。ChatGPTから、Claude 3、Geminiなどの主要なLLMをAPIから呼び出すことができるので、それらを組み合わせてサービスを作ることも可能です。例えばOpenAIのAPIキーを生成してDifyに入力すると「GPT-
GPT4-Vの100分の1のサイズで同等の性能を誇るマルチモーダルモデル「Llama 3-V」が登場、トレーニング費用はたった8万円
画像認識が可能なオープンソースモデルの「Llama 3-V」が公開されました。Llama 3-Vは、OpenAIのマルチモーダルモデル「GPT4-V」よりも格段に小型で、事前トレーニングにかかる費用は500ドル(約78000円)程度なのにもかかわらず、ほとんどの指標で同等のパフォーマンスを示しています。 Llama 3-V: Matching GPT4-V with a 100x smaller model and 500 dollars | by Aksh Garg | May, 2024 | Medium https://aksh-garg.medium.com/llama-3v-building-an-open-source-gpt-4v-competitor-in-under-500-7dd8f1f6c9ee 今回発表されたLlama 3-Vは、 Metaが公開した言語モデルの「L
Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog
最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined や nu
無料かつ匿名でブラウザからChatGPTやClaude 3などのAIが使える「AI Chat」をDuckDuckGoがリリースしたので使ってみた
プライバシー重視の検索エンジンやブラウザを展開するDuckDuckGoが、GPT-3.5やClaude 3、Llama 3、Mixtral 8x7BなどのAIモデルを匿名かつ無料で使用できるサービス「DuckDuckGo AI Chat(AI Chat)」をベータ版でリリースしました。AI Chatはブラウザから簡単に利用できるとのことで、実際に使ってみました。 DuckDuckGo AI Chat: anonymous access to popular chatbots https://www.spreadprivacy.com/ai-chat/ AI Chat https://duckduckgo.com/?q=DuckDuckGo&ia=chat DuckDuckGo AI Chat Privacy Policy and Terms of Use https://duckduckg
デジタルプロダクション「factory4」でアプリやさまざまなIoTプロジェクトのUIUXデザインを手がける新谷友樹さんが、UIやUXにまつわるトピックについて解説する本連載。今回のテーマは「GPT4oを活用したウェブサイトづくり」です。 こんにちは！株式会社Cosmowayが組織するデジタルプロダクション「factory4」のUIUXデザイナー新谷です。 今回は先日OpenAIが発表した新たなAIモデル「GPT-4o」を使ってウェブサイト（LP）を作成してみました。GPT-4oのパフォーマンスを知ること、そしてデザイナーが生成AIとどう関わっていくべきかを探るきっかけにすることが、今回の目的です。 前提として「GPT-4o」がゼロベースでウェブページを作成することに向いているツールではないと思いますが、チュートリアルの要素と今後の可能性を知るためにあえて取り組んでみました。 GPT-4o
はじめにOpenAIの元社員がリークした文書が話題になっています。「Situational Awareness: The Decade Ahead」と題されたこの文書は、AGI（汎用人工知能）や超知能の開発と、それがもたらす影響について詳細に分析している内容です。 この元社員はOpenAIのスーパーアラインメントチームに所属ということで、まさにこの文書の内容を専門として扱っていた方です。 AGIやその先の超知能への道筋、そして超知能時代に何が起こるのかとその対策に関して、ここまでまとまった文書をみたのは初めてでした。 そこで、この文書の内容を解説するスライドを作成してみました。元の文書は英語で165ページ程あるため、元々は私自身が素早く概要を掴むために、AI（Gemini 1.5 Pro）で要約したものがベースになっています。 AIの要約は間違う可能性があるので、全ての内容に引用元を記載し
プログラムのコードをChatGPTに書かせても、その半分は間違っている2024.05.29 12:0042,451 Matt Novak - Gizmodo US ［原文］ （ mayumine ） ChatGPTなしではもう仕事ができないなんて人も結構いるよね。 ChatGPTは、文章はもちろん、生成してほしいプログラムを指示するだけで、プログラムのコードを生成してくれます。 エンジニアにとっても非常に役に立つChatGPTですが、最近の新しい研究によれば、ChatGPTはコンピュータープログラミングの質問に対して、52%の確率で間違った回答をしていることがわかりました。 それでも35%はChatGPTが生成したコードを好むこの研究は、5月初めにハワイで開催されたComputer-Human Interaction Conferenceで発表されたもので、Stack Overflow上の
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
めちゃ便利になった 無料版「ChatGPT」新機能の使い方まとめ【最新版】 (1/5)
デジタル庁2023年度事業 行政での生成AI利活用検証から見えた10の学び (1/3)｜デジタル庁
マスク氏、アップル製品を禁止へ－オープンＡＩをＯＳに組み入れなら
Power Apps & GPT-4oを使って超高速で画像解析アプリを作る！ - Qiita
GPT-4oをOCRとして使う - Re:ゼロから始めるML生活
AIが「心の理論」テストで人間超え、この結果は何を意味するか
ChatGPTでデータ分析、生成AIで「文系社員」が「分析官」に
OpenAIのAI危険対策チームトップが「限界に達し」退社 「安全確保が後回しになっている」
人類滅亡の可能性も。AIのリスクについてOpenAIやGoogleの元/現従業員が共同声明
GPT-4oを使って2Dの図面から3DのCADモデルを作る
マルウエア作成に対話型生成AIを悪用した事案についてまとめてみた - piyolog
革命レベルの動画生成AI「Kling」 ついに「Sora」対抗が出てきた
OpenAIのGPT-4oを日本語OCRとして使ってみる
Your API Shouldn't Redirect HTTP to HTTPS
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
ベクトルデータの容量を96%削減するBinary Embedding
Open WebUI (Formerly Ollama WebUI) がすごい - Qiita
GPT-4は財務諸表から将来の収益の伸びを予測する点で人間のアナリストよりも優れていることが研究により明らかに
GPT-4oをわかりやすく解説、専門家が「時代の転換点」と評価するヤバすぎる能力とは
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い (1/4)
UIUXデザイナーが「GPT4o」を活用してウェブサイトをつくってみた
OpenAI元社員リーク文書から読み解くAGIと人類の未来｜遠藤太一郎
プログラムのコードをChatGPTに書かせても、その半分は間違っている
「ChatGPT」、専門家並みのデータ分析に対応、Pythonのコードを書き、グラフを作成、内容を把握して回答も／OpenAIが近日リリース、「GPT-4o」を活用、OneDrive/Google ドライブのファイルも直接扱える
