はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう
ゲーム内の「村人のセリフ」をChatGPTで大量生成する方法（第2回）。データを大量に出力する | テクノエッジ TechnoEdge
ディアナは、ネビルの農村で商人サリクの妻として知られている30歳の女性です。彼女は村で最も魅力的な女性の一人として広く認知されており、その美貌は訪れる商人や旅行者にも評判です。しかし、彼女の美しさに目が行きがちですが、ディアナの本当の魅力はその知性と商才にあります。 ディアナは商人としての夫をサポートすることで、自身も経済的な洞察力と交渉スキルを磨いてきました。彼女は村の外での取引にも積極的に関わり、新しい取引のチャンスを見つけ出すことで家族の生計を支えています。そのため、彼女は村の経済活動において重要な役割を果たしています。 一方で、ディアナは時に自分の意見を強く主張する傾向があり、これが近隣の村人や他の商人との間で小さな摩擦を生むこともあります。彼女は自分のビジネスセンスに絶対の自信を持っており、他人の意見や提案を軽視しがちです。このため、一部の村人からは少し傲慢と見なされています。
AIで「普通のおじさん」を生成したフェイク新聞の作り方。そこから考える「普通」への疑い | テクノエッジ TechnoEdge
ゲームとWebのフリーランス開発者。3DCGからゲーム開発の世界に入り20年。今は生成AIの変化を追いかけて日々実験しています。 生成AIの出力画像を元にCGで作った新聞っぽいフェイク画像をXに投稿したところ、想像以上の反響がありました。気軽な実験のつもりで説明も雑過ぎたため、伝わりにくかったり誤解されたりした部分もあるようです。どのように、なぜ作ったのか補足します。 どのように作ったか今回のフェイク新聞、作り方はかなり手抜きです。こうした制作に慣れている方なら30分もかからないでしょう。今はまだ多少専門性を求められますが、1年もすると「頑張れば誰にでも」程度になっているかもしれません。 実験としては、ぱっと見新聞だと感じてもらえなければ成立しません。しかしフェイクを作るのではなく、フェイクが作れる可能性の提示が目的です。画像が単体で流れていく可能性を考えると何かしら対策が必要で、強固な透
新連載「AIだけで作った曲を音楽配信する」。生成AIが作り上げた架空バンド「The Midnight Odyssey」を世界デビューさせる、その裏側 | テクノエッジ TechnoEdge
大規模言語モデル（LLM）でコンセプトを考えて、AI作曲サービスでボーカル入り楽曲を作り出す。そんなやり方で制作したコンセプトアルバムを音楽配信に載せるという話を、自ら音楽レーベルを主宰し、テクノロジー関連の執筆もこなしている山崎潤一郎さんに、数回にわたって執筆いただきます。
機械学習と自動微分 (2023)
「最適化法」第15回(ゲストトーク), 2023年1月20日, 同志社大学.
一番星はてののLINEスタンプっぽい画像を作ってみた - 一番星はての開発ブログ
StableDiffusionを使ってLINEスタンプを作ってみたかったのでとりあえず画像を作ってみた。使っているモデルはaiceKawaice_channel。ちび系キャラを生成するのにいいらしい。 （追記）このモデルは画像販売が不可なのでLINEスタンプには使えなさそうです。 AICE冰可 | KawAICE[幼态特化模型] - Channel | Stable Diffusion Checkpoint | Civitai よく見るといろいろ粗はあるがパッと見はけっこう使えそうな感じなんじゃないだろうか。 この中では「ファイトですわ」の元気な感じと「ブックマークですわ」の微妙に面白くなさそうな感じが気に入っている。 ブクマするときの表情ってこんなんだよね。 作り方 LoRAを何度か試したが作り方が悪いのか、画像のパターン数が足りないのか結局ReferenceOnlyの方がいいクオリティ
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）好評発売中！：https://www.amazon.co.jp/d/4065347823 連絡先: @joisino_ (Twitter) / https://joisino.net/
Microsoft ResearchのAI研究チームは6月20日（現地時間）、わずか13億パラメーターと従来のものよりもサイズが小さいにも関わらず「GPT-3.5（1750億パラメーター）」を上回る成績を収めたTransformerベースの大規模言語モデル「phi-1」を発表した。このモデルは間もなく「Hugging Face」で公開される予定だといいう。 ベンチマークでGPT-3.5を凌駕 「Textbooks Are All You Need」と題された研究論文によると、このモデルは8台のA100（NVIDIAの高性能GPU）でわずか4日間かけて訓練され、インターネット上から取得した60億トークンの「教科書品質」データセットと、GPT-3.5で生成した10億トークンの微調整用「練習問題」データセットが使用された。 サイズが小さいにもかかわらず、phi-1はLLMの性能を測定するためのベ
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）、理事長: 徳田 英幸）は、ユニバーサルコミュニケーション研究所データ駆動知能システム研究センターにおいて、独自に収集した350 GBの日本語Webテキストのみを用いて400億パラメータの生成系の大規模言語モデルを開発しました。今回の開発を通し、事前学習用テキストの整形、フィルタリング、大規模計算基盤を用いた事前学習等、生成系の大規模言語モデル開発における多くの知見を得ました。現在は、更に大規模な1,790億パラメータの生成系大規模言語モデル（OpenAI社のGPT-3と同等規模）の学習を実施中で、また、学習用テキストの大規模化にも取り組んでいます。今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定です。 NICTでは、これまでWebページを収集し、インターネット
この記事について この記事では、プログラミング初心者の大学生である(であった)私が試行錯誤しながらなんとかスター数300越えのOSSライブラリを作った過程をまとめたものです。ライブラリ自体はまだまだ発展中のためこの記事も適宜更新してく予定です。ライブラリ自体の詳細というよりも、自作OSSの認知度を上げで他の人に使ってもらうために有用そうな知見をまとめていこうと思います。 ライブラリの概要 今私が作っているのは、AIJackという、機械学習モデルがもつセキュリティ・プライバシー上の脆弱性についての各種攻撃・防御手法を実験するためのPythonツールです。既存のライブラリの多くは特定の種類の攻撃や防御に特化したものが多く、複数のタイプの攻撃・防御を組み合わせて実験するためにはいくつものライブラリを組み合わせる必要がありました。そこでAIJackでは、できる限り統一的なAPIで様々な攻撃・防御手
1.プロンプトエンジニアリングとは 1-1.プロンプトとは 1-2.プロンプトの構成要素 2.プロンプトエンジニアリングの代表的な手法 2-1.Zero-shot prompting 2-2.Few-shot prompting 2-3.CoT（Chain-of-Thought） Prompting 2-4.Zero-shot CoT 2-5.Self-Consistency 2-6.Generate Knowledge Prompting 2-7.ReAct 2-8.Directional-Stimulus -Prompting 2-9.Multimodal CoT Prompting 3.敵対的プロンプトエンジニアリングの代表的な手法 3-1.Prompt-Injection 3-2.Prompt-Leaking 3-3.Jailbreak 3-4.Do Anything Now 3-
We’re announcing updates including more steerable API models, function calling capabilities, longer context, and lower prices. July 20, 2023 update: We previously communicated to developers that gpt-3.5-turbo-0301, gpt-4-0314 and gpt-4-32k-0314 models were scheduled for sunset on Sept 13, 2023. After reviewing feedback from customers and our community, we are extending support for those models unt
Gemini - Google DeepMind
The Gemini ecosystem represents Google's most capable AI.Our Gemini models are built from the ground up for multimodality — reasoning seamlessly across text, images, audio, video, and code.Latest updates
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
【AI】新たに搭載されたChatGPTを自分のAIアシスタントにするCustom Instructions機能とその使い方 | EARLの医学ノート
【AI】新たに搭載されたChatGPTを自分のAIアシスタントにするCustom Instructions機能とその使い方 ※2023年7月21日作成 ※2023年8月14日改訂：無料ユーザーが8/9から使用可能に。設定アイデアに「（7）キャラクター設定」を追加 ChatGPTを自分のAIアシスタントにするCustom Instructions機能搭載 1．Custom instructionsとは？ ■ChatGPTに新たな機能「Custom instructions（カスタム指示）」が搭載された．OpenAI社のリリースでは2023年7月21日から有料のChatGPT Plus会員から利用できるようになり，8月9日からは無料ユーザーも使用できるようになった． ■Custom Instructionsは，ユーザーのニーズに合わせてChatGPTを調整できるカスタム指示であり，専門知識の調
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
LLMにまず前提から尋ることで出力精度を向上させる『ステップバック・プロンプティング』と実行プロンプト | AIDB
ステップバック・プロンプティングは極めてシンプルで具体的なテクニックながら、CoT（Chain-of-Thought prompting）やTake a Deep Breatheといった既存の手法を凌駕する性能を発揮しています。 参照論文情報 ・タイトル：Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models ・著者：Huaixiu Steven Zheng, Swaroop Mishra, Xinyun Chen, Heng-Tze Cheng, Ed H. Chi, Quoc V Le, Denny Zhou ・所属：Google DeepMind ・URL：https://doi.org/10.48550/arXiv.2310.06117 従来の課題 LLMはSTEM（科学、技術、工学、
概要 GPT-4 に全自動で Minecraft をプレイさせる論文 "Voyager: An Open-Ended Embodied Agent with Large Language Models" を紹介します。 Voyager は、継続的・段階的に複雑なタスクを学習し続けることができ、マップ開拓や新アイテム獲得の能力で既存手法に勝ると主張されています。 既存手法との違い LLM にツールや外部 API を与えて自律的に計画・行動させるアルゴリズムと言うと、ReAct, Reflexion, Auto-GPT などが特に有名です。 これらと Voyager の一番の差別化部分は、Iterative Prompting Mechanism および Skill Library と呼ばれるコンポーネントです。 Voyager はボットを操作するために Mineflayer という Java
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
つまり、Open Interpreterの推しポイントはこちらです。 動作環境 Open Interpreterはクラウドとローカル環境の両方で動作するため、インターネットへのフルアクセスが可能です。これにより、外部APIやデータベースに自由にアクセスでき、プロジェクトの柔軟性が大幅に向上します。 パッケージとライブラリの選択肢 Open Interpreterでは、任意のパッケージやライブラリを使用できます。これは、特定のプロジェクトに最適なツールを選べるという点で非常に価値があります。 制限のない実行時間とファイルサイズ Open Interpreterは実行時間やファイルサイズに制限がありません。大規模なデータ分析や計算処理もスムーズに行えます。 セキュリティの確保 Open Interpreterは、コードを実行する前にユーザーの確認が必要です。不正なコードの実行を防ぐことができ、
米Amazonは9月7日（現地時間）、Kindle用電子書籍出版サービス「Kindleダイレクト・パブリッシング」のコンテンツガイドラインを更新し、人工知能（AI）コンテンツに関する条項を追加した。 出版するコンテンツ（テキスト、画像、翻訳）を生成AIベースのツールによって作成した場合は、申告することを義務付ける。 ガイドラインに従っていないことが判明したコンテンツは却下または削除される。 なお、自分の作品をAIツールで編集、改良、エラーチェックした場合は、AI生成コンテンツとはみなさない。また、アイデア出しの段階でAIツールを使っても、最終的に自分でテキストや画像を作成した場合は対象外という。 これは、Authors Guild（全米作家協会）が7月に公開した、AIのトレーニングに作家の作品を無断で使わないよう求める書簡を受けたものとみられる。 Authors Guildは同日、Amaz
Googleは、都内で開催したイベント「Generative AI Summit Tokyo」で、コード生成や補完のためのAIモデル「Codey」が日本語に対応したと発表しました。 CodeyはGoogleの最新の大規模言語モデルPaLM 2をベースとした、コード生成や補完のための基盤モデルです。 Codeyは、自然言語による指示に基づいてコードを生成する機能、チャットで会話しつつコード関連の質問に回答する機能、コードの足りない部分を補完する機能などを備えています。 対応するプログラミング言語は、Java、JavaScript、TypeScript、PHP、Python、Ruby、Rust、C＋＋、C＃、Go、Kotlin、Scala、Swift、GoogleSQLなど。さらにGoogle Cloud CLIやKubernetes Resource Model（KRM）、Terraform
GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？
GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。そんな中、メモリの消費量を激減させつつ少ないデータでトレーニングできる手法「QLoRA」が登場しました。 [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art
ChatGPT を上手く使う方法として、非常に長いプロンプトが共有されているのを見たことがある方は多いと思います。ただ、実務で使う場合長いプロンプトより短いプロンプトの方が扱いやすく API を利用する際のコストも少なく済みます。「ユーザーが作成した Excel マクロをメンテナンスしてほしい」と言われると 90% のエンジニアは不吉な予感に胃が痛くなると思いますが ( ※個人の感覚です ) 、今後誰かが生み出した長文プロンプトが業務に欠かせないものになっていて数文字変えると挙動が変わるようになっていたりしたらメンテナンスには想像を絶する苦痛が伴います。 プロンプト内の表現が性能へどのように寄与するのか計測することができれば、不要な表現を削り短くすることができます。本記事では、既存の書籍や記事をもとに期待する回答の基準点を定め、基準点よりどれだけ差異ある返答が得られたかで評価する方法を提案
いまからわかる！ChatGPT活用プログラミング ChatGPT APIのFunction callingを使って、請求書の構造化データを抽出する 先月、OpenAIからFunction calling（関数呼び出し）機能がリリースされました。これが何なのか、何のために使うべきなのか、ちょっと見ただけでは分かりづらいと思います。 今回は請求書から情報抽出をするというよくありがちなケースを題材に、Function callingの利便性を示してみます。 Function callingとは OpenAIが2023年6月13日にリリースしたChat APIの追加機能です。主にできることとして以下の3つが挙げられています。 外部ツールを呼び出して質問に答えるチャットボットを作成する 自然言語を内部APIの呼び出しやSQLに変換する テキストから構造化データを抽出する たとえば天気予報と血液型
強化学習におけるLLMの活用パターン調査 はじめに：実世界における強化学習の課題 LLM×強化学習 人間はゼロショット推論によりサンプル効率の良い学習ができる LLMによるゼロショット推論の例 さまざまなLLM活用パターン 1. 報酬モデルとしてのLLM LLMによる代理報酬モデル VLMによる外観ベース代理報酬モデル 外部知識にもとづく報酬モデル設計 2. 計画モデルとしてのLLM LLMによるセマンティック計画 LLMによる構造的な探索計画 3. 方策モデルとしてのLLM LLM as 確率方策 マルチモーダルLLM as 確率方策 参考：GPTアーキテクチャの転用 4. 世界モデルとしてのLLM Language Models Meet World Models (あとで書く) おわりに：VLM as 確率方策に期待 はじめに：実世界における強化学習の課題 レトロゲームで人間並みのパ
本記事では、「Chain-of-Abstraction (CoA) Reasoning」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、最近聞くようになった「Chain-of-Abstraction (CoA) Reasoning」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LLMが外部ツールを使って回答を生成するときの、回答精度を高める手法についての論文です。Metaの研究者らによって2024年1月に提案されました。「Chain-of-Abstraction (CoA)」という手法を使うメリットは、RAGに応用することで
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
大実験！ChatGPTは競プロの問題を解けるのか (2024年5月版) - E869120's Blog
1. はじめに 2024 年 5 月 14 日、OpenAI 社から新たな生成 AI「GPT-4o」が発表され、世界に大きな衝撃を与えました。これまでの GPT-4 よりも性能を向上させただけでなく1、音声や画像のリアルタイム処理も実現し、さらに応答速度が大幅に速くなりました。「ついにシンギュラリティが来てしまったか」「まるで SF の世界を生きているような感覚だ」という感想も見受けられました。 しかし、いくら生成 AI とはいえ、競技プログラミングの問題を解くのは非常に難しいです。なぜなら競技プログラミングでは、問題文を理解する能力、プログラムを実装する能力だけでなく、より速く答えを求められる解法 (アルゴリズム) を考える能力も要求されるからです。もし ChatGPT が競技プログラミングを出来るようになれば他のあらゆるタスクをこなせるだろう、と考える人もいます。 それでは、現代最強の
結論から言うと「絵の無断使用禁止」と書いた方がいいです。 そっちの方が効きます。自己防衛のためなら「AI学習禁止」ではなく「無断使用禁止」です。 なぜなら「AI学習禁止」には意味が無いからです。むしろ悪い効果があります。 嫌がらせをする悪い奴に下に見られ目をつけられるのです。 この記事はAI推進派が書く記事です。記事の中にもAIイラストが多数使用されてるので、AIアレルギーの方はもうここで引き返してください。 「絵の無断使用禁止」だけ覚えて帰ってください。それだけでいいんで。 大丈夫ですか？ ご理解いただける方のみ、「無断使用禁止」と書く事を推奨する理由をお伝えします……。 軽く自己紹介をすると私はAIも触りますが、手描きでも絵を描きます。 元々手描き絵師です。ゲームも作ってます。 絵師の証明として最近描いた手描き絵載せておきますね。 最近描いた手描き絵最近描いた手描き絵避けられない学習の
Announcing Python in Excel: Combining the power of Python and the flexibility of Excel.
September Update Python in Excel is now available to all Enterprise, Business, Education, and Family and Personal users running Beta Channel on Windows. This feature will roll out to Excel for Windows first, starting with build 16.0.16818.20000, and then to the other platforms at a later date. Since its inception, Microsoft Excel has changed how people organize, analyze, and visualize their data,
――AIと著作権について詳しい福井健策弁護士のもとには、最近、生成AIに関する相談件数が増えているのではないでしょうか。また生成AIは一般企業にどんな影響を与えるでしょうか。 福井健策弁護士（以下、福井） 増えていますね。作品を持つ権利者、AI開発者、それに一般企業からも、生成AIの著作権問題についてどう考え、どう付き合ったらいいかというご相談が増えています。いわばコンテンツホルダー、開発者、ユーザーのすべてからご相談が寄せられるという状況です。 福井 健策（ふくい けんさく）氏。弁護士（日本・ニューヨーク州）／日本大学芸術学部・神戸大学大学院・iUほか 客員教授。1991年 東京大学法学部卒。1993年 弁護士登録（第二東京弁護士会）。米国コロンビア大学法学修士課程修了（セゾン文化財団スカラシップ）、シンガポール国立大学リサーチスカラーなど経て、現在、骨董通り法律事務所 代表パートナー。
昨日、OpenAIが生成AIの新しいモデルであるGPT-4oを発表しました。消費するトークン数の節約や、音声合成機能の改善、応答速度の向上など着実な品質改善を見せているようです。私も、特に音声合成（Text To Speech）の表現力について非常に興味を持っています。 私は以前、「OpenAIのGPT-4 Turbo with visionを日本語OCRとして使ってみる」で、GPT-4 Turboの画像認識機能の日本語OCRについて検証を行いました。その当時は、既存のコグニティブAI APIに比べて認識精度が十分でないという評価をしています。とはいえ、その後に出てきたClaude 3 Opusは驚くべき認識精度だったので、OpenAIも巻き返す可能性は十分にあると感じました。Azure OpenAI Serviceを使っている場合は、Vision enhancementという既存のコグニ
生成系AI技術の活用に関する提言
私たち日本俳優連合は、俳優・声優の権利を守るため、60年前から活動してまいりました。今般、Artificial Inteligence、いわゆるAI技術、機械学習という新たな技術が開発され、世界中で議論を起こしていることは皆様ご存じの通りです。私たち実演家としても、新しい技術の進化による人間社会の発展は望ましいことであると考えます。 ただその一方で、この新しい技術が私たち実演家の、表現の模倣・盗用を安易に促し、職域を侵害する恐れがあるのではと危惧しております。つきまして、私たち日本俳優連合として、以下５つの提言を行い、業界内でのガイドライン作り、国としての法律制定、ひいては国際的な枠組みでのルール構築を切に望みます。 国内外での意見交換を活発に行うとともに、EUによるAIACTの考え方に大いに賛同し、これを参考にしたガイドラインの策定を行う 学習素材は著作者が許可を与えたもののみを使用可能
Jupyter AIでHuggingFace Hubを使うと、これまたすごい！ | moritalous blog
前回はOpenAI APIを使ってチャットなどを試しましたが、Jupyter AIはOpenAI 以外にも様々なAPIに対応しています。 今回はHuggingFace Hubを使ってみます。 環境構築HuggingFace Hubの機能を使うにはhuggingface_hub、ipywidgets、pillowをインストールする必要があります。コンテナで用意します。
ウェブをますます暗い森にし、人間の能力を増強する新しい仲間としての生成AI 2023.06.19 Updated by yomoyomo on June 19, 2023, 16:16 pm JST 少し前に佐々木俊尚氏の「オープンなウェブ世界とジェネレーティブAIの終わりなき戦いが始まる」という記事を読みました。自分の電子書籍に『もうすぐ絶滅するという開かれたウェブについて』というタイトルをつけたワタシ的にも、オープンなウェブが生成AIに脅かされるという話は興味があるのですが、今年はじめに読んだ、Oughtでプロダクトデザイナーを務めるマギー・アップルトンの「拡大する暗い森と生成AI」を思い出しました。 昨今この分野は動きが速く、半年前の文章でも随分昔に思えたりするものですが、都合良いことに、4月にトロントで開催されたCausal Islandsカンファレンスでマギー・アップルトンが「拡
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1
Bingチャット、画像生成AI「DALL-E3」対応 リアルな画像生成が無料で
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
僕たちがグラフニューラルネットワークを学ぶ理由
マイクロソフト、軽量かつ高性能な大規模言語モデル「phi-1」を発表
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
日本語に特化した大規模言語モデル（生成AI）を試作｜2023年｜NICT-情報通信研究機構
初心者大学生が作った機械学習ライブラリがGitHubでスター数300を超えた話 - Qiita
プロンプトエンジニアリングとは？ 16種類の手法を記述例とともに解説
Function calling and other API updates
次世代データ基盤：データレイクハウスを Google Cloud で実現する
GPT-4 で Minecraft を自動プレイする Voyager を動かしてみた - Qiita
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
Open Interpreterがついに画像出力にも対応！使い方から実践までを解説【画像付き】 | WEEL
Amazon、「生成AI使ったら申告」をKindle出版ガイドラインで義務付け
Google、コード生成や補完のAIモデル「Codey」が日本語での指示や説明に対応したと発表
ChatGPT の長いプロンプトに意味があるのか気になったときに試す評価方法｜piqcy
ChatGPT APIのFunction callingを使って、請求書の構造化データを抽出する | gihyo.jp
LLM時代の強化学習 - どこから見てもメンダコ
RAGを複雑な質問に強くする手法「CoA」について
MacでLocalでLLMを走らせるならLM Studioが楽。 - Qiita
bioに「AI学習禁止」と書くのはやめた方がいいと言う話｜永久恋愛ととと
著作権に詳しい福井弁護士はChatGPTをどう見る？
OpenAIのGPT-4oを日本語OCRとして使ってみる
AIがRISC-V CPUを5時間以内で設計
ウェブをますます暗い森にし、人間の能力を増強する新しい仲間としての生成AI