生成AIを用いて2日でVTuberモデルを作成しアバターで会議に出るまで
絵を描いたことないバックエンドエンジニアが、生成AIの力を借りながらVTuberモデルを作成し、MacBookPro単体でアバターでZoomやハドルに出るまでの全てを書きました。 “アバター作りたいけど絵描けないしなんか大変そう…“と思ってる人に参考にしてもらえれば幸いです。 2徹しました。 QualiArts Advent Calendar 2023 の13日目の記事になります。 先に結論完成物こちらが今回作成したアバターです。 名前はらんまるくんっていいます。白髪で幼い感じがとっても可愛いね！！！🍼 ※音が出ます ※HoneyWorksの曲が流れます ※懐かしい ※髪も揺れるの可愛い 使用技術結局原画以外全部人力でしたorz 原画: にじジャーニーによる生成AIの画像を使用レイヤー分け・書き足し: Photoshopで自力モデリング: Live2Dで自力配信: VTube Studi
Table TransformerとGPT-4Vを用いたPDF内の表の解析｜QunaSys
RAGは非常に有用なツールですが、PDFの論文などを扱う際には、表データを正しく読み取れない場合があります。 表の構造を適切に処理することは難しく、いくつかの改善策が提案されています。 例えば、RAGを構築するのに使われるライブラリであるLlamaIndexのドキュメントに以下のような情報があります。 このドキュメントでは表を含むデータを扱う方法として、PDFを一旦すべて画像データに変換し、画像として表の形式を保持したままGPT-4Vでデータを解析することを提案しています。 ただ、PDF1ページ分の画像をそのままGPT-4Vに解析させても精度はあまり良くないようで、後述するTable Transformerを使って表部分の画像のみ抽出してから解析を行うことで、より良い結果が得られたのことでした。 本記事では、この方法を用いてPDF内の表の解析を試してみます。 手順としては 1. PDFの全
Agents for Amazon Bedrock で AWS アップデート解説くん Slack アプリを作成する - Qiita
はじめに 冬休みの宿題のとして Agents for Amazon Bedrock を使用した AWS アップデート解説くん Slack アプリを作成しました。あっという間にもうすぐ 2 月ですが、ここに課題を提出します。 Slack の RSS アプリで What's New with AWS? の RSS フィード を受信して、投稿に含まれる URL を参照し、要約を日本語で投稿します。 ソースコードは以下の GitHub リポジトリに置いてあります。 なお、Agent のアクショングループの設定や Lambda 関数は @nasuvitz さんの以下の記事を参考にさせていただいています。感謝。 全体像 次のような構成です。 ① Slack の 公式 RSS アプリに What's new with AWS? の RSS フィードを登録し、Slack チャンネルにアップデート情報が投稿
Claude3でサイゼリヤの間違い探しを解いてみる - Qiita
この記事について 画像解析ができる強力な生成AI、Claude 3がAWSで使えるようになりました 現時点(2024/03/10時点)で、AWSではミドルクラスのSonnetしか使えないのですが、それでも十分な精度があります この記事では、難問と名高いサイゼリヤの間違い探しをClaude3にさせてみました 実施した環境 boto3(Python 3.12) AWS Bedrock Claude 3 Sonnet(バージョン：bedrock-2023-05-31) ※最上位のOpusはまだAWSで使えないため、Sonnetで検証します。 いまさらながら、サイゼリヤの間違え探しとはなんぞや サイゼリヤ（全国チェーンのレストラン）のキッズメニューにある間違い探しゲームです。 「大人が１５分かけてようやく解けるレベル」に設定されているのですが、その難易度がたびたびニュースに取り上げられます。 日刊
Databricks SQLの新たなAI Functions - Qiita
以前こちらを書いてから時間が経ってました。そして、気づいたら色々な関数が追加されてました。 新たに追加されたAI Functionsをウォークスルーします。
[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた | DevelopersIO
[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた さがらです。 日本時間2024年3月5日の夜に、Mistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能となるSnowflake Cortex LLM Functionsがパブリックプレビューとなりました！ 2024年3月6日6時の時点ではまだリリースノートに記載もありませんが、下記のMistral AI社とのパートナーシップのプレスリリースと併せて機能がリリースされたのだと思います。（本記事内にMistral AI’s models are now available to customers in public preview as a part of Snow
![[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c216ed5ea5f0d13892f7504741bc81a124b1a205/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F03%2Fsnowflake-logo-1200x630-1.png){kind=logo}
Raspberry Pi 5上で軽量LLM、TinyLlamaを動かしてみる - Qiita
先日、日本で発売されたRaspberry Pi 5 (メモリ4GB)が届いたので、流行りのLLMを動かしてみました。動作の様子は次のツイートに掲載しています。 ニューヨークにあるエンパイアステートビルの説明をしてくれています。 用いたOSは、2023-12-05にリリースされたRaspberry Pi OS (64-bit) with Desktopです。 Raspberry Pi Imagerを用いてSDカードにイメージを書き込み起動しました。 TinyLlamaの環境準備 まずターミナル上で以下のコマンドを実行して、Hugging FaceのサイトからTinyLlamaのモデルをダウンロードしてきます。操作は/home/pi/直下で行っています。 wget https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/res
ブログにクイズ機能をつけた
ブログにクイズ機能をつけたのでお知らせ どうやったらクイズが表示されるの ブログをスクロールすると生成が開始、生成が完了するとクイズが表示されるようになっています。 スクロールできないような短い文章ならクイズを生成しなくても良いか割り切ってます (クイズの作成のたびにお金がかかるのでちゃんと読んでもらって楽しんでもらえたらうれしいなぁ) 技術的な話 Langchaiとgpt-3.5-turboを使っています。またlangchainでfunction callingで決まったJSON形式でデータを返すようにしてます。 これらはAPIとしてデプロイしてあります。 APIの動作は以下のようになっています。 urlからサイトのデータを取得 サイトのデータ、プロンプトをOpenAI APIへPOST 生成されたデータを返す あとはフロントで選択肢をシャッフルしたり、正解を選択したら正解かどうかを判定
AWS Quicksight Q で Generative BI（生成系 BI）機能 を使ってみる - Qiita
基本的な使い方 トピックの選択 ページ上部にあるQバー（検索窓）でトピックを選択します。 サンプルを作った状態では「Software Sales」が選択されています。 質問する Qバーに質問を入力します。 対応するのは基本英語のみです。（一部日本語が可能で後述します。） 例として「What country did we make the most sales last year?（昨年最も売上が多かった国はどこ）」と入力すると、数秒でグラフがビルドされます。 解釈の確認 Qがどのように文章を解釈したかQバーの下で確認できます。 質問の主要用語にアンダーバーで強調され、解釈したフィールド名とマッピングされていることが分かります。 例では以下のようにマッピングされています。 sales ＝ sum of sales（salesフィールドの合計） country = countryフィールド y
GPUインスタンスと生成系AIを組み合わせてPlayCanvasで3Dシーンを構築してみました。
GPUインスタンスと生成系AIを組み合わせてPlayCanvasで3Dシーンを構築してみました。 2023-07-21 2023-07-21 PlayCanvas ChatGPT, Shap-E 455回 0件 はじめに GMOグローバルサイン・ホールディングスの羽賀(@mxcn3)です。ゲームエンジンPlayCanvasの日本コミュニティ運営や、テクニカルサポートを担当しております。GPUインスタンスと生成系AIを組み合わせて作成したデモプロジェクトの検証結果を紹介いたします。 経緯 この記事を書くきっかけとなったのは、全社的な生成系AIの取り組み強化を目指し、2023年6月21日に始まった「AI 活用 No.1 企業グループへの取組を加速全パートナー向け、NVIDIA 社最新 GPU 搭載サーバー／ノートパソコンの無償貸出を実施」プログラムにより、GPUインスタンスを借りたことです。
入力プロンプトを復元する技術 - Qiita
株式会社ブレインパッドでデータサイエンティストをしている@fuyu_quantです。 この記事はBrainPad Advent Calender 2023 1日目の記事です。 ※記事シリーズは2もあります！！ はじめに 今回はLanguage Model Inversionという論文が非常に面白かったので紹介をしたいと思います． 簡単に内容を説明すると LLMの出力をする際の確率分布が分かれば元のプロンプトを復元できる さらにLLMの出力のテキスト情報しかなくても元のプロンプトを復元できる ということについても言及しています． ※実行コードについては執筆途中です． 目次 0. LLMの出力 1. Language Model Inversionの解説 何をしたいか 本当に入力プロンプトを予測できるか？ 予測方法 結果 結論 2. Language Model Inversionを試す(コー
ChatGPTとプログラミング２ - Pixel Pedals of Tomakomai
hiratara.hatenadiary.jp その後も継続して ChatGPT をサブスクで使っているのだが、今のところサブスクを解除する予定はない。サブスクした直後は Google 検索の代わりに日常の疑問を尋ねることが多かったのだが、最近はもっぱらプログラミングに ChatGPT を使っている。 ChatGPT の強みは、詳細なコンテキストを与えられることだと考えている。しかも、チャット形式のお陰でそれを反復的に行うことができる。「 tiny_skia のサンプル作って」などと短文の一度の指示で課題を解決しようとすると真価は発揮できず、自分の持っている課題について要点を的確に伝えるほど生成される回答の精度は増す。 以下は、オリジナルの Skia と tiny_skia の API の違いを知るためにそれぞれのサンプルコードを生成させた例である。知りたい情報がきちんと生成されている 1
ChatGPTを社内に配ってもあまり使われない本当の理由 - Qiita
はじめに 2023年はChatGPT元年とも言われ、いわゆるテック業界だけでなく、あらゆる業界でChatGPTが話題となりました。 この空前のChatGPTブームの中で、企業内でもChatGPTを利用しようという取り組みが進み、連日ニュースでも取り上げられていました。 皆さんも「〇〇会社、ChatGPTを従業員約1万人に展開。全従業員の業務効率化を目指す。」といった内容のニュースをよく見かけたのではないでしょうか？ 先行企業に遅れを取らないよう「うちも早くやらないと！」と、同じようにChatGPTを社内に配る取り組みを進める企業が相次ぎました。 しかし、最近になって先行導入を進めた企業のデータが出始めており、実際の利用状況を見てみると、2023年これだけChatGPTが注目され、メディアを騒がせたにも関わらず、全体の利用状況は1割程度かそれ以下に留まっているという状態になっています。 この
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue- - Qiita
生成AIにETLジョブ作らせてみた。-Amazon Q data integration in AWS Glue-AWSDatabaseglueETL生成AI 1. はじめに ※この記事は、慎重な検証を行った結果に基づくものではなく、参考情報として提供されています。そのため、内容を鵜呑みにせず、自身で確認や検証を行っていただくことをお勧めします。ご理解のほど、よろしくお願いいたします。 Amazon Q data integration in AWS Glueがプレビューされました(2024/01/30)。 Amazon Q とAWS Glueが統合されたことによって、ETLジョブ作成に関する学習時間や労力の削減が期待できます。具体的な機能としては以下の二つです。 i．生成AIに自然言語で質問すると、回答してくれる。 Bedrockベースの生成AIがAWSのドキュメントを参照してより専門的
[Unity] ChatGPT だけでシューティングゲームを作った話
はじめに 本記事は Unity Advent Calendar 2023 シリーズ 2 の 7 日目の記事です。 ChatGPT だけの力で 2D シューティングゲームを作りました。 Unity は初経験でしたが、ChatGPT の指示通りにやれば簡単にできました。 あそんでみよう！ どういうものができたのか気になると思うので、まずは触ってみるといいかと思います。 Unity はすばらしいので、Web でもモバイルでも簡単にマルチプラットフォームに対応できました。 今回は Web と Google Play Store に公開しています。 Web 版 Google Play Store 遊んでみるとわかるとは思いますが、ゲーム性はなく特におもしろくはありません。 ただ、ぱっと見ではそれっぽいものができているので、ChatGPT の可能性を感じてもらえればと思います。 気が向いたら App
![[Unity] ChatGPT だけでシューティングゲームを作った話](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a75bd54e979fa359a4f7f1220a0f6003b308c2e/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--zrrtT7U5--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BUnity%25255D%252520ChatGPT%252520%2525E3%252581%2525A0%2525E3%252581%252591%2525E3%252581%2525A7%2525E3%252582%2525B7%2525E3%252583%2525A5%2525E3%252583%2525BC%2525E3%252583%252586%2525E3%252582%2525A3%2525E3%252583%2525B3%2525E3%252582%2525B0%2525E3%252582%2525B2%2525E3%252583%2525BC%2525E3%252583%2525A0%2525E3%252582%252592%2525E4%2525BD%25259C%2525E3%252581%2525A3%2525E3%252581%25259F%2525E8%2525A9%2525B1%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ak-taro56%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzViNmFkZWY0ZjcuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
ベクトル検索の高速化アルゴリズムと量子化パラメータの速度・データサイズ・精度の計測 - RAGでの利用時にはtop-N を意識する - A Day in the Life
最近、文をembeddingsといった特徴ベクトルに変換するユースケースが増えている。そのベクトルから類似ベクトルを探す時に、数千ベクトルならほぼ何も考えなくともよく、数万ベクトル〜になると検索速度を高速化するためHNSW等のANNの近似最近傍探索アルゴリズムを使い、そして数百万ベクトル〜になってくると現実的なデータサイズ収めるために量子化等々を組み合わせた最適化を行うことが多いだろう。 これら類似ベクトル検索のための最適化(HNSW・IVFといったアルゴリズムや量子化)では、検索速度、データサイズ(メモリに乗るか)、精度、三つのトレードオフが発生する。これらトレードオフを踏まえた最適化戦略を考えるのだが、最適化時の正確さの計測結果として recall@10 や recall@100 が掲載されていることを多く見かける。例えばChoose the k-NN algorithm for yo
ChatGPT/LangChainを使ってgitの差分からドキュメントを自動で更新する
「ChatGPT/LangChainによるチャットシステム構築[実践]入門」という本を読んで学んだ知識を使って、自分で簡単なツールを作ってみたのでそれについて紹介しようと思います。作ってみたツールは、git diff の結果を入力として、この差分によって更新が必要になるドキュメントを検知して書き換えるというものです。 動作例 この記事で紹介するツールの実際の動作例を最初に示します。 ❯ dupdate --repo ../dummy_project --model_name gpt-4 --k 2 2023-11-05 15:22:42.471 | INFO | __main__:main:123 - Using mode: gpt-4 2023-11-05 15:22:43.440 | INFO | __main__:main:125 - Created DB 2023-11-05 15
「大規模言語モデルはグロービス学び放題の問題をどれくらい解けるのか」というテーマで色々検証してみた｜グロービス・デジタル・プラットフォーム
はじめにグロービスのデジタルプラットフォーム部門データサイエンスチームの機械学習エンジニアの田邊です。 グロービスではChatGPTのAPIが公開されて以降、関連領域の動向に注目しながら、そのクオリティの高い回答生成能力に加えて、プロンプトの指示に従ってくれる能力の高さや教育事業に関する知識の多さといった点に可能性を見出し、サービスへの活用を積極的に進めています。 直近の具体例を挙げると、グロービス学び放題というサービスにおける、ユーザーのコース振り返りコメントに対する自動フィードバック機能、自由記述問題の解答に対する自動フィードバック機能、そしてAIと学ぶシリーズのコンテンツ公開といったところが挙げられます。 これらのChatGPTを活用した機能は、現段階でもある程度コンテンツに沿った価値を提供してくれているのではないかと体感的には感じられますが、実際ChatGPTはどのくらいグロービス
AWS特化のCTFが超楽しかった！【Security-JAWS / writeup】
先日、AWSのセキュリティに関するコミュニティ「Security-JAWS」にて、AWS環境に特化したCTFが開催されました。 これが超超超楽しくて、学びにもなったとてもいいイベントだったので、少し時間が経ってしまいましたが、writeup兼ふりかえり記を残します。 ちなみに私はCTF初挑戦でAWSも入門書を1周したくらいの知識しかありません。しかし問題の構成がよく練られていたので、私のような初心者でも時間いっぱいじっくりと楽しむことができました（GPTを駆使しつつですが）。 CTFの環境構築に作問に、と、これを準備するのは相当大変だったと思うのですが・・・運営の方々には本当に感謝です！ 問題はTrivia、Warmup、Easy、Medium、Hardの5ランクに分かれていて、私はTrivia、Warmup、Easyランクの問題に挑戦しました。 緑色が正解した問題です TriviaはAW
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon BedrockのEmbeddingsを試しました。（良さげです） - Qiita
