Chat VectorでLLaVAを日本語対応させる
import torch from transformers import AutoTokenizer, AutoModelForCausalLM from llava.model.builder import load_pretrained_model if __name__ == "__main__": vlm_model_name = "liuhaotian/llava-v1.5-7b" vlm_tokenizer, vlm_model, image_processor, context_len = load_pretrained_model( model_path=vlm_model_name, model_base=None, model_name="llava-v1.5-7b", load_bf16=True, device_map="cpu", device="cpu" )
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
言語の壁を打ち破る：GPT with 多言語インデックス - Qiita
この記事を読むと嬉しいこと 言語の壁を越えた、グローバルAIを作れます！ = GPTに英語と日本語、中国語、フランス語…の情報をまとめてインプットし、質問に答えさせることが出来ます！ """「Harry Potter（英語）」と「ぼっち・ざ・ろっく！」の情報をまとめて与えた後で質問をした時の回答""" # before index.query("ハリーの学校では、何を教えている？日本語で答えて") # -> ハリーの学校では、何を教えているかは不明です。 # after index.query("ハリーの学校では、何を教えている？日本語で答えて") # -> ハリーの学校では、魔法と魔法使いの学問を教えています。 背景・課題 今大人気のGPTに、外部情報を繋ぐGPT Indexが物凄い勢いで使われています。一方で、この仕組みを無邪気に使おうとすると、OpenAIに課金しまくることになり、お
E2Poseで複数人の姿勢推定を高速に行う
1.はじめに 今回ご紹介するのは、複数人の姿勢推定を高速に行うE2Poseという技術です。 2.E2Poseとは？ E 2Poseの情報については、Githubに Fully Convolutional Networks for End-to-End Multi-Person Pose Estimation（エンドツーエンドの複数人の姿勢推定のための完全な畳み込みネットワーク）というタイトルでコードが公開されています。 しかしながら、論文は現在非公開になっています。論文が公開になり次第、内容を更新したいと思います。 3.コード コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Open in Colab」ボタンをクリックすると動かせます。 ま
[StridedTransformer-Pose3D] 機械学習で動画の人物の姿勢推定 [Python]
初めにGithubからソースコードを取得します。 %cd /content !git clone https://github.com/Vegetebird/StridedTransformer-Pose3D.git 次にライブラリをインストールします。 %cd /content/StridedTransformer-Pose3D !pip install --upgrade gdown !pip install yacs !pip install filterpy !pip install einops !pip install yt-dlp moviepy !pip install matplotlib==3.0.3 matplotlibのみバージョンにご注意ください。repositoryのコード内でmatplotlib 3.1.0以上では廃止された関数を使用しているため3.0.3を明
![[StridedTransformer-Pose3D] 機械学習で動画の人物の姿勢推定 [Python]](https://cdn-ak-scissors.b.st-hatena.com/image/square/941559cad5ea32140b3951ea8c0c99a58c080262/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEim51CyH_iK2jVifcuR7qJDmFKuTNtLPaj96zQOsCuGHYhF8dPzc8L0DWQ35r7xfCj_0I0T8Z8VOccxTAYF1l1hdYK5bBlG1LBb-MmslAZxqX_uUunBV4OcaSDw7FBW4P8GYxTCa61ToQnY90H9fbJkESJ84fCxhdl2TZqv9qtCCcLDV0lzOhNgG78tGQ%2Fw1200-h630-p-k-no-nu%2Feyecatch.gif)
Kapaoで、人物検出と姿勢推定を行う
1.はじめに 通常、姿勢推定などのタスクではヒートマップを使った回帰の手法を使いますが、今回ご紹介するのはヒートマップを使わずに姿勢推定を行うKapaoという技術です。 ＊この論文は、2021.11に提出されました。 2.Kapaoとは？ 通常、姿勢推定などのタスクではヒートマップを使った回帰のアプローチを取りますが、生成と後処理に大量の計算処理が必要です。 Kapao（Keypoints and Poses as Objects）は、もっと処理効率を上げるために、画像を細かなグリッドに分割して、人間のポーズオブジェクトとキーポイントオブジェクトを同時に検出・融合し姿勢推定を行います。 下記は、Kapaoのネットワークの概要です。入力画像を深い畳み込みネットワークでマッピングし、ポーズオブジェクトとキーポイントオブジェクトをそれぞれ検出した後、この２つの情報を融合し結果を得ています。 では
Hugging FaceのDatasets： 自然言語処理のデータセット提供サイト
英語ではあるが、詳細な説明は要らないだろう。簡単に概説しておくと、右側にはダウンロード数順で人気のデータセットが一覧表示されている。 キーワード検索できるだけでなく、左側の［Task Categories］（タスクのカテゴリー：問題種別の大まかな大分類）／［Tasks］（タスク：より具体的な問題種別）／［Languages］（言語）／［Multilinguality］（多言語性）／［Sizes］（データサイズ）／［Licenses］（ライセンス）でフィルタリングできる。 機械学習の際に「どのデータセットを使えばよいか」を悩むことはよくあると思うが、このランキング表示は非常に参考になるのではないだろうか。 各データセットのページ内容 図1のデータセット名（例えばwikitext）をクリックしてページを開くと、図2のように表示される。 これも直観的に把握できると思うので、細かな説明は不要だと思
AI・Python活用レシピ100選 - Qiita
※ 一部ガイドラインに反する内容がありましたので、該当箇所を修正のうえ再投稿しております。 はじめに Axross は、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。 現役エンジニアによる実践ノウハウが"レシピ"として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。 今回は、Axross運営が厳選した『AI・Python活用レシピを100選』をご紹介します。是非、みなさまのAIやPython学習の参考にしてみてください。 Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 基礎 スクレイピング 01 . JUMPの掲載順をスク
Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
第1回Webインテリジェンスとインタラクションセミナー（いまさら訊けないシリーズ「言語処理技術」）での発表資料です。 https://www.sigwi2.org/next-sigRead less
【初心者向け】 機械学習におけるクラス分類の評価指標の解説 - OPTiM TECH BLOG
こんにちは。R&Dチームの河野です。主な担当業務は機械学習モデルの開発です。 タイから日本に留学し、卒業後日本企業に就職していました。データ分析・機械学習の業務経験が3年程度で、R&Dチーム唯一の女性かつ外国人のメンバーです。 直近の仕事はディープラーニングによるクラス分類モデルの開発を担当しており、今回はモデル精度評価によく使われる評価指標について初心者向け説明させて頂きたいと思います。機械学習モデルの精度改善には課題に適切な評価指標の選択がすごく重要のため、各評価指標の理解が必要になります。分類モデル開発に興味を持っている方・挑戦してみたい方にご参考になれば幸いです。 基本的な用語 ポジティブとネガティブクラス 混合行列 評価指標 正解率（Accuracy） 適合率（Precision） 再現率（Recall） F値（F1-score） しきい値とprecision-recallのトレ
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
Papers with Code - Machine Learning Datasets
CIFAR-10 (Canadian Institute for Advanced Research, 10 classes) The CIFAR-10 dataset (Canadian Institute for Advanced Research, 10 classes) is a subset of the Tiny Images dataset and consists of 60000 32x32 color images. The images are labelled with one of 10 mutually exclusive classes: airplane, automobile (but not truck or pickup truck), bird, cat, deer, dog, frog, horse, ship, and truck (but no
［文章生成］パープレキシティーとドロップアウトにより、よりよい文章生成を目指してみよう
今回の目的 前回はPyTorchのRNNクラスを使って、梶井基次郎の小説データを基に文章生成を行いました。できあがったニューラルネットワークモデルは、「檸檬」を与えると「檸檬などごくありふれている」という文を頻繁に生成するようなものとなっていました。恐らくは訓練データに過剰に適合した（過学習をした）ことにより、このようなモデルになってしまったのでしょう。 そこで、今回はパープレキシティーという損失とは別の指標を導入して、前回のニューラルネットワークモデルがどんなものだったかを観察した後、過学習を避ける仕組みを導入します。果たして、これにより前回よりもよい精度で文を生成できるようになるのでしょうか。 なお、分かち書きされたデータから辞書やデータセット／データローダーを作成するコードなどは前回までに見てきたものと同様なので、本稿ではそれらについては紹介しません。ここでは、前回までのコードに少し
【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル - Qiita
要点 T5（Text-To-Text Transfer Transformer、論文、日本語解説記事）の日本語モデル（事前学習済みモデル）を作り、公開しました。ご活用ください。 T5とは、様々な自然言語処理タスクの入出力がともにテキストになるよう問題形式を再定義することにより、一つの事前学習済みモデルを多様なタスク用に転移学習させることができる高い柔軟性を持ち、かつ、性能も優れている深層ニューラルネットワークです。 転移学習の例: 文章分類、文章要約、質問応答、対話応答、機械翻訳、含意関係認識、文の類似度計算、文法的妥当性判定、タイトル生成、スタイル変換、誤字修正、検索結果のリランキングなど（固有表現抽出などのシーケンスラベリングの実施例はない？） 日本語T5モデルはHugging Face Model Hubからダウンロードできます。 ベンチマークとして、ある分類問題について、既存のmT
Google Colaboratoryで試せる面白い機械学習プロジェクト6選 – ツクレル
Google Colaboratoryで試せる面白い機械学習プロジェクト6選投稿者: tsukurel 投稿日: 2020年6月10日2020年6月10日 Google Colaboratory（略称Colab）はご存じでしょうか。名前の通りGoogleによって提供されているサービスで、PythonをWebブラウザ上で実行できるJupyter Notebookを提供しています。さらにGPUが無料で実行できるとあって、機械学習系のプロジェクトでも利用されています（実用というより実験などで用いられています）。 今回はそんなGoogle Colaboratoryで実行できる面白いプロジェクトを幾つか紹介します。Open in Colabの画像をクリックすれば、それぞれのプロジェクトをすぐに試せます。 動画中の車認識 Google公式に提供されているプロジェクトです。道路を走っている車を認識し、車
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめに — 機械学習帳
https://e2eml.school/transformers.html
How to Build a WordPiece Tokenizer For BERT
