※一部の抜粋です クリスタ素材配布サイトの「CLIP STUDIO ASSETS」から、2022年4月現在でDL数が1万～2万台の人気おすすめの漫画用原稿ペンをまとめました。DL数3万越えは別のページにまとめてありますので先にそちらをご覧になるのがおすすめ。 ※ASSETSの検索機能が弱く漫画向けのペンだけヒットさせるのが難しい為に、クリスタ触りたての人がざっと一覧で見れるようにと作成したリストなので、ある程度使用したことがある方には無意味だとは思います。筆圧など使いやすさや合うかは人それぞれで人気＝良いというわけではありませんので、あくまで検索の補助としてどうぞ。 調べた時点でのDL数なので、既に範囲のDL数を超えている可能性があります。今後見直して移動したりDL数の範囲を変えるかもしれません。 カラー・グレースケール向けの様なものは除外しています。 DL数だけで全て羅列すると凄い数にな
小規模モバイルゲームはいかにして100万DLを達成したのか。「ローグウィズデッド」のマネタイズを学ぶ ライター：高橋祐介 room6のkohei氏 2023年12月17日に東京・新橋で開催されたインディーゲーム開発者向けのカンファレンス「Indie Developers Conference 2023」より，「100万DLを達成するための小規模モバイルゲームの開発と運営」のセッションレポートをお届けしよう。 2022年9月のリリースから1年3か月で100万ダウンロードを達成し，Google Play ベスト オブ 2023ではインディー部門で大賞を受賞したスマートデバイス用の放置RPG「ローグウィズデッド」（iOS / Android）は，どのような考えをもって作られ，サービスが行われてきたのか。同作を制作・運営するroom6のkohei氏より語られた。 セッション冒頭でkohei氏は，ロ
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）好評発売中！：https://www.amazon.co.jp/d/4065347823 連絡先: @joisino_ (Twitter) / https://joisino.net/
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 自然言語処理分野における大規模深層学習の重要性は日に日に高まっていますが、GPT-3, GPT-4 などのモデルの学習には膨大な計算コストがかかり、容易に学習できなくなっています。実際、モデルサイズが近年急速に大きくなっていることにより、学習に必要な計算量(FLOPs)は以下のように年々膨大になっています。近年の大規模モデルでは、NVIDIA H100 80GB であっても 1 つの GPU では、モデルをのせることすらできません。 Compute Trends Across Three Eras of Machine Learning より またScaling Laws によると、大規模なモデルは小さいモデルと比較してより優れた性能を発揮するため、自動
大規模言語モデルのFine-tuningによるドメイン知識獲得の検討 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM（Large Language Model）にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
深層モデルのパラメータを一列に並べてベクトルにします。このベクトルは大規模なモデルであれば何十億次元にもなります。一見、意味のない数値の羅列のようですが、このベクトルはベクトルとして深い意味があることが分かってきています。例えば、 と を異なるパラメータベクトルとすると、 や をパラメータとして持つモデルはちゃんと機能します。本稿では、このようなモデルパラメータの算術を用いた手法とその背後にある理論について解説します。 モデルスープ タスクベクトル モデルパラメータとニューラルタンジェントカーネル おわりに モデルスープ モデルスープ [Wortsman+ ICML 2022] は複数のモデルパラメータを平均することで性能を上げる手法です。事前学習モデル からはじめて、様々なハイパーパラメータで訓練した結果のパラメータを とします。これらを平均したベクトル は個々のモデルよりも性能が高く、
本記事について 2023年10月にSpotifyが新たな近似最近傍探索ライブラリとして「Voyager」を発表した[1]。本記事ではVoyagerについて調べたことや、単語の類似検索をユースケースとした実装サンプル、Annoyとの性能比較の結果を備忘としてメモしておく。 近似最近傍探索とは Voyagerの話に入る前に、近似最近傍探索について説明する。 最近傍探索 (Nearest Neighbor Search)とは、あるベクトルのクエリが与えられたときに、そのクエリと「最も似ているベクトル」をベクトルの集合から見つける技術である。 ナイーブな方法としては、クエリのベクトルと、集合の一つ一つのベクトルとの距離をコサイン類似度などで計算し、最も距離が近いものを抽出する線形探索が考えられる。しかし、このアプローチではO(N)（Nは集合のサイズ）で探索に時間がかかるため、データセットが膨大にな
株式会社ディー・エヌ・エーに AI スペシャリストとして新卒で入社した @634kami です。 CNNなどディープなニューラルネットワークの台頭により一躍世界中の関心を集めるようになった機械学習分野ですが、最近の生成AIブームによりますます関心が高まっています。機械学習については、画像や自然言語といった馴染み深いデータを対象に扱うものについてはよく知られていますが、グラフと呼ばれるデータを扱うグラフニューラルネットワーク(GNN) については研究における注目度の割に、世間からの知名度がありません。 この記事では、グラフについて知らない方でも分かるように、最初にGNNが何に使えるのかの話を中心に解説した後、実際の仕組みを知りたい方向けにモデルの紹介や様々なトピックについて網羅的に解説します！また、最後に PyTorch Geometric(PyG) を利用した実装方法についても触れます。
高速な深層学習モデルアーキテクチャ2023
深層学習モデル（畳み込みニューラルネットワーク; CNN、Vision Transformer; ViT）の高速化手法のまとめ より詳細な資料は下記 CNN: https://speakerdeck.com/yu4u/moteruakitekutiyaguan-dian-karanogao-su-hua-2019 Vision Transformer: https://speakerdeck.com/yu4u/jin-nian-nohierarchical-vision-transformer
深層モデルの高速化
深層モデルの様々な高速化方法を紹介したサーベイスライドです。 連絡先: @joisino_ (Twitter) / https://joisino.net/
最近は画像コンペではモデリングの余地があまりないことが多いが、系列データのコンペはデファクトの（pretrain）モデルが確立しておらずモデリングで勝敗が分かれることが多い。ここで系列データとは、時系列データ、センサデータ、RNA等のシーケンスデータのようなデータを意図している。 このような背景のもと、これまでの系列データを扱ったKaggleコンペティションとその上位解法を振り返りながら、系列データの深層学習モデリングを俯瞰する。 紹介しているコンペ： - IceCube - Neutrinos in Deep Ice - Google - American Sign Language Fingerspelling Recognition - Stanford Ribonanza RNA Folding - HMS - Harmful Brain Activity Classifica
SHAPやLIMEなどの説明AI（XAI）のご紹介 / SHAP LIME PDP Grad-CAM
************************************************************* # 要約 ************************************************************* ・SHAP のアルゴリズムを説明 ・SHAPに近い手法「LIME」との比較及び考察も記載 ・SHAP 以外の手法で算出した Feature Importance との比較及び考察も記載 ・オープンソースのデータ及びコードを使ってハンズオン ┗テーブルデータ and 画像データに適用 ・SHAP 以外の画像説明モデル Grad-CAM, Guided Grad-CAM の紹介
■ URL https://www.ai-gakkai.or.jp/jsai2023/tutorial ■ 概要 2021年頃に登場した基盤モデル (Foundation Model) は，従来のように個別のタスクに仕立てたモデルを作るのではなく，単一のモデルを多様な後続タスクに適用可能となっている深層学習のパラダイムを表した言葉である．この傾向が特に顕著なのは言語（GPT-3，PaLMなど）であるが，マルチモーダル領域におけるImagenやCLIP，強化学習領域におけるGato，RT-1など多様な領域で同様のアプローチを取った研究が行われている．基盤モデルは一般にデータ・モデル両面のスケールと同時に説明されることも多く，モデルサイズ・計算量・データサイズと性能の関係に関する経験則（Scaling Law）や，モデル規模が拡大した際にのみ発現する能力 (Emergent Law) の存在な
NLP2024ワークショップ「生成AI時代の自然言語処理における産学官の役割と課題」での招待講演資料です。
テラーノベルで機械学習を中心に担当している川尻です。最近、グラフニューラルネットワーク(GNN)に注目してサーベイしています。今回は、実際のテラーノベルのデータを簡単なモデルに適用してみたので報告します。 グラフニューラルネットワーク (GNN) グラフニューラルネットワーク（GNN）とは、グラフ理論において対象を「ノード」と「エッジ」からなる「グラフ」として扱うためのニューラルネットワークの一種です。例えば、テラーノベルにおいては、ノードがユーザーや作品の一つ一つを表し、エッジが「読んだ」「いいね」「フォロー」などを表します。ディープラーニングの発展に伴い、GNNの研究も盛んになっており、大規模なデータや様々なタスクに適用されるようになっています[1]。 テラーノベルでのグラフの例 arxivで投稿された年ごとの「Graph Neural Network」がタイトルに含まれている件数 G
LINEヤフー株式会社 Privacy & Trust Team / Federated Learning Team LINEヤフー研究所 上席研究員 髙橋翼 Tsubasa TAKAHASHI 2024/1/24 名古屋大学での講義資料です
23新卒技術研修で実施したAI研修の講義資料です。 ハンズオン用リポジトリ：https://github.com/nami73b/machine-learning-notebooks-2023 資料の利用について 公開している資料は勉強会や企業の研修などで自由にご利用頂いて大丈夫ですが、以下の形での利用だけご遠慮ください。 ・受講者から参加費や授業料などを集める形での利用（会場費や飲食費など勉強会運営に必要な実費を集めるのは問題ありません） ・出典を削除または改変しての利用
機械学習エンジニアの吉田です。今回は機械学習モデルの推論サーバとして NVIDIA Triton Inference Server の性能を検証した話です。 背景 バクラクでは請求書OCRをはじめとした機械学習モデルを開発していますが、これらの機械学習モデルは基本的にリアルタイムで推論結果を返す必要があります。 請求書OCRを例にとると、お客様が請求書をアップロードした際にその内容を解析し、請求書の金額や日付などを抽出します。 このような推論用のAPIサーバはNginx, Gunicorn/Uvicorn, FastAPIで実装し、PyTorchモデルをGPUで推論する構成となっており、SageMaker Endpointを使ってサービングしています。 バクラクの推論APIはこのような構成でリリース以降特に問題なく稼働してきていますが、ご利用いただくお客様が増えるにつれてリクエストも増加し
キカガク機械学習講師の船蔵颯です！本記事では、深層学習の基盤技術ともいえる Transformer について解説します。 ChatGPT が発表され、言語モデル GPT をベースとしたサービスが非常に身近なものとなってきています。多くの大規模言語モデルがその中核として採用している機構が Transformer です。また、BERT (自然言語処理) や Vision Transformer (画像処理) 、wav2vec 2.0 (音声処理) など、ChatGPT の興隆以前から Transformer は多方面で利用されています。 そのため、Transformer は深層学習の必須知識といえる状況になってきています。本記事では、Transformer の仕組みをポイントを絞ってわかりやすく解説します。 Transformer による革命 Transformer はニューラルネットワークの
トランスフォーマーを超える予測性能SCINet
3つの要点 ✔️ NeurIPS 2022採択論文です。時系列予測モデルであり、複雑な時間的ダイナミクスを持つ時系列を効果的にモデル化するSCINetを提案しています。 ✔️ SCINetは、豊富な畳み込みフィルタを持つ階層的なダウンサンプル-畳み込み-相互作用構造です。異なる時間分解能の情報を反復的に抽出・交換し、予測可能性を高めた効果的な表現を学習します。 ✔️ SCINetは、実世界の様々な時系列予測データセットにおいて、既存の畳み込みモデルやTransformerベースのソリューションと比較して、予測精度の大幅な向上を達成しています。 SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction written by Minhao Liu, Ailing Zeng, Muxi
Large Language Models for Code (Code LLMs)と自然言語推論、ソースコードの関係について - Preferred Networks Research & Development
GPT-4が67%という突出したスコアを出しています。Codegen[^3]やStarcoder[^4]などの重みが公開されているモデルは2割から4割程で大きく後れを取っていたのですが、2023年の8月にLlama2[^16]やStarcoder[^4]をチューニングして作成されたWizard[^17], Code Llama[^18]が50%,60%台のスコアを出し、CodeLLMにおいてはチューニングが注目されています。特に、WizardやCode Llamaによってチューニングの中でも指示チューニングがHumanEvalのスコアを伸ばす事が確認されており、指示チューニングとCode LLMの関係が気になるところです。 Code LLMの自然言語指示チューニング CodeLLMが指示チューニングによってなぜスコアを大きく伸ばせるかが気になりました。我々はCodeLLMモデル自体に自然言
論文紹介 / Llama 2: Open Foundation and Fine-Tuned Chat Models
第15回最先端NLP勉強会
GitHub - huggingface/candle: Minimalist ML framework for Rust
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs
We present QLoRA, an efficient finetuning approach that reduces memory usage enough to finetune a 65B parameter model on a single 48GB GPU while preserving full 16-bit finetuning task performance. QLoRA backpropagates gradients through a frozen, 4-bit quantized pretrained language model into Low Rank Adapters (LoRA). Our best model family, which we name Guanaco, outperforms all previous openly rel
モデルの気持ちになって情報を与えよう
これは Kaggle Advent Calendar 2023 12/10 の記事です。 ディープラーニングでは何を考えたらいいのか？「モデルの気持ち」などと言いますが、もっと具体的にどういうことなのか？私も素人でわからないのですが、今年参加したコンペで読んだ solution を題材に「情報を与える」という観点からモデルの気持ちを推測してみます。 「それ、俺も書いたが？」みたいなのはたくさんあるかと思いますが advent calendar ゆえどうかご容赦を。記憶をたよりに雑に書いて調べ直していません。 Classification の根拠を segmentation で与えるG2Net 2 Detecting Continuous Gravitational Waves はノイズに埋もれたデータに重力波の信号が含まれているかを判定する二項分類のコンペでした。入力は spectrogr
GGML - AI at the edge ggml is a tensor library for machine learning to enable large models and high performance on commodity hardware. It is used by llama.cpp and whisper.cpp Written in C 16-bit float support Integer quantization support (e.g. 4-bit, 5-bit, 8-bit) Automatic differentiation Built-in optimization algorithms (e.g. ADAM, L-BFGS) Optimized for Apple Silicon On x86 architectures utilize
Japan PR slides
DeepSpeed: 深層学習の訓練と推論を劇的に 高速化するフレームワーク Microsoft DeepSpeed Team 2023 年 6 月 7 日 このスライドでは、我々が研究開発しているDeepSpeedというフレームワークに ついて、概要をご紹介します。 1 概要 • 大規模かつ高速な深層学習を容易に実現する様々な機能を持ったソフトウェア • オープンソースソフトウェアとしてGitHubで公開中 • DeepSpeed (メインのレポジトリ) • DeepSpeedExamples (使用例). • Megatron-DeepSpeed (NVIDIAのMegatron-LMと結合したもの). • DeepSpeed-MII (DeepSpeedの高速な推論を容易に利用するためのツール) メインレポジトリのURL DeepSpeedのプロジェクトは、MicrosoftのAI
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【ClipStudio】DL数1万～2万台の漫画原稿用ペンまとめ - 物覚え雑記帳
小規模モバイルゲームはいかにして100万DLを達成したのか。「ローグウィズデッド」のマネタイズを学ぶ
僕たちがグラフニューラルネットワークを学ぶ理由
大規模モデルを支える分散並列学習のしくみ Part1
モデルパラメータの算術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
近似最近傍探索ライブラリVoyagerで類似単語検索を試す
グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで
Kaggleで学ぶ系列データのための深層学習モデリング
JSAI2023 Tutorial 「基盤モデルの技術と展望」
言語間転移学習で大規模言語モデルを賢くする
グラフニューラルネットワーク(GNN)を使ったタグ分類
差分プライバシーによる 安全な連合学習の実現
AI研修【MIXI 23新卒技術研修】
NVIDIA Triton Inference Server の性能検証 - LayerX エンジニアブログ
【入門】深層学習の革命児！Transformer を今こそ理解しよう
ggml.ai