Item2Vecを用いて推薦システムを構築するときに気をつけること - Qiita
NTTドコモの久保田です。2度目の登場です。 みなさんItem2Vecという技術をご存じでしょうか。 Item2Vecとは、文章から単語の分散表現を獲得するWord2Vecを推薦システムに適用した技術です。具体的にECサイトでの推薦を考えたときに、Word2Vecの単語を商品に、文章をユーザが評価したアイテム集合として、アイテムの分散表現を獲得し、アイテム間の類似度などをもとに推薦していく感じです。 簡単に実装できるので、割とやってみた系の記事が多いですが、実際に推薦システムへの適用を考えたときに気を付けるところがあります。 Item2Vecの実装方針 gensimというトピック分析のライブラリがあり、このライブラリを使えば簡単にItem2Vecを実装できます。 1行をユーザが評価しているアイテム集合、各アイテムはスペースで区切られたテキストファイル(今回は、item_buskets.tx
日本語x-vectorから感情成分を分離するニューラルネットワークを構築してみた −感情分類に敵対的な損失関数の導入− - 備忘録
はじめに 本記事は前回記事の続編に相当する． 前回記事では声優統計コーパスの3話者・3感情の音声データに対してx-vector抽出器を適用し，UMAPで可視化を試みた． この可視化の実験を通じて，感情成分が分離できていない傾向が見られた．すなわち，本来は話者3クラスにも関わらず，疑似的な9クラス（= 3話者 × 3感情） が存在するように見える，というものである（x-vector抽出器の学習データを考えてみれば，それはそうなのだが）．せっかくx-vectorが手元にあるのだから，感情成分を分離/除去するフィルタの役割を果たす手法を実装してみたいと考えた．本記事はその実装の詳細と簡単な検証実験に関する報告である． 感情成分を分離するニューラルネットワーク 先行研究と論文 今回の実装にあたり下記の論文を参考にした．本論文では，音響特徴量（ベクトル系列）に含まれる話者成分とテキスト情報を表す成分
深層自己符号化器＋混合ガウスモデルによる教師なし異常検知
[DL輪読会]Understanding Black-box Predictions via Influence Functions
【論文紹介】1%の性能低下で50%のモデルサイズ削減が可能な蒸留手法 - Qiita
紹介する論文 【筆者】Kunbo Ding, Weijie Liu, Yuejian Fang, Zhe Zhao, Qi Ju, Xuefeng Yang, Rong Tian, Zhu Tao, Haoyan Liu, Han Guo, Xingyu Bai, Weiquan Mao, Yudong Li, Weigang Guo, Taiqiang Wu, and Ningyuan Sun. 【タイトル】Multi-stage Distillation Framework for Cross-Lingual Semantic Similarity Matching. 【採択会議】NAACL2022 Findings どんな論文？ 新たなモデル蒸留手法を提案した論文です． 本論文で扱うSTSタスク（後述）はモデルサイズに大きく影響されるそうで，以下の図のようにモデルサイズが大きければ大
[論文メモ] SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations - Qiita
[論文メモ] SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations機械学習論文読み 前置き SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations 文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017) の記事が圧倒的にわかりやすいのでそっちも見たほうがいいよ!! SCDVの概要 document embeddingの新しい手法。文書分類だけでなく情報探索等にも活用できる。数値実験では既存の方法(doc2vec, LDA, NTSG)に比べ高い精度が出た
![[論文メモ] SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/168473a0d93db8517b7d79463584addf37eac565/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUUzJTgzJUExJUUzJTgzJUEyJTVEJTIwU0NEViUyMCUzQSUyMFNwYXJzZSUyMENvbXBvc2l0ZSUyMERvY3VtZW50JTIwVmVjdG9ycyUyMHVzaW5nJTIwc29mdCUyMGNsdXN0ZXJpbmclMjBvdmVyJTIwZGlzdHJpYnV0aW9uYWwlMjByZXByZXMlRTIlODAlQTYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTIzODIzYTg4ZjAyOWRmNTI3Yzk1ZGM2NzcyMDdmOTI4%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbmlzaGliYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YzQ0OWRmMDEzOWQ5NjQyMTdiMWQyZmZlMmE3ZmYyZGE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D41310190270c0f42931c9f58fd23b1bc)
ニューラルネットワークの量子化手法の紹介
ニューラルネットワークにおける量子化とLLMや混合精度などの最近のトピックに関して紹介します。
深層学習の量子化に入門してみた 〜BERTをStatic Quantization〜 - Retrieva TECH BLOG
こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 前々回、深層学習の量子化について簡単な解説記事を公開しました。 前回はDynamic Quantizationを試した記事を公開しました。 今回はStatic Quantizationを実際に試してみようと思います。 Static Quantizationの概要 ONNX Runtimeを利用した量子化方法紹介 データの準備および単語分割を行う 量子化のConfigを作成 Calibrationを実行してscale factorを計算する 量子化適用前に除外するノードを定義 量子化の実行 量子化実験 実験設定 推論速度の比較 まとめ Static Quantizationの概要 Static Quantization（Post Tr
ポアンカレエンベッディング - にほんごのれんしゅう
ポアンカレエンベッディング Euclid空間にエンベッディングするようなword2vecは意味の上下関係が明示的に記されません。(情報としたあったとしても僅かでしょう) ポアンカレボールという双曲幾何学空間に埋め込むことで、効率的に意味(や木構造)の上位関係をとらえることができます[1] 理解 ポアンカレボールはこのような、外周部に行くほど密になる球みたいなものなのです。 図1. ハニカム構造のPoincare Ball(Wikipediaより) ポアンカレボールでは外に行くほど情報が密になり、空間が広がっているともとらえます。 数式で表現するとこのようになって、 gEというユークリッド距離がxが1に近づけば無限に大きくなることがわかります。 このポアンカレボール上にある二点間の距離はこのように表現され、単純なユークリッド距離ではないことが見て取れます。 この距離関数に基づいて損失関数L(
Poincaré Embeddings でJ1リーグのチーム・選手を可視化 - u++の備忘録
ふと「Poincaré Embeddings」*1で遊んでみたいと思い立ち、サッカーJ1リーグのデータで試してみました。 Poincaré Embeddings gensimでの実装とデータセット Poincaré Embeddingsの学習 活用方法 おわりに Poincaré Embeddings Poincaré Embeddingsに関する説明は、ABEJA*2やscouty*3のブログに譲ります。 Poincaré Embeddings は端的に言うと word2vec の埋め込み先をユークリッド空間ではなく双曲空間にするという手法で、階層構造やべき分布をもつデータを埋め込むという問題設定において、低次元でもよい表現を与えられるという特徴があります。 Poincaré Embeddings による職種の類似度計算とその利用 - LAPRAS AI LAB gensimでの実装とデ
Self Distillationって何？AlphaFold2では何をしているの？ - magattacaのブログ
先日AlphaFold2についてのPodCastを聞きました。知らないことばかりで「あーなるほどそういう話だったのかー」と興味深かったです。専門の先生方の議論を拝聴できるのはすばらしいですね。 AlphaFold2はディープランニングの専門の方から見ても、面白い技術がたくさん使われているそうですが、ど素人にはそもそもどこが生物学で、どこが深層学習的な話なのかわからないです。 というわけで、今回は深層学習の用語らしい「Self distillation」について調べてみました。ついでにAlphaFold2での使用例もちょっと見たいと思います。 www.nature.com 1. Self distillation 1-1. 知識蒸留はモデル圧縮の技術 1-2. 大事な知識はソフトな知識 1-3. 自己蒸留 ~Be Your Own Teacher~ 1-4. どうして自己蒸留で精度が上がるの
metric learning のファッション分野における活躍
この記事の目的は？ ファッションの3つの研究分野において、 metric learning がどう使われているかを説明し、関連文献をいくつか紹介します。 metric learning やファッションの研究に興味を持たれた方が、研究を始めやすくなればと考えています。 street-to-shop image retrieval どんな研究か？ ファッションアイテムの自撮り画像から、ECサイトで使われるような商品画像を検索 するための研究です。ファッションに限らない、一般的な呼び方だと cross-domain image retrieval と呼んだりもします。 図：自撮り画像の例 図：商品画像の例 出典: (M. Hadi Kiapour et al., 2015, ICCV) Where to Buy It: Matching Street Clothing Photos in Onl
レコメンドで使用する類似アイテムをAmazon Bedrockとitem2vecで計算・比較検証してみた - コネヒト開発者ブログ
みなさんこんにちは。MLエンジニアのたかぱい（@takapy0210）です。 最近、久しぶりに機動戦士ガンダムSEEDを見直しました。（来年には劇場版の公開もあります） 地球連合軍第7機動艦隊に所属するパイロットであるムウさんの 「君は出来るだけの力を持っているだろう？なら、出来ることをやれよ」 というセリフが好きです。 相手をリスペクトしつつ、でもお前はもっとできるだろ？という期待も込もった、良い言葉だなと感じます。 さて本日は、レコメンドで使用頻度の高い類似アイテムの計算処理を2パターンで実施し、どんな差分がでるのか？を検証した結果をお話ししようと思います。 この記事はコネヒト Advent Calendarのカレンダー 10日目の記事です。 adventar.org 目次 背景 Amazon Bedrockの埋め込みモデルでベクトルを取得する item2vecで計算したベクトルを取得
ALAE (敵対的潜在空間自己符号化器, Adversarial Latent Autoencoder) を使ってみた - Qiita
ALAE (敵対的潜在空間自己符号化器, Adversarial Latent Autoencoder) を使ってみたPythonDeepLearningAutoencoderGANVAE 概要 StyleGANの潜在空間次元分離性(PPLで表すDisentanglement)を大幅に改善した上に、 1024xの高解像度の画像を生成できるメリットを保つ画像生成手法、ALAE。 これを応用するために必要なことを調べながら一通りやってみました。 論文のFig.9で選ばれたサンプルは実際どう再構築されるのかを知るために生成した画像 ALAEを理解する 応用に関わるいくつの論文を説明します。 Progressive Growing (Style)ALAEの構造はStyleGANから改善され、StyleGANはさらにProgressive Growingの論文の構造にStyleを入れたものなので、ま
Disentangled な表現の教師なし学習手法の検証 - Preferred Networks Research & Development
本記事は、2019年インターンシップに参加された蕭喬仁さんによる寄稿です。 はじめまして。PFN の2019夏季インターンシップに参加した東京大学の蕭喬仁です。 大学では自然言語処理について研究しており、SNS からのマイニングに興味があります。 今回のインターンでは「Disentangled な表現の教師なし学習手法の検証 (Unsupervised Disentangled Representation Learning)」というテーマで研究を行いましたので、その紹介をいたします。 実験に使用したコードはこちら https://github.com/pfnet-research/chainer-disentanglement-lib で公開しています。 Disentangledな表現 映画 Star Wars がお好きな方は ”imperial entanglements” という表現
複数の関連度から検索可能な BGE M3-Embedding の紹介 - Algomatic Tech Blog
こんにちは。Algomatic の宮脇（@catshun_）です。 本記事では文書検索において一部注目された BGE M3-Embedding について簡単に紹介します。 Chen+'24 - BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation おことわり 本記事では精読レベルの 詳細な解説は含みません。 詳細については 参照元の論文をご確認ください。 不十分また不適切な言及内容がございましたらご指摘いただけますと幸いです。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本記事で紹介する 論文 は Work in progress とコメントされており今後内容が更新される可能
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロショット物体検出の研究動向
embeddingを用いた分析・検索・推薦の技術
Autoencoderを用いたOutfitからのスタイル抽出/style auto encoder
小規模データセットに対するニューラルネットの汎化性能の理由に迫る論文：Modern Neural Networks Generalize on Small Data Sets | 10001 ideas
夏のトップカンファレンス論文読み会 / InnovationMeetup20170918csn_cvpr2k17
