Matrix Factorizationとレコメンドと私 - Qiita
レコメンドにおける次元削減手法の一つであるMatrix Factorizationについてまとめた自分用メモ的なものです。 なおタイトルは「部屋とYシャツと私」にちなんだだけで、ちなんだ意味はありません。 1. レコメンドシステムにおける次元削減 1.1 レコメンドの設定と協調フィルタリング すでにレコメンドをたくさんされている方にとってはとても当たり前の話かもしれませんが一応前提をば。 今回考えるデータセットはMovieLens100kのように「ユーザ×アイテム」の行列でできているもので、例えば以下のような形のものを想定しています。 レコメンドでおなじみの協調フィルタリング1では相関係数やコサイン類似度を用いてユーザ（orアイテム）同士の類似度を出し、それを用いた評価の予測値に基づきレコメンドをするという趣旨のものでした。 この協調フィルタリングのようなレコメンド手法のことを近傍ベースア
【推薦システム】レコメンドアルゴリズムまとめ①【入門/協調フィルタリング/NMF】 - Qiita
一言で表すと、ユーザーの行動履歴に基づいた推薦アルゴリズム。 メモリベースの手法とモデルベースの手法の二種類があります。 メモリベース手法 ユーザ間の類似性やアイテム間の類似性に着目して推薦を生成する手法です。 このうち、さらにユーザーベースの手法とアイテムベースの手法に分類されます。 特徴 ドメイン知識を必要としない(商品の内容を知らなくてもレコメンドできる) 異なるジャンルをまたいだ推薦ができる 利用者が多い場合に有利 推定の都度全データに対して計算を行う(類似度を計算する)アプローチをとるのでデータのサイズに比例して計算コストが高くなる。 ユーザーベース 対象となるユーザーと類似した嗜好を持つユーザーのグループを調べることによって、各ユーザーに適したレコメンデーションを提供する手法です。 メリット アルゴリズムがシンプル、データセットが頻繁に変更されても対応できる。 デメリット 巨大
Collective Matrix Factorization - 自然言語データのエレガントなデータ探索法 - - Qiita
データ解析を行う上でデータの性質を知ることは欠かせません．データの性質を知ること自体が価値を持つこともありますし，正しい前処理の方法やモデルを選択する為にもデータの性質を知らなければいけません． カテゴリー型の変数なら分布や従属変数との関係などの簡単な統計量を調べるだけでも多くのことがわかります． しかし自然言語データの場合は全く同じ文章が２度現れることはまずありません．文章を単語単位に分解して考えようとしても，単語の種類が膨大なため，データ探索は一筋縄ではいきません． 自然言語データの探索法は色々ありますが，今回の記事ではその中でも - 教師ありデータと相性が良い - 間違った解釈に至りづらい - 数学的にエレガントな 探索法であるCollective Matrix Factorization (CMF)について紹介します． 要約 自然言語データは高次元なので，次元を削減することが解釈の
疎行列の格納方式メモ - Negative/Positive Thinking
はじめに 巨大だけどほとんどの要素がゼロであるような疎行列は、そのまま保持するより、要素がゼロじゃないところだけをうまく保持する事でメモリや計算量を減らせたりする。 扱う行列のタイプによって、効率のよい形式がいくつかあるようなので代表的なものをメモしておく。 Coodinate(COO) Format 非ゼロ要素の(row indices, column indices, value)を要素数分持たせる形式 非ゼロ要素が散らばっている場合に有利 0 4 0 0 2 0 0 0 1 を row 0 1 2 column 1 1 2 value 4 2 1 のように保持する。 compressed sparse row(CSR) Format / compressed sparse column(CSC) Format Coodinate Formatにおいて、左から右、上から下へ順番に要素を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
