セレンディピティのある推薦、多様性のある推薦、コンテンツ生産者を配慮した推薦など、クリック率の最大化（だけ）を目指さない推薦システムについての紹介です。 連絡先: @joisino_ (Twitter) / https://joisino.net/

概要 背景・目的 実験 実験の概要 定量評価 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 類似商品検索の基盤となる複数の特徴抽出アルゴリズムについて、DROBEの保有するデータで評価した 定量評価によると、画像単体を入力とする ResNet-50（自己教師あり学習）とCLIPの性能が高かった 定性評価によって、取り扱うモーダルの違いによる各モデル出力の顕著な差異が確認できた 背景・目的 小売において、商品の在庫は無数に存在しています。そのため、消費者やサービス提供者が商品に紐づく情報（画像、商品の説明文など）を解釈して、特定の商品と類似したアイテムを人手で行うのは困難です。 この課題を解決するために、機械学習手法の活用が注目されています。 機械学習を用いた処理の流れは、 商品に紐づく情報を適切に 「要約」 し、 1.で 「要約」 した商品情

はじめに こんにちは。Kagglerの 中間 と 若月 です。業務では主に人材領域でのレコメンドシステムの改善に取り組んでいます。 この記事では、レコメンドシステムにTwo-Towerモデルと近似最近傍探索による候補生成ロジックを導入することで、精度とコストを改善することに成功したので、その取り組みについて紹介します。 背景 導入したロジックについて説明する前に、まず既存のレコメンドシステムについて簡単に説明します。 既存のレコメンドシステムでは、ユーザとアイテムについてルールベースによる候補生成を行った後、機械学習モデルを用いてスコアを付与し、スコア順にユーザに推薦するアイテムを選択していました。 しかし、ルールベースによる候補生成はベースラインとしてはよいものの、性能改善には限界があり、ルールベースが複雑になればなるほど計算コストもかかるようになっていきます。 そこで、性能改善がしやす

2023年に東京都立大学で非常勤講師として、学部3年生向けに「機械学習〜推薦システムを題材に〜」というテーマで講義をしました。 90分×3コマ×2日間の計6コマの集中講義で、Streamlitで映画のレコメンドアプリを実際に作ってみるなどの演習も含めたものです。 昨年、大学院生向けに同様の講義を3コマ分していたので、それを拡張する形で、最近話題の生成AIの話も1コマ分用意しました。（昨年の授業資料はこちらにあります。） 推薦システムや生成AI×推薦システムについて興味ある方のご参考になりましたら。 1日目(90分×3コマ) 推薦システムの概要 推薦システム-各推薦アルゴリズム 推薦システムの周辺技術(評価指標について)

2022.5.16 レコメンドエンジンの仕組みと作り方とは？7種類のAI (機械学習)アルゴリズムについて解説 レコメンドエンジンの仕組みや、AI(機械学習)のアルゴリズムを理解しておくと、より効果を最大化できます。 本記事では、レコメンドエンジンの7種類のアルゴリズムを紹介しています。 記事の後半では自社にあったアルゴリズムの作り方まで解説しているのでぜひ最後まで目を通してください。 レコメンドエンジンの主な7種類あるAI(機械学習)のアルゴリズムの仕組み レコメンドエンジンには、主に7種類のアルゴリズムがあります。 ルールベースレコメンドコンテンツベースフィルタリングパーソナライズドレコメンド協調フィルタリング画像・音声解析レコメンドグラフAI技術ハイブリッドフィルタリング レコメンドする仕組みを理解することで、より自社にあったツールを選ぶことができ、効果を最大化できます。 さっそく7

こんにちは、メルカリのレコメンドチームで ML Engineer をしている ML_Bear です。 以前の記事 [1] では、item2vecと商品メタデータを用いた、メルカリのホーム画面のレコメンド改善のお話をさせていただきました。今回は商品詳細画面でレコメンド改善を行ったお話をさせていただきます。商品詳細画面の例は図1の通りです。ユーザーはアイテムの詳細な説明を見たいときにこの画面に来訪するため、同様の商品を推薦する自然な接点として非常に重要です。 まず、私たちが商品詳細画面で行った改善の概要を示します。各部の詳細については次節以降で詳しく触れます。 日本有数の大規模ECサービスにおいてベクトル検索ベースの商品推薦アルゴリズムを実装し、推薦精度の大幅な改善を実現しました。 協調フィルタリングとニューラルネットワーク (以下、NN) を利用した商品推薦アルゴリズムを構築し、コールドスタ

こんにちは、ZOZO NEXTでウェブエンジニアを担当している木下です。先日、弊社が運営するオウンドメディアのFashion Tech Newsにおいて、記事リストのパーソナライズを行いました。本記事ではパーソナライズ導入における、要件定義、レコメンドエンジンの比較、実装での知見や注意点についてまとめます。 fashiontechnews.zozo.com 背景 解決方法の検討 課題の分析 パーソナライズ手法の検討 レコメンド方式について サービスの比較 Amazon Personalizeの実装 実装の流れ アーキテクチャ 実装での工夫点 採用したアルゴリズム アイテムデータの更新頻度 ユーザーの識別 注意点 AWS Personalizeのサンプルリポジトリが古い データの収集には時間がかかる まとまった料金が発生する まとめ 背景 「Fashion Tech News」とは、2018

TensorFlow Recommenders と Vertex AI Matching Engine によるディープ リトリーブのスケーリング ※この投稿は米国時間 2023 年 4 月 20 日に、Google Cloud blog に投稿されたものの抄訳です。 以前のブログ投稿で、Google Cloud でレコメンデーション システムを実装する方法として、（1）Recommendations AI によるフルマネージド ソリューション、（2）BigQuery ML での行列分解、（3）Two-Tower エンコーダと Vertex AI Matching Engine を使用したカスタムのディープ リトリーブ手法の 3 つを紹介しました。このブログ投稿では、3 つ目の選択肢について詳しく説明し、プレイリストのレコメンデーション システムを構築するために Vertex AI でエンド

TensorFlow Recommenders と Vertex AI Matching Engine によるディープ リトリーブのスケーリング ※この投稿は米国時間 2023 年 4 月 20 日に、Google Cloud blog に投稿されたものの抄訳です。 以前のブログ投稿で、Google Cloud でレコメンデーション システムを実装する方法として、（1）Recommendations AI によるフルマネージド ソリューション、（2）BigQuery ML での行列分解、（3）Two-Tower エンコーダと Vertex AI Matching Engine を使用したカスタムのディープ リトリーブ手法の 3 つを紹介しました。このブログ投稿では、3 つ目の選択肢について詳しく説明し、プレイリストのレコメンデーション システムを構築するために Vertex AI でエンド

はじめに こんにちは。ML・データ部/推薦基盤ブロックの佐藤（@rayuron）です。私たちは、ZOZOTOWNのパーソナライズを実現する機械学習を用いた推薦システムを開発・運用しています。また、推薦システムの実績を定常的に確認するためのシステムも開発しています。本記事では、Lookerを用いて推薦システムの実績をモニタリングするシステムの改善に取り組んだ件についてご紹介します。 はじめに 改善の背景と課題 背景 課題 課題解決のために 要件1. 指標異常時の自動アラート 要件2. サマリの定期配信 要件3. 上記2つをSlack通知できること ダッシュボードの候補の比較 要件を満たすための設計 要件の実現方法 開発環境と本番環境 実装 ディレクトリ構成 ダッシュボード ダッシュボード構築の流れ 配信実績に関して 推薦結果に関して GitHub Actions 1. 指標異常時の自動アラー

2023年2月16日開催、サイバーエージェント メディア事業部主催のデータ活用に関する勉強会「メディアサービスにおけるデータ・AIの活用事例 #2」登壇資料です。 https://cyberagent.connpass.com/event/270224/

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 9月のイベントでジョブレコメンデーションについて調べて発表(実務と論文で学ぶ ジョブレコメンデーション最前線2022)しましたが、ブログの方が情報量が多いのと、最近のSlideShareが非常にみづらいものになっているのに加え、アップデートもしやすいのでこちらに随時残せる記事を残しておこうと思います。今日はクリスマスなので、誰かにとってはクリスマスプレゼントとなりうるでしょうか。 業界にいるものとしての思い 私は大学時代に経済学部に通っていたときに、労働市場の流動性に

はじめに 弊社では現在、レコメンドエンジンの高度化を進めています。その取組みの一貫として、強化学習を用いたレコメンドの検証を行いました。本稿ではその取り組みについて、まとめたいと思います。 強化学習とは 機械学習の分野の中でも強化学習は、教師あり学習や教師なし学習とは取り扱う問題の構造が異なります。 教師あり学習は入力と出力（正解ラベル）のペアデータを扱いますが、強化学習は教師なし学習と同様に正解ラベルは扱いません。一方で強化学習の特徴は、正解の代わりに報酬（もしくは罰）を扱います。 また、教師あり学習は入力から出力への変換方法を学習し、教師なし学習はデータに潜む構造や規則性を学習しますが、強化学習はエージェントが環境と相互作用しながら（行動を起こしながら）集めたデータ（環境の状態）を使って高い報酬を得る方策（いわゆるモデル）を学習します。 強化学習のレコメンドへの応用 ここではECサイト

本記事は、CyberAgent Advent Calendar 2022 19日目の記事です。 目次 はじめに 問題設定 協調フィルタリングのための線形モデル iALS EASE 関連する非線形モデル 実務活用 おわりに はじめに メディア DSC所属の機械学習エンジニアで、タップルの推薦システムを担当している橋爪 (@runnlp)です。 最近、推薦システムを触り始めました。推薦手法は、協調フィルタリング、コンテンツベース、ハイブリッドなど様々ですが、今回は昔から今に至るまで長く使われている協調フィルタリングについてです。 協調フィルタリングではDeep系のモデルがたくさん出る中で、RecSys2022で発表された論文では10年以上前から使用されている線形モデル(iALS)がDeep系のモデルに匹敵する結果であると報告されており興味深いです。また、推薦システムを開発するにあたって、問題設

はじめに 機械学習エンジニアの本田志温です。最近担当した類似アイテム推薦の案件で、BigQueryを使って最大内積検索（MIPS; maximum inner-product search）1 を実装したので、その方法と高速化のテクニックを紹介します。 類似アイテム推薦は「多数のアイテム候補から、クエリとなるアイテムに最も類似したK件を抽出する」というタスクなので、MIPSないし近傍探索の枠組みで解くことが一般的です。 一定の規模を持つサービスでMIPSを実装しようとすると、アイテム数×特徴量次元の行列が何かと厄介です2。第一に、MIPSを素朴な行列積で実装すると、時間・空間計算量がアイテム数の2乗でかかってきます。典型的には空間計算量の方がボトルネックになりやすく、RAMの制約に収めるための工夫が必要になるでしょう。第二に、アイテム数が膨大な場合、特徴量マートから全アイテムの特徴量を転送

第70回 Machine Learning 15minutes! Broadcastというイベントでお話する内容です。 ジョブレコメンデーション系の論文とか実務でやっていることを色々共有します。Read less

みなさんこんにちは。MLチームのたかぱい（@takapy0210）です。 本日は、コネヒトの運営するママリのオンボーディング改善に機械学習を活用した事例のパート2をお話をしようと思います。 パート1については以下エントリをご覧ください（取り組んだ背景なども以下のブログに記載しています） tech.connehito.com （おさらい） 今回実施しているオンボーディング改善には大きく分けて以下2つのステップがあります。 ステップ1：興味選択にどのようなトピックを掲示したら良いか？（前回のブログ参照） ステップ2：興味選択したトピックに関連するアイテムをどのように計算（推薦）するか？ 本エントリでは主にステップ2の内容についてお話しできればと思います。 （※本記事で添付している画像に関しては、開発環境のデータとなっています） 目次 はじめに ルールベースの推薦 ルールベースの課題 機械学習を

はじめに Tensorflow Recommenders (TFRS) は Tensorflow による推薦システム構築のためのライブラリです。特に大規模サービスへの応用が念頭に置かれており、two-tower アーキテクチャの推薦モデルの構築と、近似近傍探索による高速な推論を可能にしてくれます。 公式のチュートリアルで基本的な使い方を学ぶことができます。また以下のようなブログ記事も参考になるでしょう。 TensorFlow Recommenderで映画のレコメンダーシステムを構築 TensorFlow Recommendersの紹介 大規模サービスで効率よくレコメンドを提供するためにTensorflow Recommendersを活用する 今回この記事を書こうと思ったのは、公式のチュートリアルなどではTFRSを使う上で重要な精度面に関する情報が不足していると思ったからです。この後実演する

はじめに レコメンドシステムにはさまざまなアルゴリズムが存在します。 コンテンツベース 協調フィルタリング Matrix Factorization Factorization Machines ニューラルネットベースモデル 今回は、そのなかでもニューラルネットベースでのレコメンドシステム開発ライブラリ TensorFlow Recommenders の紹介をします。 TensorFlow Recommenders の使い方を公式のクイックスタートを自分の解釈で噛み砕いて説明します。 TensorFlow Recommenders なにしてるの？ レコメンドシステムのタスクとして大きく二つあります。 全商品の中から、ユーザに適している商品を抽出する(Retrieval) 抽出した商品にランキングをすることで並び替える(Ranking) TensorFlow Recommenders ではこ