データエンジニアが事業成長をリードする。『SUUMO』のレコメンドAPIはこうして進化した - はてなニュース
「どのように開発するか」だけでなく、上流からプロジェクトに携わり「何を開発するか」から検討したい、と考えているエンジニアの方は少なくないでしょう。 一方、実際の開発現場では「WHAT（何を開発するか）」がすでにある程度検討され、エンジニアはその実現方法を具体化させるフェーズから参画し「HOW（どのように開発するか）」を考えるケースが多いのではないでしょうか。 「WHAT（何を開発するか）」を検討するフェーズからボトムアップでアイデアを出し、プロダクトの成長にコミットしたいーー。そんな思いを強く持つエンジニアにとって、理想的な環境とも言えるのがリクルートです。 今回、同社を代表するプロダクトである『SUUMO』のレコメンドAPIのインフラを、機械学習エンジニア（以下、MLE）とデータエンジニア（以下、DE）が連携して改修したプロジェクトを参考に、事業成長にコミットするエンジニアの姿を伝えます
AIを利用した推薦システムを悪用し、意図的な偽情報が拡散可能 F-Secure
F-Secureは2021年6月25日、AI（人工知能）を利用した推薦システムの危険性について警告を発した。同社がソーシャルメディアでAIによる推薦に関する実験をした結果、意図的な偽情報や陰謀論の拡散が可能だった。 AIによる推薦システムは、検索エンジンやオンラインショッピングサイト、ソーシャルメディアなどで広く利用されている。最近ではインターネットの影響が大きくなっていることから、こうしたAI推薦システムに対して、意図的な偽情報の拡散など悪用に対する懸念が生じている。 リツイートを悪用することで特定のアカウントを推奨させることが可能 F-Secureで人工知能研究センターのシニア・リサーチャーを務めるAndy Patel氏は、レコメンドシステムで利用される「協調フィルタリングモデル」にTwitterで収集したデータを学習させた。その後、特定のアカウント間で「リツイート」されたデータ（ポイ
Anewsの裏側で動く、自然言語処理を活用したビジネスニュースの推薦システム
ML事業部の金田です。今回は、ストックマークの提供する法人向けサービス「Anews」の裏側で動くビジネスニュース推薦システムについて、簡単に紹介いたします。 AnewsとはAnewsは組織変革のための情報収集＋コミュニケーションプラットフォームです。 情報収集のためのコア機能としては、国内外３万メディアから収集したビジネスニュースから、利用者の興味・関心に合わせて記事を配信するサービスを提供しています。日々配信されるニュースから業務ニーズに直結するインサイトを獲得し、これを話題にユーザ同士が交流することで、組織全体の情報感度やコミュニケーションを促進させるのが、サービスの狙いです。 事前準備：ことばの定義具体的な機能説明の前に、Anewsにおける基本的な概念について軽く整理します。 Anewsは1企業＝1集団としての利用を想定しています。以降ではこの集団をチーム、チームに所属する各利用者を
ディープラーニングを活用したレコメンドエンジン改善への取り組み - ZOZO TECH BLOG
はじめに こんにちは、推薦基盤部の与謝です。ECサイトにおけるユーザの購買率向上を目指し、レコメンデーションエンジンを研究・開発しています。最近ではディープラーニングが様々な分野で飛躍的な成果を収め始めています。そのため、レコメンデーション分野でも研究が進み、精度向上に貢献し始めています。本記事では、ディープニューラルネットワーク時代のレコメンド技術について紹介します。 目次 はじめに 目次 パーソナライズレコメンドとは 深層学習より前の推薦手法 協調フィルタリング Matrix Factorization SVD（Singular Value Decomposition） Factorization Machine 深層学習を使った推薦手法 ニューラルネットワーク推薦手法に対する警鐘 Recboleプロジェクト Recboleプロジェクトを用いた各アルゴリズムの検証 General Re
Diversity(多様性)のある推薦システムとは何か？ | Wantedly Engineer Blog
Wantedly の Matching Squad でデータサイエンティストをしている関根( twitter: @ndnto, github: @hiroto0227 )です。Matching Squadでは主に企業とユーザーの理想的なマッチングを実現することを目的として、検索システム・推薦システムの改善を行っています。 モチベーション去年の秋ごろに RecSys2020 に参加して最新の推薦システムの技術についてキャッチアップをしました。最近の傾向の一つとして、推薦システムはユーザーの関心の高い(適合度の高い)アイテムを推薦するだけではなく、 Diversity (多様性)や Novelty (新規性)を追求することで、ユーザーにより良いアイテムを推薦することがあるように感じました。 Wantedly RecSys 2020 参加レポート① - Wantedly Data チームで Re
ZOZO研究所、ZOZOTOWNのファッション推薦データとアルゴリズム研究開発基盤をオープンソースで公開 - 株式会社ZOZO
ニュース ZOZO研究所、ZOZOTOWNのファッション推薦データとアルゴリズム研究開発基盤をオープンソースで公開 ZOZOグループの研究開発組織「ZOZO研究所」は、大規模ファッション推薦データと研究基盤となる「Open Bandit（※1）Data & Pipeline」をオープンソースとして公開しました。 現在、米中の少数の大企業によるデータと技術の占有により、外部の企業や技術者が同じ土俵で技術進歩に貢献することが難しいという懸念が強まっています。（※2） この問題に歯止めをかけ、日本企業からの積極的な技術貢献を目指すべく、ZOZOグループが保有する大規模データおよびソフトウェアパイプラインを公開する運びとなりました。今後、日本発のデータ技術のオープンイノベーションを促進するきっかけとなることを目指しています。 Open Bandit Dataは、ZOZOTOWN上での実際の推薦アル
質問の回答から「オススメの街」をAIが提案する新たな物件探しサービス、レッジがハウスコムと開発 | Ledge.ai
レッジはAI特化型メディア「Ledge.ai」を運営するほか、ハウスコム社とのようにAIソリューションの企画・開発にも携わっています。 全国約1万人の匿名ユーザーから得た情報をベースにモデル構築賃貸物件を探す際は、街やエリアを指定し、希望する条件から物件を絞り込んでいくことが一般的です。ですが、今回リリースしたAIアシスタントツール「ハウスコム ライフスタイルサーチ」では、ユーザーの趣味嗜好や生活スタイルから“街”そのものをサジェストします。 「どんな時間を大切にしたい？」といった、一見すると物件検索には直接関係のないような選択肢に答えることで、これまで知らなかった街の魅力と出会えることを目的にしています。 ハウスコム ライフスタイルサーチでは、まず全国約1万人の匿名ユーザーから得た嗜好・属勢用法をベースに分類モデルを構築しました。そして、「自身と嗜好の似た人が好きな/住みたい街」をサジェ
これから推薦システムを作る方向けの推薦システム入門｜masa_kazama
イントロ「Amazonのこの商品をチェックした人はこの商品もチェックしています」や「YouTubeのあなたへのおすすめ」、「Twitterのおすすめユーザー」などのレコメンド機能は多くのWebサービスに組み込まれております。そのレコメンドによって、ついつい商品をたくさん買ってしまったり、夜遅くまで動画を見てしまった経験はないでしょうか。 この記事では、レコメンドシステムの裏側はどのような仕組みになっているのか、そもそもレコメンドとはどういうものなのかを具体例を交えながら俯瞰できればと思います。レコメンドシステムのアルゴリズムの詳細には触れず、ビジネスにおいてどのような形で実装されているかにフォーカスしています。ネット上に公開されているレコメンドに関するスライドや記事、論文のリンクをまとめましたので、アルゴリズムの詳細などはリンク先の記事でご確認ください。 対象の読者は、自社のサービスにレコ
次元削減 - RDDベースのAPI - Spark 2.2.0 ドキュメント 日本語訳
次元削減 - RDDベースのAPI 特異値分解 (SVD) パフォーマンス SVD の例 主成分分析 (PCA) 次元削減 は検討中の変数の数を減らす処理です。生およびノイズがある特徴から隠れた特徴を抽出、あるいは構造を保ったままデータを圧縮するために使うことができます。spark.mllibはRowMatrix クラス上の次元削減のサポートを提供します。 特異値分解 (SVD) 特異値分解 (SVD) はマトリックスを3つのマトリックスに因数分解します: 以下のような $U$, $\Sigma$, および $V$ \[ A = U \Sigma V^T, \] ここで $U$ は正規直交マトリックスで、カラムは左特異ベクトルと呼ばれます。 $\Sigma$ は降順の非負数対角を持つ対角マトリックスで、対角は特異値と呼ばれます。 $V$ は正規直交マトリックで、カラムは右特異ベクトルと呼ば
ユーザーの好みを決定するための類似性に基づいて、Python実装映画推薦システム - コードワールド
コンテンツ推薦システムと協調フィルタリング（CF）系の2つの最も一般的なタイプ。製品に向けて、ユーザの態度に基づく協調フィルタリングは、推奨を生成する属性ベースのコンテンツ推薦システムの類似性に基づいてアイテムをお勧めします。CFメモリは、協調フィルタリング、およびモデルベースの協調フィルタリングに基づいて分割することができます。 私たちは、実装時に設定され、最も一般的なデータの一つであり、テストのリコメンデーション・エンジンが使用されている、943人のユーザーとスコアの選択から1682年の映画が含まれているMovieLensデータセットを、使用することができます。 インポートnumpyのライブラリとパンダ import numpy as np import pandas as pd u.dataデータファイルを読みます header = ['user_id', 'item_id', 'r
【Apache Spark】NMF (ALS) による推薦を試してみた |
前回, 構築した Spark on YARN 環境で ml/recommendation/ALS を試してみます。 実行環境は以下です。 macOS: 10.12.1 Java: 1.8.0_111 Apache Hadoop: 2.7.3 Apache Spark: 2.0.2 HDFS にデータをロード 今回使う data/mllib/als/sample_movielens_ratings.txt は左から, ユーザID, アイテムID, レイティング, 時間 となっている。 レイティングに 0 の多い疎な行列となっている。 $ head $SPARK_HOME/data/mllib/als/sample_movielens_ratings.txt 0::2::3::1424380312 0::3::1::1424380312 0::5::2::1424380312 0::9::4:
pythonで相関係数を計算する方法いろいろ3種類 - 静かなる名辞
はじめに pythonで相関係数を計算する方法はいろいろあります。確認したら、主要ライブラリだけで3つありました。 いろいろあるということは用途によって使い分けられるということなので、淡々と書いていきます。 なお、念のために断っておくと、ここで書いている「相関係数」はすべて「ピアソンの積立相関係数」です。順位相関などはまた別に調べてください（ただしpandasを使う方法だと出せます）。 目次 はじめに データの確認 numpyでやる pandasでやる scipyを使う あと思ったこととか まとめ データの確認 予め以下のようなデータを定義しておきます。 >>> import numpy as np >>> np.random.seed(0) >>> x = np.arange(0, 10, 0.1) >>> y = x + np.random.normal(size=x.shape) 散
量子コンピュータにメイド喫茶をオススメしてもらった - Qiita
はじめに この記事は Brainpad Advent Calender 2019 23日目の記事になります。 ブレインパッドでは、来たるべき量子コンピュータ時代に向けて量子コンピュータの勉強会を週1回行っています。この勉強会では、量子コンピュータに関連する論文を読んだり、論文を読むために必要な基礎の部分を勉強したりしています。そんな有志の集まりで細々と行っている勉強会ですが、今回はアドベントカレンダーの記事を書くぞ、ということで「現状我々が利用できる量子コンピュータで実用的な問題が解けるのだろうか？」ということにチャレンジすることになりました。 量子コンピュータといえば、通常のコンピュータ(量子コンピュータ界隈では古典コンピュータと呼ばれているやつです)では解くことが困難な問題も解くことができる、と言われているのを聞いたことがある人も多いと思います。実際に一部の問題に対しては古典コンピュー
【2019 MLEインターンシップ】機械学習で旅行をプランニングする - Platinum Data Blog by BrainPad
ブレインパッドでは毎年学生向けのインターンシップを開催しています。今年も、昨年に続いて「機械学習エンジニア（Machine Learning Engineer, MLE）コース」を実施し、今回は3名がインターンシップに参加しました。その取り組みと成果をご紹介します！ こんにちは、アナリティクスサービス本部AIプラクティス部の伊藤です。 今回は、今年の8月末から9月にかけて実施した機械学習エンジニアコースのインターンシップの内容についてお伝えします。 はじめに インターンの紹介と取り組みテーマ インターンシップの進め方 最終報告会 宿泊先のレコメンド（恒川さん） 周遊プランニング（藤原さん） 寄り道先のランキング（佐藤さん） 懇親会 まとめ はじめに 今年は「機械学習による旅行プランニング」というテーマで1か月間のインターンシップを実施しました。京都と名古屋から、3名の方がインターンシップに
「テキストと検索」の時代が終わり、「動画とレコメンド」の時代が始まる：ユーザー10億人のTikTokが示す未来
黄 未来（こう・みく） 1989年中国・西安市生まれ。6歳で来日。南方商人である父方、教育家系である母方より、華僑的ビジネス及び華僑的教育の哲学を引き継ぐ。早稲田大学先進理工学部卒業後、2012年に三井物産に入社。国際貿易及び投資管理に6年半従事したのち、2018年秋より上海交通大学MBAに留学。現在は中国を本拠地として活動。オンラインサロン「中国トレンド情報局」も主宰。 Twitter：@koumikudayo TikTok 世界で最も使われるアプリ「TikTok」はどのように生まれたか？／「TikTok」を生み、新たな技術大国・中国を制したバイトダンス社とは？／世界を席巻するショートムービー革命とは？ 中国籍を持ちながら日本で各種のSNSとともに育ち、現在は中国経済の最前線で活躍する著者にしか書けない奇跡の１冊です。 バックナンバー一覧 時価総額8.5兆円で世界No.1・ユニコーンのバ
ユーザー体験を支える検索・マッチング技術はどう作られる？ クックパッド、メルカリ、エウレカがノウハウを披露
サービス開発の手法や考え方について、知見や学びを共有する勉強会である「Cookpad Product Kitchen」。2019年9月25日に開催された第4回のテーマは「ユーザー体験を支える検索・マッチング技術」だ。サービス内にどれほど有益なデータがあったとしても、ユーザーがそこに到達できなければ、利便性を享受できない。いわば、検索・マッチングの技術がサービスの印象そのものを決定づけるのだ。では、有名サービスの開発・運用に携わるエンジニアたちは、いかなる手法を用いてデータとユーザーの橋渡しを行っているのか。クックパッド、メルカリ、エウレカの3社がそのノウハウを明かした。 ※本記事に記載されている数値などの情報はいずれも、イベント開催時点のもの。 「クックパッドのレシピ検索とレシピコミュニティ」 クックパッド株式会社 VP of Search 兼山元太氏 料理レシピ投稿・検索サービス「クック
ナレッジグラフを使った解釈可能な推薦システム
以下の図が、構築したナレッジグラフの一部分を図示したものと、その中から上の表に対応する部分を拡大したものです。 ナレッジグラフの属性ノードの情報を活用することで、お客さまが以前に購入した本と同じ著者の本を推薦するといった、商品情報をもとにした推薦が可能になります。 モデルについて 知識グラフを使った推薦は HeteRec [Yu et al., 2014] をはじめ、数年前から盛んに研究されています。今回はそのなかでも解釈性が高く、大きなデータにもスケールする KGCN [Wang et al., 2019] をもとにモデルを作りました。KGCN はグラフニューラルネットワークをもとにしたモデルです。技術的な詳細については英語版の記事を参照してください。 実験 以下の 3 つのタスクをメルカリの本のデータを使って実験することで、ナレッジグラフを使った推薦の有効性を確認しました。 商品推薦
プログラミング無しで「つながり」ネットワーク解析（2部グラフの隣接行列の計算） - おいしい健康 開発者ブログ
こんにちは。データ分析チーム(仮)の花井です。最近は、社内に蓄積されたデータを分析し可視化する方法を模索しています。 過去の記事では協調フィルタリングによるレシピ類似の可視化があります。 oishi-kenko.hatenablog.com 「つながり」を解き明かすネットワーク科学は、これまで薬品設計・代謝工学などの分野で研究者の間で応用されてきましたが、最近では人事に関わる「ピープル アナリティクス」*1といった分野が急速に発展しています。弊社では、ホットなネットワーク科学を食と医療に応用して様々な「つながり」を分析・活用していこうとしています。 今回は、 弊社のSlackデータを例にして、スプレッドシートを使ったネットワークの解析を説明します。BigQueryやPythonを題材にしようと思ったのですが、エンジニアに限らず誰でもネットワークの解析ができるよう、ノンプログラミングできる表
自作レコメンドで最適な読書体験をしたい - にほんごのれんしゅう
最適な読書体験をしたい アマゾンなどでレコメンドされる本を上から見ていても読書体験がそんなに良くありません。 本の売り上げランキングなどは、大衆に受ける本がほとんどであり、少々独特なセンスを持つ人たちにはそんなに受けが良くないです。 結果として現状の解決策がSNSや人づてに聞き及ぶぐらいしかないのとジャケ買いなどがせいぜいです どうあるべきかを考えるとき、仮に他人の本棚を知ることができれば、集合知と機械学習を用いて自分に向いているだろう本をレコメンドさせることができます 会社の技術共有会の小話で話した話 Matrix Factorization 2000年台のNetflix Prizeからある伝統的な手法で、シンプルで動作が早く、ユーザが多くアイテムの数がとても多いときに有効な手法です。 DeepLearningでも実装できるし、sklearnなどでも関数が用意されています。 コード 自分
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Netflixの屋台骨 「AIレコメンド」技術最前線 - 日本経済新聞
