Yahoo!の近傍探索ツールNGTを使って類似商品APIをつくる - BASEプロダクトチームブログ
はじめまして、BASEビール部部長の氏原です。BASEのData Strategy Groupで機械学習エンジニアをしています。 今回初登場ということで、暑いときにいいサワーエールのお話でも......といきたいところですが、ここは開発ブログということなので仕方ありません。開発のお話をしましょう。 現在私は商品の画像に基づいて、その商品に似た商品を類似商品として提示するAPIの開発を行なっています。今回はこのAPIをYahoo!さんのNGT（Neighborhood Graph and Tree for Indexing）を使って作成したことについて書いてみようと思います。 背景 BASE株式会社はネットショップ作成サービス「BASE」を運営しています。ここで作成されたショップはそれぞれ別のWEBサイトとして公開されていますが、ショッピングアプリ「BASE」では作成されたショップを横断して
形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - Qiita
この記事はVASILY DEVELOPERS BLOGにも同じ内容で投稿しています。よろしければ他の記事もご覧ください。 こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報
「niconicoの検索を支えるElasticsearch」と題して、第7回Elasticsearch勉強会で発表しました：dwango エンジニア ブロマガ
こんにちは。 エンジニアの伊藤です。 11/18に開催された第7回Elasticsearch勉強会にて「niconicoの検索を支えるElasticsearch」と題して、niconicoでのElasticsearchの運用事例について発表してきました。 発表の機会を与えてくださった@johtaniさん、スタッフの皆さん、ありがとうございました。 (この投稿は報告が遅くなっただけで、アドベントカレンダーネタではありません...) 使用したスライドがコチラになります。 https://speakerdeck.com/shoito/niconico-elasticsearch 講演では、まずElasticsearchを使った検索基盤を作った背景、 次に、なぜElasticsearchを使うことにしたのか？ そして、どう使っているのか？どう運用しているのか？ 最後に、良く参考にしているElast
Facebookはフィードを制御する。信用されようが、信じられまいが - in between days
昨日の夜、えふしんさんがすごく興味深い記事を書いていた。 Facebookのタイムライン制御に対する不信感(えふしん) - 個人 - Yahoo!ニュース Facebookの仕様は常に変わるので、数カ月後にこの記事が通用するかはわからないが、最近Facebookのタイムラインは、僕の知らない誰かに制御されている感がすごく強い。 「最近、僕のタイムラインで見かけないけど、あの人、FBやめちゃったのかなぁ！？」 と思い、その人のタイムラインを見に行ったら、今日も普通に書き込みをしていた。 もしかしたら画面を頑張って追えば表示されているのかもしれないけど、他の人の書き込みのほうが優先度高く表示されている。 あぁ、このSNSダメだな、って思った。 ここに情報を書くのが無駄すぎる。 「数カ月後にこの記事が通用するかはわからないが」とえふしんさんは書かれているけど、数カ月後どころか数年後まで、この感覚
Visual Wordsを用いた類似画像検索 - 人工知能に関する断創録
類似画像検索システムを作ろう（2009/10/3） 3日で作る高速特定物体認識システム（2009/10/18） に続くOpenCVプロジェクト第三弾です。今回は、上の二つをふまえてカラーヒストグラムではなく、局所特徴量（SIFTやSURF）を用いた類似画像検索を試してみます。局所特徴量はグレースケール画像から抽出するため、カラーヒストグラムと違って色は見ていません。画像の模様（テクスチャ）で類似性を判定します。 実験環境は、Windows 7、MinGW C++コンパイラ、OpenCV2.0、Python 2.5です。EclipseでMinGWを使う方法はEclipseでOpenCV（2009/10/16）を参照してください。Visual C++にはないディレクトリスキャン関数を一部使っているのでVisual C++を使う場合は、少しだけ修正が必要です。 Bag-of-Visual Wor
3日で作る高速特定物体認識システム (4) 特徴点のマッチング - 人工知能に関する断想録
3日で作る高速特定物体認識システム (3) SURFの抽出（2009/10/30）のつづき。 画像からSIFTや SURFといった局所特徴量を抽出できるようになったのでここらでそれを応用してみます。特徴点のマッチングを取ることで2つの画像間で対応する場所を求められるようになります。下の例のような感じです。下の図で2つのキーポイント間にひいた直線は、両端のキーポイントの特徴ベクトルが似ている（距離が小さい）ことを表しています。 以下、プログラムです。 keypoint_matching.exe [画像1のファイル名] [画像2のファイル名]のように2つの画像ファイルを入力として与えると上のようにマッチング画像が表示されます。 #include <cv.h> #include <highgui.h> #include <iostream> #include <vector> #include
3日で作る高速特定物体認識システム (3) SURFの抽出 - 人工知能に関する断創録
3日で作る高速特定物体認識システム (2) SIFT特徴量の抽出（2009/10/24）の続きです。あっ、3日経っちゃいました。 今回は、SIFTとは別の局所特徴量であるSURF（Speeded Up Robust Features）を抽出してみます。SURFのFはFeaturesなのでSURF特徴量とは言わないのかな？SIFTとは抽出方法は違いますが、画像からキーポイントと特徴ベクトルを抽出する点では同じです。抽出速度はSIFTより数倍高速だそうですが、精度は多少落ちるとのこと。リアルタイム処理したいときはこっちのほうがよさそうです。また、OpenCVにもすでに実装されています。SURFの詳しいアルゴリズムは後で論文を読むとしてとりあえず試してみます。 画像からSURFを抽出する 以下のプログラムは、画像からSURFを抽出して特徴点を描画し、特徴量をファイルへ格納するプログラムです。この
画像認識の初歩、SIFT,SURF特徴量
SSII2020TS: Event-Based Camera の基礎と ニューラルネットワークによる信号処理 〜 生き物のように「変化」を捉えるビジョンセ...SSII
計量学習を用いた画像検索エンジンとアニメ顔類似検索v3について - デー
まだgithubにはpushしていないのですが、さいきょうの組み込み型画像検索エンジンotamaに計量学習を用いて与えられたデータにあった画像間の距離関数を学習してそれを使って検索するというドライバを入れたので、先行的なデモとしてアニメ顔類似検索v3を作ってみました。 計量学習は、ベクトル間の距離の計り方を機械学習で決めるみたいな分野です。 アニメ顔類似検索v3 AnimeFace Search v3 - Otama LMCA_VLAD_HSV Driver randomボタンを押すと顔画像がランダムに出るのでどれかクリックするとそれをクエリに検索します。color weightは色の重みを調節するパラメーターで、1にすると色だけで検索します。0にすると形状やテクスチャだけで検索します。結果画像の上の数字は類似度的なもので、その横のgglは元画像をGoogle Search by Imag
プレスリリース出しました | おごちゃんの雑文
この前書いていた、「画像で検索するサービス」をいろいろ改良したので、プレスリリースを出してみた。 こーゆーのは初めてなんで、どう書いて良いかわからんｗ この前書いた時には、「情報を集める仕組み」についてあまり考えてなかったので、もうちょっとソーシャルサービスっぽく、「これ何？」と登録した画像について、 教えあう ことが出来るようにしました。わからないことを教えてもらえば、なんとなく「出会い」っぽいものも出来るかなと。まぁ、いわゆる「出会い系」っぽいことは出来ないんだけど、「教えあう」ってことは、人の出会いのきっかけとして悪くない。 ついでに、twitterにも流せるようにしたり、「自分の登録した画像」についていろいろ出来たりとかしたので、「携帯百景」みたいな使い方も出来るかなと。 もっとも、検索エンジン的にはいろいろ改良してあるとは言え2.5次元なので、なんでもかんでも検索出来るわけじゃな
hon.jp Webサービス（β）について
hon.jpでは、企業ユーザーもしくはWebスクリプティングに興味あるユーザーがhon.jpのデータにアクセスするためのWebサービスAPIを、REST方式で開発者向けに提供しており、hon.jpサイト会員ユーザーにも、管理画面の中で「XML出力機能」としても提供しております。具体的には、本サービスを使うことで、URLに指定のパラメータを追加してhon.jpサーバーを呼び出すことで、XMLの形でhon.jpの電子書籍メタデータDBの内容を取得することができます。 提供されるXMLをそのまま利用する以外に、XSLTを指定することで、XMLを好みのように自動加工したり、必要な情報のみを得ることができます。 使い方によっては、このようなプログラムやこのようなプログラムやこのようなプログラムやこのようなプログラムも簡単につくれます。 なお、「hon.jp Webサービス」のご利用には、hon.j
ふわっと関連検索とは
ふわっと関連検索にもどる [ CiNii / CiNii著者 / NDLサーチ / レファ協 / J-STAGE / WorldCat / DPLA / Springer / 教育研究論文索引 / 一橋大学OPAC ] 目次 ふわっと関連検索とは？ 検索できるデータベースは？ ソースコードは公開されていますか？ いま使っているデータベースでも、「ふわっと○○関連検索」してみたい 検索結果の並び順は？ もっと簡単に使うには ブックマークレット 自分のWebサイトで使うには？（ブログパーツ） 開発者向けAPIの提供 名前の由来 謝辞 ふわっと関連検索とは？ 任意のテキストを対象に、文書類似度を使って文献検索できるツールです。 いまのところ、CiNiiやNDL PORTAなどを対象にした文献検索を用意しています。 また、外部のサイト上からも簡単に呼び出せるようにAPIにも対応しています。 詳細は
はてなブログ | 無料ブログを作成しよう
フルリノベ後4年間住んでみて思った、よかったところと後悔したところ フルリノベの中古マンションに住んでみて、2020年の5月で4年経ちました。 良かった点や、もっと考慮すべきだった後悔ポイントなどをまとめてみます。 間取りは、ぜひ完成時のweb内覧で見てみてください。家具を入れる前の写真なので、室内の作りがわかりやすいです。 …
類似画像検索システムを作ろう - 人工知能に関する断創録
C++版のOpenCVを使ってカラーヒストグラムを用いた類似画像検索を実験してみました。バッチ処理などのスクリプトはPythonを使ってますが、PerlでもRubyでも似たような感じでできます。 指定した画像と類似した画像を検索するシステムは類似画像検索システムと言います。GoogleやYahoo!のイメージ検索は、クエリにキーワードを入れてキーワードに関連した画像を検索しますが、類似画像検索ではクエリに画像を与えるのが特徴的です。この分野は、Content-Based Image Retrieval (CBIR)と呼ばれており、最新のサーベイ論文（Datta,2008）を読むと1990年代前半とけっこう昔から研究されてます。 最新の手法では、色、形状、テクスチャ、特徴点などさまざまな特徴量を用いて類似度を判定するそうですが、今回は、もっとも簡単な「色」を用いた類似画像検索を実験してみます
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redirecting
AnimeFace Search v3 - Otama LMCA_VLAD_HSV Driver
TOP :: hikigaeru.net
Podcastle
絵文字を「符号」として処理する難しさ～日本のモバイルウェブのカオスぶり バイドゥ「絵文字の意味検索」ができるまで（1）
rseek.org - rstats search engine