Amazonの推薦システムの20年
IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
アルゴリズム取引のシステムを開発・運用してみて分かったこと
趣味でアルゴリズム取引のシステムを開発・運用してみたことで得られた知見について、社内のテーマ自由な勉強会で発表しました。
機械学習をやりたいけれど、どこから手をつけていいか分からない人のために - Qiita
要約 機械学習をやりたいけれど、どこから手をつけていいか分からない。 → まずは機械学習の全体像を調べて、自分が解きたい問題にあった分野の見当をつけよう！ 投稿の目的 機械学習について、自分の学習記録を投稿いたします。 学習記録とは書いていますが、ただの備忘録ではなく、以下の目的から誰かに読んでいただくことを想定しています。 自分の解釈についてフィードバックを得たい。 自分の考えをわかりやすく人に伝える力を付けたい。 せっかくだし、自分と同じ内容を勉強している人には役立ててもらいたい。 はじめに これは機械学習以外にも言えることですが、専門技術というのは理論と実践が１セットになっています。 この両輪を回して初めて専門技術を習得することができます。 そして、理論と実践を修めるには大きく２つのアプローチ方法があります。 先に理論を修め、それを実問題に適用する人（理論（1）→実践先（N）） 先に
競馬の解析をガチでやったら回収率が100%を超えた件 - stockedge.jpの技術メモ
記事のタイトル通り、競馬で回収率100%を超える方法を見つけたので、その報告をする。 ちなみに、この記事では核心部分はぼかして書いてあるため、読み進めたとしても「競馬で回収率100%を超える方法」が具体的に何なのかを知ることはできない。（私は本当に有効な手法を何もメリットが無いのに公開するほどお人好しではないので） 本当に有効な手法を見つけたいのであれば、あなた自身がデータと向き合う以外の道は無い。 ただし、大まかな仕組み（あと多少のヒントも）だけは書いておくので、もしあなたが独力でデータ解析を行おうという気概のある人物なのであれば、この記事はあなたの助けとなるだろう。 ちなみに、これは前回の記事の続きなので、読んでない方はこちらからどうぞ。 stockedge.hatenablog.com オッズの歪みを探す さて、前回からの続きである。 前回の記事のブコメで「回収率を上げたいならオッズ
AIベースの新アルゴリズム“RankBrain”をGoogleが導入済み、SEOはどう対応すべきか？
[レベル: 上級] RankBrain（ランクブレイン）と呼ぶ、AI (Artificial Intelligence: 人工知能) をベースにしたアルゴリズムをGoogleは数か月前から導入しているそうです。 Googleのシニア・サーチ・サイエンティストのGreg Corrado（グレッグ・コラード）氏が、Bloombergによるインタビューのなかで明らかにしました。 RankBrainの導入によって、ユーザーの検索クエリをより的確にGoogleは解釈できます。 RankBrainとは インタビューからわかるRankBrainの特徴をまとめます。 通常のアルゴリズムはGoogleのエンジニアがコードを書いて完成させます。 改良、改善するにはコードの修正が必要です。 自ら変化することはありません。 しかしRankBrainはAIがベースになっていて、学習していきます。 すなわち僕たち人間
pythonと遺伝的アルゴリズムで作るFX自動売買システム その1 - Qiita
作ったモノ 次の機能を実装してみました 1. 最新の為替レートを取得し続けるプログラム 2. AIを稼働させ自動売買するプログラム 3. 最新のデータを元に新しいAIを遺伝的アルゴリズムで生成するプログラム 4. AIのパフォーマンスを測定して引退と取引通貨単位を管理するプログラム 背景 OANDAが提供している取引用APIが、かなり良い感じだったので実現できました。 特に1通貨単位(1ドル単位)で売買できるため、AI100個動かし取引を重ねても損失は1日数十円に収まります。試験時に売買システムがバグで暴走しても安心です。このAPIが無ければ個人では実現出来なかったので、良い時代になったなーと思います。 http://developer.oanda.com/rest-live/development-guide/ 遺伝的アルゴリズムの特徴 最適化問題の準最適解を短時間で解ける。 最適化問題
本当に実用的なたったひとつのソートアルゴリズム - CARTA TECH BLOG
コンテンツメディア事業本部の新卒エンジニア坂本がお送りいたします。 突然ですが、皆さんの好きなソートアルゴリズムはなんですか？ 私は基数ソートのスマートでストイックな雰囲気に惹かれます。 とはいえ、普段の開発では「どのソートアルゴリズムを使うか」を意識することは少ないのではないでしょうか。 むしろ現実世界で「トランプが全部揃ってるか」を手作業で確認するときとかのほうが、実はソートアルゴリズムが必要なのかもしれません。 ということで（？）、そのような現実的な場面で、本当に実用的なソートアルゴリズムを決める戦いが始まりました。 選手紹介 今回試したソートアルゴリズムは、独断と偏見で選んだ以下の5種類。 1 挿入ソート シンプル・イズ・ベスト！正直言ってベンチマークの噛ませ犬！ 2 クイックソート 「クイック」の名前はダテじゃない！王者の貫禄を見せてやれ！ 3 マージソート 安定感のある隠れた実
SmartNewsのニュース選定のアルゴリズムってどうなってるの？ 裏側を聞いてきた | Web担当者Forum
次のようなアルゴリズムでコンピュータが自動的に判断しています。順に説明します。 SmartNewsで対象となる情報は、インターネット上で固有のURLについてユーザーが何らかのアクションを起こしているものです。その情報の内容がどの言語で記述されているかを判断します。その情報がどのカテゴリに属するか、カテゴリ分類します。その情報の類似判定をします。これは、多様性のある情報を届けるためで、同じような内容が重複しないようします。また、情報が重複している場合は、情報の早さや人によく見られているといったさまざまな要素を総合的に判断して一番良いと判断されるものを選定しています。さらに、そのなかで注目度判定を行います。注目度判定にもいろいろな指標がありますが、たとえば以下があります。ソーシャル上でどのくらい反応があるかSmartNewsで実際に配信したときのユーザーの反応たとえば、SmartNewsで配信
機械学習アルゴリズムまとめ | 株式会社フルスピード - Growth Seed
みなさんこんにちは。アナリストの荒木です。近い将来さまざまな仕事がロボットに置き換わっていくと多くの人が予想しており、そのコアテクノロジーの一つが機械学習です。GoogleがDeepMindを買収したことで機械学習という言葉も身近になりつつありますが、すでにamazonレコメンドや画像認識などで活躍しています。 そこで今回は、ウェブ担当者が「機械学習ってどんなことをやっているのだろう？」という場合に勉強できるスライドをまとめました。 ↓株式会社フルスピードのSEOコンサルティングサービスのご紹介(資料DLページ) 機械学習によるデータ分析まわりのお話機械学習でどんなことをしているのかをまとめたスライドです。データのこと・機械学習のこと・評価のこと・分析のことの4部構成で、データマイニングの一連の流れを学ぶことができます。 Deep LearningGoogleの猫認識例で有名になった手法を
もし女子大生プログラマに『アルゴリズム』を図解で教えるとしたら - paiza times
2014年4月16日より2014年5月14日まで開催していたpaizaオンラインハッカソン（略してPOH![ポー！]）Vol.2「女子大生とペアプロするだけの簡単なお仕事です！」で提出された最速コードはどのような高速化のアプローチでで生み出されたのでしょうか？ POH Vol.2に登場した女子大生インターンプログラマの木野ちゃん（左のイラスト）にアルゴリズムを図解で教えるとしたら、どう教えるだろうか、という事で、今回は図解してみました。 今回は前回の最速コード発表レポート（【結果発表】女子大生プログラマの心を鷲掴みにした最強のコード8選）に引き続き、最速コードの裏側に迫ります。 ■高速化のアプローチ方法について 今回もPOH Vol.1 と同様に、POH Vol.2では計算量の改善による高速化を柱とするアプローチを想定して出題されました。基本は定数倍高速化によって想定解法よりも悪い計算量の
コンピュータを進化させてきた偉大なるアルゴリズムまとめ
By Kai Schreiber IT技術の進化のスピードには目を見張るものがありますが、それを支えているのはアルゴリズムと呼ばれる処理方法(技術的アイデア)です。さまざまなアルゴリズムの中でも、コンピュータの進化に革命的な影響をもたらしたとされる偉大なアルゴリズムは以下の通りです。 Great Algorithms that Revolutionized Computing http://en.docsity.com/news/interesting-facts/great-algorithms-revolutionized-computing/ ◆ハフマン符号(圧縮アルゴリズム) Huffman coding(ハフマン符号)は、1951年にデービッド・ハフマン氏によって開発されたアルゴリズム。頻出頻度の大小によって対戦するトーナメントツリーを考えて、ブロックごとに0と1の符号をもたせる
ImageMagick 改造入門 (その四) | GREE Engineering
こんにちは。マルチメディアエンジニアリングチームのよやです。最近は ImageMagick の ストーキング(アップデートの差分追跡)に余念のない日々を送っています。 尚、本エントリは GREE Advent Calendar 2013 の 7日目です。よろしくお願いいたします！ ImageMagick をサービスに適用している皆様におかれましては、バージョンアップに大変な慎重さをもって臨まれていると思いますが、自分なりの薀蓄を共有出来ればと、バージョンアップに絡んだ最近の闘いの記録を公開します。(長文です) 参考までに今まで ImageMagick について解説したエントリを並べます。 ImageMagick 改造入門 (その壱) GIFアニメーション ImageMagick 改造入門 (その弐) 減色処理前編 ImageMagick 改造入門 (その参) 減色処理後編 GIF アニメ生
1Click飲み
乾杯までの最後の１クリック 1Click飲みを使えば、「飲もう！」から「乾杯！」まで１クリックしか必要ありません。 登録方法 検索？ってなんだっけ。 高度な店推薦アルゴリズムにより、あなたの居場所、属性、状況に合わせて最適な店を探索します。店の検索はもう、人がやることではありません。 店検索について
PageRankアルゴリズムを使った人事評価実験 | 株式会社サイバーエージェント
2-2-1.一般的な360度評価による評価方法 問題点 一般的に評価プロセスが公開されていないため、最終評価までのプロセスが不透明である 全員が全員を評価するのは多数の社員がいる場合は不可能である ランダム抽出によるお互いの評価を行うと、まったく違う専門分野を評価したり、まったく関わりあいのない人を評価することになり精度が下がる 2-2-2.専門分野での評価者による評価方法 問題点 *評価者になる人材の不足 高い専門スキル、会社とのビジョンマッチ、メンバーからのその専門分野での高い信頼の全てを備えている人材が専門分野毎に必要。 さらに、評価の納得性を保つためにはメンバーからの信頼がある人材ではないと評価できない。 *評価者によって評価ポイントの違いがある 同じ分野の技術者でも、スキルの価値をどこに置いているかというスタンスの違いから評価ポイントにゆらぎが発生する。 さらに評価者自体
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google、人間のように学習を積み上げるAIを開発
ランク6の俺がパズドラについて語る
Twitterがタイムラインを変更 来週にも時系列からアルゴリズム導入へ
サルでも分かるwaifu2xのアルゴリズム
機械学習によるデータ分析まわりのお話
