論文紹介: Rank and Relevance in Novelty and Diversity Metrics - yubessy.hatenablog.com
秋から京都に会社のオフィスができて異動になり、以前から交流のあった id:syou6162 さんにご報告したところ、京都に拠点のあるIT企業の合同論文輪読会に誘っていただきました。 自分の担当回では推薦システムに関する次の論文を取り上げることにしたので、発表用のノートを兼ねて解説を公開します。 Rank and Relevance in Novelty and Diversity Metrics † ACM RecSys 2011 - Rank and Relevance in Novelty and Diversity Metrics for Recommender Systems from Pablo Castells www.slideshare.net 推薦システムにおける Novelty, Diversity Webサービスを利用していて、以下のような経験をした方は多いのではない
機械学習システムの運用課題とコンテナオーケストレーションがもたらすもの - yubessy.hatenablog.com
最近仕事では機械学習を使ったアプリケーションをKubernetes上で運用することが多くなっています。 MLOpsのような言葉も次第に浸透してきたりと、システムとしての機械学習をどう運用していくかが活発に議論されるようになってきました。 運用に頭を悩まされてきた身としては心強い限りです。 この記事ではKubernetes(以下k8s)のようなコンテナオーケストレーション技術が、機械学習システム(以下MLシステム)の実行基盤としてなぜ適しているのかについて考えてみました。 注意点として、私はMLアルゴリズムの専門家ではなく、またLinuxやコンテナ技術の専門家でもありません。 あくまで仕事としてMLシステムを運用するためにk8sを利用している立場からの考察です。 TL; DR: MLシステムの運用には次のような課題が存在する 目的によって求められるワークロードの形態が異なる 一時的・断続的に
５分ちょいでわかった気になるラムダアーキテクチャ - yubessy.hatenablog.com
という発表を社内勉強会でしてきました。
正規表現のテストカバレッジを測りたかった話 - yubessy.hatenablog.com
speakerdeck.com 社内LT大会でやった小ネタです。 Goの標準ライブラリの正規表現実装呼んでたら haya14busa さん出てきてすごい。
エンジニアとしての機械学習との付き合いかた - yubessy.hatenablog.com
社内のLT大会にて表記のタイトルで発表しました。 資料は以下に公開しています。 speakerdeck.com 最近仕事ではもっぱら機械学習システムの開発を行っていますが、モデルは作れても継続的な運用や実環境での安定稼働にはまだまだ苦労することが多く、いろいろと模索しているところです。 そんな中で今なんとなく考えていることをまとめてみた、という程度の内容ですので、わかったように書きつつわかっていないこともあります（ご容赦ください）。 スライドでも紹介している以下の２つの資料は、運用まで面倒をみる機械学習エンジニアとして非常に参考になる内容で、おすすめです。 Machine Learning: The High Interest Credit Card of Technical Debt Rules of Machine Learning: Best Practices for ML Eng
Word Mover's Distance: word2vecの文書間距離への応用 - yubessy.hatenablog.com
word2vecによって得られる語の分散表現を用いて文書間の距離（非類似度）を計算する手法についての論文を読みました。 せっかくなので解説してみます。 [1] Kusner, Matt J., et al. “From word embeddings to document distances.” Proceedings of the 32nd International Conference on Machine Learning (ICML 2015). 2015. TL;DR この論文では Word Mover’s Distance(WMD) という文書間距離の計算手法を提案しています。 提案手法は手っ取り早く言うと次のようなものです。 文書A, B間の距離 = A, Bの語同士を対応付けることでAをBに変換するとき、 対応付けのコストが最も低い場合のコストの総和 語xを語yに対応付
Apache Sparkの3つのAPI: RDD, DataFrameからDatasetへ - yubessy.hatenablog.com
はじめに Sparkの基本的な仕組み データコレクションの操作のためのAPI 1. RDD - ネイティブなオブジェクトのコレクション 2. DataFrame - 基本的な型の値からなるテーブル RDD v.s. DataFrame 3. Dataset - RDDとDataFrameの長所を併せ持つコレクション RDD, DataFrameからDatasetへの書き換え DataFrameからDatasetへ RDDからDatasetへ おわりに はじめに Livesense Advent Calendar 2016の11日目の記事です。 昨今ではAmazon Elastic Mapreduce (EMR)などのマネージドサービスの登場により、分散データ処理基盤を構築・運用するハードルは劇的に下がっています。 ソフトウェアの選択肢も広がり、特にApache Sparkはオンメモリ処理を
1974年の仮想化技術の論文についてLTしました - yubessy.hatenablog.com
8月に毎月恒例の社内LT大会があり、テーマがVMだったので、1974年の仮想化技術の論文を紹介しました。 そのときのスライドを公開します。 取り上げたのは次の論文です。 Popek, Gerald J., and Robert P. Goldberg. "Formal requirements for virtualizable third generation architectures." Communications of the ACM 17.7 (1974): 412-421. この論文は、コンピュータアーキテクチャの効率的な仮想化が可能であるために命令セットが満たすべき必要条件を定理として形式的に証明したもので、仮想化技術の界隈では知る人はいないほどの重要な論文とのことです。 テーマがVMに決まった時はネタが思い浮かばず、しばらくWikpediaを眺めていたら面白そうな内容でし
学習アルゴリズム以外のscikit-learn便利機能と連携ライブラリ - yubessy.hatenablog.com
Pythonで機械学習を使う場合、scikit-learnには何かとお世話になる。 豊富な学習アルゴリズムの実装を利用できるのが長所だが、実はアルゴリズムそのもの以外にも、前処理や評価のための様々な便利機能を有している。 これらを知らずに使っていると，車輪の再発明をしてしまうことになる。 また、機械学習関連のPythonライブラリはscikit-learnと連携できるAPIをもつものも多い。 scikit-learnを中心とするエコシステムが成立しているとも言える。 中にはコードをほとんど書かずに簡単なモデリングができるようなツールまである。 この記事では個々の学習アルゴリズムではなく、scikit-learnに予め用意されている便利機能やscikit-learnと連携できるライブラリなどを紹介する。 便利モジュール・パッケージ 前処理や評価で使われる一般的なテクニックの多くは既に実装され
Coursera の機械学習コースを完走して修了証を取得した話 - yubessy.hatenablog.com
昨年の10月から12月にかけて Cousera の機械学習オンラインコース "Machine Learning" を受講し、無事完走することができた。 www.coursera.org コースは無料で受講できるが、修得したことを公式に認定する修了証 (verified certificate) を取得するためにはお金がいる。 機械学習コースの取得料は$49と安くはないが、記念と思って取得してみた。 取得すると以下のようなパーマリンクがもらえて、修了証が閲覧できるようになる。 https://www.coursera.org/account/accomplishments/verify/WX835R39AB77 もともとアルバイトをしていたはてなでこのコースを利用した勉強会が開催され、それに参加させてもらったのが受講のきっかけだった。 運営の id:takuya-a さんをはじめ皆様にはお世
ブログ - yubessy.hatenablog.com
昨日書いた今年の目標に書きそびれたけど、今年は積極的にブログ書いていきたい。 形から入るタイプなのでテーマも変えてみた。 今までこのブログは時折思い出したようにぽつんと投稿するだけで、ほぼ放置状態だった。 理由は単純で、特に書くことがなかったからである。 心変わりしたのには、最近アルバイトをしたり勉強会に参加したことが少なからず影響している。 まだ大したことはないものの、自分にも共有できる知見があるかもしれないと感じることが多くなった。 今は研究が忙しいけれど、落ち着いたら機械学習の話とかいろいろ書きたい。 また昨年はアルバイトを中心に多くの人にお世話になったので、環境が変わってもちょくちょく近況報告できる場所がほしいというのも理由のひとつ。 SNSはそれはそれでいいのだけど、ブログは時間の流れがゆるいので、Twitterフォローするほどでもないけどたまにブログを覗いてみるみたいなことがで
今年の目標 - yubessy.hatenablog.com
あけましておめでとうございます。 今年は社会に出る予定なので、時間もお金も使い方の自由度が上がると信じてる。 とりあえずいくつか目標を書いておく。 エンジニア活動 最近ちょっとずつエンジニア力ついてきた気がするので、今年は成果を積極的に公開していきたい。 自分の性格上、細かいところにこだわりすぎたり完璧を目指してしまうことが多いので、もう少しゆるくやっていきたい。 これまで Python3 をずっとメインで使い続けていて、ライブラリのコードを読んだり直したりする機会も増えてきたので、OSSコミットとかもできたらいいなと勝手に思ってる。 あとはそろそろまともに Vim 使えるようになりたい。 データサイエンティスト活動 昨年は機械学習やデータ分析の勉強を頑張った。 具体的には京大で開催されたサマースクール MLSS'15 に参加したり、 mlss | Machine Learning Sum
今年購読してよかったRSSフィード - yubessy.hatenablog.com
大晦日なので今年買ってよかった○○エントリでも書こうと思ったけど、よく考えてみたら特に大したものは買っていない。 それもそのはずで、この1年は新しい生活のために自分の身の回り（お金・持ち物・生活習慣など）を整理しており、新しいものが増える余地が少なかったのだった。 代わりというわけでもないけど、今年は意識的に自分の情報収集環境を充実させようと頑張っていた。 その一環で、若干時代遅れ感はあるがRSSリーダーを活用してみた。 というわけで、今年購読してよかったRSSフィードをメモしておく。 開発・エンジニア HackerNewsの100pt以上限定フィードはいち早く話題を知れてよい。POSTDはソースをたどると良いサイトが見つかったりする。 score>100 – hnapp #RSS POSTD | プログラミングの話題を翻訳して届けるエンジニアのためのニュースメディア #RSS 企業の開発
マネーツリーとマネーフォワードを1年間使ってマネーツリーを選んだ話 - yubessy.hatenablog.com
うまくいけば来年4月から社会に出ることになるので、今年は家計簿をつけることを目標にしていた。 そのため、今年1月からマネーツリーとマネーフォワードという2つの家計簿アプリ(iOS)を1年間使ってみた。 moneytree.jp moneyforward.com 結論から言うとマネーツリーに一本化することに決めた。 せっかくなので選択の過程を書き残しておこうと思う。 以下はあくまで自分の用途からみた主観的な話であり、内容について責任は持たない。 比較表 下の話を表にまとめるとこんな感じ。 マネーツリーマネーフォワード 資産一覧 種別集計画面見やすい見にくい 資産とポイント別画面同画面 出費集計 種別グラフ棒グラフのみ円グラフ可 通販履歴非対応対応 現金管理 レシート読み取り非対応対応 財布残高自動計算ATM引き出しで対応対応 その他 無料版の機能高機能制限あり Web版ありあり もう少し詳し
Neo4jではてなブックマークグラフをつくってみた - yubessy.hatenablog.com
最近Neo4jというデータベースに触れる機会がありました。 Neo4jはグラフ構造を扱えるデータベースシステムで、人間関係のネットワークやWebページ間のリンク関係などを扱うのに適しています。 グラフデータベースでは「友達の友達の友達」や「10以上リンクされているページ同士の相互リンク」といった情報を簡単に引き出すことができます。 これらをRDBMSで実現しようとすると何段ものJOINが必要となり、クエリが複雑になって計算量も増えてしまいがちです。 グラフデータベースを使えば、クエリを簡潔に保ち、計算量も抑えることができます。 今回は日頃から利用しているはてなブックマークのデータを使い、Neo4j上にはてブグラフを構築していろいろなクエリを試してみました。 ※はてなブックマークWebおよび公開APIから取得できるデータのみを使用しています。 グラフとは ここでいう「グラフ」はExcelで描
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
