SREへの機械学習適用に関するサーベイ / A Survey for Cases of Applying Machine Learning to SREMACHINE LEARNING Meetup KANSAI #4 LT https://mlm-kansai.connpass.com/event/119084/
How Machine Learning Is Eating the Software World
Marc Andreessen famously said in 2011 that software was eating the world. Four years later, that trend has accelerated, only now it appears that machine learning technology is on the cusp of eating software, and that algorithms will take over the world, with a little help from their friends: the APIs. Not that this is a bad thing, at least not as Elon Musk envisions, with AI-powered overlords ensl
機械学習システムの運用課題とコンテナオーケストレーションがもたらすもの - yubessy.hatenablog.com
最近仕事では機械学習を使ったアプリケーションをKubernetes上で運用することが多くなっています。 MLOpsのような言葉も次第に浸透してきたりと、システムとしての機械学習をどう運用していくかが活発に議論されるようになってきました。 運用に頭を悩まされてきた身としては心強い限りです。 この記事ではKubernetes(以下k8s)のようなコンテナオーケストレーション技術が、機械学習システム(以下MLシステム)の実行基盤としてなぜ適しているのかについて考えてみました。 注意点として、私はMLアルゴリズムの専門家ではなく、またLinuxやコンテナ技術の専門家でもありません。 あくまで仕事としてMLシステムを運用するためにk8sを利用している立場からの考察です。 TL; DR: MLシステムの運用には次のような課題が存在する 目的によって求められるワークロードの形態が異なる 一時的・断続的に
Real-time Machine Learning Analytics Using Structured Streaming and Kinesis Firehose
Persisting data from Amazon Kinesis using Amazon Kinesis Firehose is a popular pattern for streaming projects. However, building real-time analytics on these data introduces challenges, including managing the format, size and frequency of the files created. This session will present an end-to-end use case for deploying machine learning streaming analytics at-scale using Structured Streaming on Dat
The Case for Learned Index Structures
The Google-brewed paper has thought-provoking ideas and is poised to be remembered for a long time. The paper’s key question is: can indexing data structures (e.g. B-Trees or HashMaps) be replaced with machine learning models (e.g. Neural Networks) ? (Figure 1). Indexes as predictive modelsThis simple question completely broke mine and others’ previous idea of what an index is: Before: indexes ==
KaggleのCTR予測コンペで上位10%に入るまでの試行錯誤 - yasuhisa's blog
週末KagglerとしてavazuのCTR予測コンペに参加しました。Kaggleは機械学習版のISUCONだと思ってもらえばよいです。コンペ自体は終わっているので、late submiteであまり意味はないかもしれません、練習です。leaderboard上で上位10%以内に行けたので、そこまでの試行錯誤をメモしておきます。謎ノウハウ(?)を持っているガチ勢じゃないと上位に行けないものかと思っていましたが、基本に忠実にやればこれくらいの順位(上位7.6%)に行けましたし、他の人の工夫を垣間見えるという意味でも現場の機械学習やり始めたエンジニアにお薦めできそうでした。 参加の動機 目標感: 頑張りすぎずに上位10%以内に入る 試行錯誤 AthenaとRedashによる探索的データ解析 ベンチマークをまず超える 線形分類器でシンプルな特徴量 時系列要素を忘れていて過学習発生 特徴量エンジニアリン
Machine Learning and Security
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Can machine learning techniques solve our computer security problems and finally put an end to the cat-and-mouse game between attackers and defenders? Or is this hope merely hype? Now
はてなにおける機械学習の取り組みについて - Hatena Developer Blog
こんにちは、アプリケーションエンジニアのid:syou6162です。2018年になってしまいましたが、2017年のはてなにおける機械学習の取り組みについて振り返ってみたいと思います。 機械学習サブ会とは リソース/ツール整備 定例会 プロジェクトの近況を共有、より専門的な困り事を相談 技術共有/雑談 論文読み会/専門書の輪講会 社内で機械学習ハッカソンの開催 おわりに 機械学習サブ会とは はてなではより専門的な内容に関するエンジニアの小集団として、サブ会という制度が昨年から開始されています。昨年までは個人的に機械学習勉強会をランチタイムに運営していましたが、社内で正式にサブ会として認定されたことにより、業務時間内に活動しやすくなりました。このエントリではサブ会発足からの約八ヶ月の活動を振り返りってみたいと思います。 簡単に背景について説明しておきます。はてなは現在のところ、研究開発専門の部
RCO Study Night "RCOにおける機械学習と次世代量子情報処理技術「量子アニーリング」" に参加してきました - 夢とガラクタの集積場
こんにちは。 最近技術的な内容は大体Qiitaに書いているので こちらは間が空いてしまっていますが、勉強会の参加記録はこちらに。 RCO Study Night "RCOにおける機械学習と次世代量子情報処理技術「量子アニーリング」"に参加してきました。 atnd.org 正直な話、ソフトウェア屋なので物理的な内容に踏み込んだ個所は理解できていないのですが、 その理解なりにわかったことを参加記録として残しておきます。 当然間違った内容も紛れているでしょうけど、まぁそれが現時点の私の理解可能なレベルということで。 参加メモ RCOにおける機械学習（高柳 慎一） リクルートのビジネスは基本マッチングビジネス リクルートコミュニケーションズはリクルートの全事業領域に関わる 世の中の”不”を解消 広告配信の自動最適化 アドテクはコードがそのままビジネス価値につながる 特に重要な要素 大量データのハン
MLのアルゴリズム以外を取り扱った勉強会を開催した話 - 元データ分析の会社で働いていた人の四方山話
年末までにこのエントリを投下したい、と思いつつ、あれよあれよと年があけてしまいましたが、去る2017年12月に表題の通り、機械学習のアルゴリズム「以外」を対象としたML Ops Study（仮）#1 という勉強会を開催してみました。 経緯など ここ数年、機械学習やらディープラーニング、と言われる領域に親しいところに身を置いていて、自分の興味が機械学習や高度な分析の社会実装に興味があることが分かってきました。幸いにして、機械学習ブームによって、機械学習のアルゴリズム部分に関する勉強会や書籍はたくさん世の中に出てくるようになり、結果、多くの人が機械学習のアルゴリズムを勉強をするようになったように思います。一方で、問題を解決できそうなアルゴリズムがあったとしても、実際はそれを仕組みに落としていくところ、仕組みにした後に継続的に運用し続ける部分に関しての知見やノウハウはなかなかないのが現状です。こ
Jason's Machine Learning 101
Jason Mayes Senior Creative Engineer, Google Machine Learning 101 Feel free to share this deck with others who are learning! Send me feedback here. Dec 2017 Welcome! If you are reading the notes there are a few extra snippets down here from time to time. But more for my own thoughts, feel free to...
[1712.01208] The Case for Learned Index Structures
Indexes are models: a B-Tree-Index can be seen as a model to map a key to the position of a record within a sorted array, a Hash-Index as a model to map a key to a position of a record within an unsorted array, and a BitMap-Index as a model to indicate if a data record exists or not. In this exploratory research paper, we start from this premise and posit that all existing index structures can be
Gunosyのパーソナライズを支える技術 -計算モデルとアーキテクチャ編- - Gunosy Tech Blog
この記事は Gunosy Advent Calendar 2017 の1日目の記事です(フライング) qiita.com §1. はじめに こんにちは。データ分析部ロジックチームの @mathetakeです。いつもはデータ分析ブログにいるのでテックブログは初めてです。怖いです。Twitterとかやったことないですね。 最近は仕事でニュースパスというプロダクトの記事配信ロジックの改善を行っており、その一環としてパーソナライズロジックの開発プロジェクトに従事しています。 パーソナライズとはユーザーひとりひとりに対して別々の記事配信を行う事です。下記の記事でパーソナライズプロジェクト発足に至るまでの背景が語られているので、興味のある方はぜひご覧ください。 gunosiru.gunosy.co.jp この記事ではニュースパスの記事配信アルゴリズムのパーソナライズプロジェクトに関連して、 パーソナラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロサービスアプリケーションとしての機械学習
Clovaを支える技術 機械学習配信基盤のご紹介
はてなにおける機械学習の取り組み
機械学習の精度と売上の関係
Machine Learning | Google for Developers
Subgradient Methods
https://ide-research.net/papers/2010_SICE_Ide_Yairi.pdf