GitHub - replicate/keepsake: Version control for machine learningYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
機械学習モデルを構築するときに考えることと、全体の流れ - まずは蝋の翼から。
初の機械学習プロジェクトを仕事でおこなった。その際に、各プロセスでこういう部分をみたり考えたりした方が良さそうだと思ったことをまとめる。 なお、機械学習プロジェクトの話は「仕事ではじめる機械学習」をはじめとして既に色々なところで議論されている*1。しかし、いくつか読んだがマクロな話が中心だったので、どちらかというとミクロ部分の機械学習モデルを構築する という部分を中心に書く。 なお、経験者から指摘されたり教えられた点を1度機械学習プロジェクトをやっていったんまとめただけなので、今後追加・修正される暫定版なことに注意。 ワークフロー 機械学習プロジェクトのワークフローはざっくりと以下のようになる。 1. 要件を定める やることとしては、 目的 スケジュール 期待値 どの程度の精度ならよいか どのようなアプローチを取るか を決める。 このあたりの話は、前述のように「仕事ではじめる機械学習」など
MLOps 海外テック企業の事例とフレームワークの紹介 - Gunosyデータ分析ブログ
はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現
GitHub - dessa-oss/atlas: An Open Source, Self-Hosted Platform For Applied Deep Learning Development
Build Statuses: Atlas: Self-Hosted Machine Learning Platform Atlas is a flexible Machine Learning platform that consists of a Python SDK, CLI, GUI & Scheduler to help Machine Learning Engineering teams dramatically reduce the model development time & reduce effort in managing infrastructure. Development Status Atlas has evolved very rapidly and has gone though many iterations in Dessa's history. T
2020年版：実務の現場で求められるデータサイエンティスト・機械学習エンジニアのスキル要件 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は、昨年の同様のスキル要件記事のアップデートです。 正直言って昨年バージョンとの差分は殆どないのですが、一応この1年間の業界の進歩を踏まえて僅かながらアップデートしてありますので、ベースとなっているスキル要件についてさらっと概観した上で、差分となるアップデート部分について簡単にコメントしておこうかと思います。 なお、いつもながらの断り書きですが。言うまでもなく、この記事の内容はあくまでも僕の個人的な意見にして、なおかつ僕自身がこれまでの経験と見聞に基づいて「これまで自分が属してきた組織やチームにおけるデータサイエンティストや機械学習エンジニアはこうだったor今後はこうあって欲しい」という最大公約数的な経験談や願望を書き並べたものに過ぎません。よって何かの組織や団体の意見を代表するものではありませんし、況してやauthorizeされた意見として見
「データサイエンティストが『その会社の本業部門』にしかいない」問題 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) ちょっと前にこんなことを書きました。 洋の東西を問わずどこの事業会社でもあるあるなのが、プロダクト部門には山ほど優秀なデータサイエンティストや機械学習エンジニアがいるのに、広告・マーケ部門にはDSやMLエンジニアはおろか普通のエンジニアもアナリストもいないので外部コンサルやベンダーに頼りきり、という現象。灯台下暗し— TJO (@TJO_datasci) 2019年12月26日 これ、実は広告・マーケティング業界に限らずあらゆる分野業界のデータ分析事情について言えることなのですが、ここで言う「プロダクト部門」を「（その会社の）本業部門」と言い換えるとさらに普遍性の高い話であるように、僕の個人的な体験と見聞からは思われます。 ということで既に年末ポエムを書いてしまった後なのですが、今後データサイエンティスト（広義：よって機械学習エンジニアやデータアーキテ
機械学習の説明可能性（解釈性）という迷宮 - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい
機械学習活用のためのフレームワークを開発 | 2019年 | ニュースリリース | 三菱ケミカルグループ
株式会社三菱ケミカルホールディングス（本社：東京都千代田区、社長：越智 仁、以下「当社」）は、このたび、デジタルトランスフォーメーションのための新しいフレームワークとして「機械学習プロジェクトキャンバス」を考案しました。機械学習を活用してビジネスの課題解決に取り組む多くの方に活用して頂けるよう、当社ホームページにて公開いたします。 昨今話題のディープラーニングをはじめ、機械学習はAIの中核的な技術としてさまざまなビジネスで利用されてようとしています。一般的に、機械学習やAIのプロジェクトは小さく始めることが推奨されていますが、先が見えないままPoC（Proof of Concept、概念検証）段階で行き詰ってしまうことがよくありました。 実際には、機械学習を用いてプロジェクトを成功に導くためには、最終的に誰がどう使うのか、必要なデータは何で、成功はどのような指標で評価するのかなどを予め体系
Mackerelにおける機械学習プロジェクトのマネージメント - Mackerel お知らせ #mackerelio
ソフトウェア開発プロジェクトのマネージメントと機械学習 こんにちは、Mackerelチームディレクターのid:daiksy です。本稿は技術書典6にて頒布した"Hatena Tech Book"の原稿に加筆・修正を加えたものです。 「世はまさに空前の人工知能時代！」と言わんばかりに、昨今のIT関連のニューストピックには、AIや人工知能といったワードが溢れています。このような風潮ですから、開発チームを率いるマネージャの皆さんも、自分のチームで機械学習の開発にチャレンジする、といった事例が増えてくるのではないでしょうか。 私は現在、Mackerelチームのディレクターをやっています。Mackerelでは2019年3月に「ロール内異常検知」という機能をベータリリースしました。「ロール内異常検知」は、機械学習の技術を用いたサーバー監視の機能です。 mackerel.io ソフトウェア開発プロジェク
機械学習のビジネス上の価値を「効果測定」して「数値評価」する方法 - 六本木で働くデータサイエンティストのブログ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 気が付けば、日本における第一次データサイエンティストブームから6年、人工知能ブーム開始から3年が経ったようです。意外と言っては何ですが、これまでのところ人工知能ブームも、そしてそれにブーストされた形で起こった第二次データサイエンティストブームも、まだまだ続くどころかどんどん加速していきそうな状況です。 なのですが、これだけ統計学や機械学習のような高度なデータ分析技術がビジネスの現場に浸透するようになった現在でも、なぜかあまり多く見かけないものがあります。それは「機械学習（もしくは自動化された統計分析）によるビジネス上の成果を数値として示したもの」。意外かもしれませんが、個人的な観測範囲では例えば「Deep Learningを導入したら〇〇がXX%向上した」みたいなリリースや記事を見かけることは、正直なところ思った以上に少ないように思われます。それでも第
BASEを支える機械学習エンジニアチームをゼロからつくってきた1年 - BASEプロダクトチームブログ
出典： https://unsplash.com/photos/36Vbwo1OiZU BASEでData Strategyチームのマネージャーをしている鈴木僚です。 Data Strategyチームのミッションは、データを使ってプロダクトを成長させ、戦略的に事業を推進させることです。 EC事業では、オーナーズ（ショップオーナー）・購入者・社内メンバーの3者からなる膨大なデータが日々蓄積されています。Data Strategyチーム（以下、DSチーム）では、その3者に対して、より良い意思決定ができるよう機械学習を活用したソリューションを提供しています。例えば、直近ではオーナーズがより簡単にショップ運営ができたり、ショップと購入者のマッチングをより適切なものにしていくことに取り組んでおります。また、安心して購入者の方々にショッピングを楽しんでいただけるように商品の品質の自動チェックも始めてお
生データ使い放題？！ 「日本は機械学習パラダイス」になった ― DEEP LEARNING LAB 勉強会
ご注意：本記事は、＠IT／Deep Insider編集部（デジタルアドバンテージ社）が「deepinsider.jp」というサイトから、内容を改変することなく、そのまま「＠IT」へと転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 日本マイクロソフト主催の勉強会「DEEP LEARNING LAB： AI開発を円滑に進めるための契約・法務・知財」が1月25日に開催された。 AIに関する法的な課題となる事例や、AIを「発注するユーザー」と「作るベンダー」はどう契約を結べばよいのか、について、具体的にガイドラインを示しながら説明された。実際にAIを取り組もうとしている企業にとっては参考になる話が多く、筆者自身も大いに参考になった。 その内容をすべてお伝えしたいところだが、3時間ほどの長丁場であり、しかも残念ながら動画配信などもなかった
AI開発を円滑に進めるための契約・法務・知財
Semi supervised, weakly-supervised, unsupervised, and active learning
製造業における機械学習 - Qiita
目次 はじめに 背景 ・塗装業界で機械学習 ・量子計算機の新興企業の提携 製造業と機械学習企業の提携 製造業向け機械学習 製造業とIT企業との提携 おわりに ・深層学習読書会 ・・docker で機械学習 ・特許 ・・特許調査と製造業とIT企業の提携に焦点を絞っている理由 ・・特許組織別集計 ・情報収集 ・・WEBから伺える本気度。 ・・Webの確認作業 ・・備忘録 参考文献(reference) ・参考資料 on Qiita (references on Qiita) 文書履歴(document history) はじめに 2017, 2018 深層学習読書会と2019「量子アニーリングの基礎」 2017, 2018年と２年にわたり深層学習の読書会を開催し、名古屋地区の製造業の方とIT企業の方が参加されました。 「ゼロから作るDeep Learning ２自然言語処理編」読書会に参加する
ニュース記事からのトレンドキーワード抽出〜サービスインまでをふりかえる - Qiita
こんにちは。 NewsPicks アドベントカレンダー 2018 23日目 を担当する打田です。NewsPicks では，サーバサイド開発（＋ときどきフロント）と，検索サービスの開発運用を担当しています。個人では，python製の形態素解析ライブラリ や Apache Lucene の GUI ツール を開発・メンテしたり，少し前には Apache Solr の本を執筆（共著） したりしています。 [お知らせ] トレンドキーワード機能をリリースしました！ NewsPicks では，これまで Pick された全ニュース記事の検索機能を提供していますが，先週，Web 版 NewsPicks の検索補助機能として，「トレンドキーワード」機能をリリースしました。これは，いまホットな話題に関連する単語を，検索キーワードとしておすすめする機能です。 Web 版 NewsPicks にアクセスして左上の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ml-tooling/best-of-ml-python: 🏆 A ranked list of awesome machine learning Python libraries. Updated weekly.
Learning Machine Learning | Cloud AI | Google Cloud
GitHub - sql-machine-learning/sqlflow: Brings SQL and AI together.
Amazon SageMaker で実現する生産性の高い機械学習基盤 / #AWSDevDay - Speaker Deck
