noteの機械学習フローを共通化してレコメンデーションで成果をあげた話｜やすけん / yskn67
こんにちは．noteの基盤開発グループ機械学習チームに所属している安井です．普段は機械学習を活用したシステムの開発から運用までトータルでおこなっています． noteでは記事の分類やレコメンデーションに機械学習を用いて作成されたモデルが使われています．いくつか例を挙げますと，noteに投稿された記事をカテゴリごとにまとめて見るために，記事をカテゴリごとに機械学習で分類しています．また，”あなたへのおすすめ”としてユーザごとにパーソナライズされたおすすめ記事をとどけるためにも機械学習が活用されています． (図1)noteにおける機械学習の活用箇所それらサービスで活用されている複数の機械学習モデルには記事の内容から分散表現を獲得する似たような仕組みが存在しました．今回はそれらを共通コンポーネントとして切り出し，分散表現を推論・保存まで行う仕組みを構築しました．また，その分散表現を活用したレコメン
データレイクハウス + 機械学習基盤 on Azure - Qiita
はじめに こんにちは、イトーです。 「データ基盤が未整備だけどデータを CSV で貰って機械学習して、良い感じのモデルができた。本番投入どうしよう」というような状況の案件に支援に入ることが今年何度かありました。このような場合には運用を支える基盤が必要になるのですが、今のところデータレイクハウスと機械学習基盤の組み合わせから始めるとなかなか良いのではないかと思っており、今日はこの組み合わせで Azure 上にデータ処理基盤＆機械学習基盤を実装してみようと思います。実装をしている時間がなくなってしまったので概念の説明だけしようと思いますすいません。 アーキテクチャ データレイクハウス概要 データレイクハウスは、データ処理エンジンから直接アクセス可能な低コストなストレージを中心に据えたデータ管理アーキテクチャです。 「データ処理エンジンから直接アクセス可能な低コストなストレージ」は、技術的にはデ
デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々
sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜4000core 分岐処理は苦手 行列演算に向いている GPU製品 NVIDIA Tesla HPC向けにGPUシリーズ NVIDIA GeForce GRID クラウドゲーミング向け AMD FirePro NVIDIA Tesla API CUDA OpenCL DirectCompute CUDAのアーキテクチャ CPU(ホスト)からGPU(デバイス)にデータを転送 GPUで処理 GPUから
Spark+AI Summit 2019参加レポート at San Francisco — Spark3.0/Koalas/MLflow/Delta Lake
こんにちは，NTTの山室です． 今回の記事は4/23–25にサンフランシスコで開催されたSpark+AI Summitの参加レポートになります．興味のある情報への良い足がかりになることを目的に，個人的にチェックした内容を浅く広めに取り上げます． 以下の公式サイトに大半の発表資料と動画が公開されていますので，興味がある方はそちらも併せて参照してください． Spark+AI Summit 2019 Agenda Summitの翌日に訪問した会場近くのDatabricks社Spark+AI Summitは現在年に2回アメリカ西海岸とヨーロッパで開催されているDatabricks（Sparkの作者が在籍する企業）主催のイベントです．特に毎年サンフランシスコで開催されるSummitは規模が大きく，今回世界中から5,000人を超える参加者が集まったそうです． この記事では個人的に興味を持った以下の内容
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
2019年4月16日（火）開催「PyData.Tokyo Meetup #19 SysML」の発表資料。 データ活用施策を実サービスに組み込むには、データサイエンス・機械学習のスキルだけでなく、エンジニアリングスキルも必要です。そのため、毎回データサイエンティスト・エンジニアの工数が発生して施策がスローダウンしたり、そもそも実施を諦めることてしまうことも少なくありません。私たちリクルートライフスタイルの CET チームは、この問題を解消するため、データ活用のための統一基盤を開発・運用しデータサイエンティストだけで施策を実施できる環境を整えています。本セッションでは、その基盤がどのように構築されているのか、また実際にどのような施策が実施されているのかを具体的にご紹介します。 https://pydatatokyo.connpass.com/event/123479/Read less
ユーザー行動が成す力学系の実現と それを用いた推薦システムを支えるAWS アーキテクチャ - Speaker Deck
All slide content and descriptions are owned by their creators.
Gunosy における AWS 上での自然言語処理・機械学習の活用事例
2. Copyright© Gunosy Inc. All Rights Reserved 2 ⾃⼰紹介 ⼤曽根 圭輔 @dr_paradi 博⼠ (⼯学) 主な業務: ニュースパス(明⽇でリリース1周年！) のユーザ⾏動分析、記事配信アルゴリズム構築 ⼤学時代の専攻: ⼈⼯知能の氷河期に ファジィ理論の応⽤をやってました 3. Copyright© Gunosy Inc. All Rights Reserved 3 株式会社Gunosy –「情報を世界中の⼈に最適に届ける」 Gunosyは 情報キュレーションサービス「グノシー」と 2016年6⽉1⽇にKDDI株式会社と共同でリリースした 無料ニュース配信アプリ「ニュースパス」を提供する会社です 「情報を世界中の⼈に最適に届ける」をビジョンに活動しています ネット上に存在するさまざまな情報を、 独⾃のアルゴリズムで収集、評価付けを⾏い ユ
Kubernetes を利用したコンテナベース機械学習基盤の構築 - LIVESENSE Data Analytics Blog
データプラットフォームチームの野本です。機械学習基盤の構築やその周辺アプリケーションの実装を行っています。以前は DOOR 賃貸の開発運用をしていてこんなことなどしてました。 機械学習システム運用の課題 リブセンスでは 2014 年ごろから機械学習システムの開発導入を行っており以降様々な機械学習システムを各サービスに導入してきました。また自社でのデータ分析基盤の運用も行うようになってから機械学習システムの開発の幅が広がり導入の要望も次第に増えてきました。(参考:リブセンスのデータ専門組織のこれまでとこれから) 当初は機械学習システムに対する運用知見などが少なかったため、専用のインフラというものは保持せず各サービスのインフラに相乗りし、サービスのアプリケーションと密に連携し機械学習システムを実装運用することが多かったです。各サービスは元々オンプレミスで運用されていたものが多かったのですが、現
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubeflowで何ができて何ができないのか #DEvFest18