機械学習でなんとかしようと安易に考えるな - Qiita
世の中にはよい機械学習の結果が存在する。高い精度で推論（分類・検出）できるものがある。 だから、データの特性が、元々の想定から変わった時にも「機械学習だから、学習させればなんとかなるよね」と期待する人がいるかもしれない。 この文章は、そのような安易な考え方に立つことを戒めるために書く。 (もちろん、機械学習は今までになかった価値をいろんな分野にもたらす可能性が極めて高い。) (主張したいことは、 ビジネスとして見返りが期待できる内容の機械学習をすること。 100%の精度が期待できる機械学習は、そんなに多くない。それでも見返りが期待できる使い方をしてほしい。 1人のエンジニアに支援なしに丸投げするのではなく、チームとしての支援が有効であること。 最初の問題設定を疑ってかかること。手書き文字認識の強化で宅配便の伝票をなんとかするよりは、手書きを必要としない方がいい。 ) garbage in
形態素解析の精度向上を頑張った話 - Leverages データ戦略ブログ
はじめに こんにちは。データ戦略室データエンジニアリンググループの森下です。 普段はデータエンジニアとして、主にデータ活用基盤の保守運用や機能追加、ツール開発やデータ抽出・可視化といった業務を行っています。もともと機械学習への興味はありましたが、本記事の内容以前では、業務で使用したことはありませんでした。今回、初めて機械学習の業務を経験する事ができ、非常に多くのことを学ぶことができました。本記事は未経験者の奮闘記となりますので、これから機械学習を学ぶ方・業務に活かす方にとって参考になれば幸いです。 経緯について データエンジニアとしてデータ活用基盤の構築や保守運用をしていく中で、機械学習へのデータ活用は自然と考える部分です。しかし、書籍やチームの勉強会で機械学習について少しずつ学んではいるものの、業務で機械学習を使用したことはありませんでした。 そのような状況の中で、機械学習の業務に携わり
七声ニーナを支えるバックエンド技術 | BLOG - DeNA Engineering
データ統括部AI基盤部の竹村( @stakemura )です。本記事では、このたびリリースされた、自分の声をキャラクターの声に変換できるWebサービス VOICE AVATAR 七声ニーナ を支えるバックエンド技術についてお話しします。 本サービスはDelight Boardという部署横断型のプロジェクトにて、1000人を超える社員投票により自分の案がまさかの採択となったことがきっかけとなります。幸運にも、百戦錬磨のプロジェクトメンバーに助けられ今日のリリースを迎えましたが、採択当時は人脈も信用貯金も何もない入社一年目の思いつきにすぎず、言い出しっぺである自分の力不足によりタイトなスケジュールでの開発となってしまいました。本記事では、その限られた開発期間の中で、自分が何を考えて実装したかを中心にお伝えします。 サービングに求められる要件 七声ニーナの音声変換はブラウザから受け取った入力音声
データサイエンティストの終わりなき戦い - Qiita
はじめに 筆者はかつてデータサイエンティストだった者です。 統計や機械学習をバリバリ使いこなしてデータを分析し、将来の売り上げ予測や要因分析、施策の効果検証などをすることに憧れてこの世界に入りましたが、そうした時間は全体の1割ほどに過ぎず、残り9割の時間の戦いに疲れて戦場を後にしました。 なぜデータサイエンティストは戦わなければならないのだろう。 おそらく一因としてあるのが、データサイエンティストという言葉がバズワード化しすぎてしまったせいで、その定義の輪郭が失われてしまったことだと思います。 整理された定義は、言わずと知れた尾崎隆さんのデータサイエンティスト・機械学習エンジニア・データアーキテクトの定義とスキル要件（2021年版）に記載されています。 しかし、専門家でも意見が別れる定義を素人がはっきりと分かるはずもなく、過度な期待が寄せられることで討死してしまうデータサイエンティストが少
精度向上のために機械学習プロダクト全体をフルスクラッチで書き直した話
2020年7月から医療スタートアップのUbieで機械学習エンジニアをしています。ようやく入社から半年くらいが経ちましたので、ここ最近やっていた仕事として、機械学習プロダクトの精度向上のためにシステム全体をフルスクラッチでかつ一人で実装し直した話をしたいと思います。 機械学習は既に様々な会社でプロダクトに組み込まれ始めていると思いますが、サービスとしてのリリースや長期運用、そして今回お話する継続的な精度向上とリファクタリングについては、公開されている知見はまだまだ少ないと思います。もし同じような境遇の機械学習エンジニアの方への参考になれば幸いです。 tl;dr 精度向上のために、機械学習プロダクト全体をフルスクラッチで書き直した 開発スピードを上げるためには、既存のコードを流用するより新規で書き直すほうが良いような特殊な状況だった 機械学習タスクの実装は、可視化やテストなどを活用しつつ小さく
機械学習エンジニアからソフトウェアエンジニアになって1年経った - たいむかぷせる2
はじめに ユーザーに近い機械学習プロダクトのむずかしさ サービス開発のスピード チームで開発するということ ソフトウェアエンジニアは楽しい？ 実際にユーザーに届くということ これからのこと はじめに 「そういえば，来期は1年間ソフトウェアエンジニアをやっていただきたいんですが」と当時のマネージャーに言われてから1年になる。その頃の私は機械学習エンジニアとして着実に成長はできていたのだと思う。実際に機械学習プロダクトを本番環境に投入することができていたし，機械学習のモデル構築以外にもデプロイ周りやインフラ周り，データベース周りといった知識も身につけることができていた。けれど「もっとユーザーに近いところで仕事がしたい」という思いも持っていた。 ユーザーに近い機械学習プロダクトのむずかしさ 機械学習プロダクトをユーザーに近いところ，つまり実サービスに投入するのはむずかしい。そもそも機械学習プロダ
MLOpsに必要な情報全部BigQueryに置いたら想像以上に捗った話 - Qiita
本記事はMLOps Advent Calendar 2020の13日目の記事です。 こんにちは。昨年本番環境のComposerでやらかしちゃった人です。今年は比較的平穏に機械学習を使用したサービス開発・運用に携われています。 携わっているサービスの1つで「MLOpsに必要な情報BigQueryに全部おいてみた」ところ想像以上に便利だったので、その方法について共有させてい頂ければと思います。 なお本記事でのMLOpsは 予測モデル/ハイパーパラメータのバージョン管理・デプロイ履歴管理 推論結果の精度監視 + 入力データの傾向監視 を指しています。 特に今年はコロナでビジネス環境が日々絶えず変化しているため、これらの施策がサービス品質担保に大きく貢献してくれました。 背景 毎日一回24時間先までバッチで未来予測し、結果をAPIサーバーにキャッシュする単純なMLサービスに携わっています。なお、予
キユーピー、AI活用に成功した4つのワケ。食品の原料検査の事例から考える | Ledge.ai
キユーピー株式会社 生産本部 未来技術推進担当 テクニカル・フェロー（兼）未来技術推進担当 次世代技術推進チーム チームリーダー 荻野武（おぎのたけし）氏 「AI活用事例を聞く」では、製造や建設、金融、不動産、エンタメなど、さまざまな業界における人工知能（AI）活用について、各企業の担当者に聞いていく。 AIは日々、関連ニュースを目にすることはない日はないほど、熱い注目を浴びている。一方で、実際のビスネス現場での活用にはなかなか結びつきにくい状況と言える。 そんななか、キユーピー株式会社では、チャットボットを使った顧客対応など、さまざまな場面でAIを活用している。すでに社内では10数件のAIが稼働しており、現在でも数10件以上のAI活用プロジェクトが動いているという。 「AIを活用した原料検査装置をグループに展開」より なかでも、キユーピーが手がける食品の原料検査装置は注目度が高い。AIに
第1回勉強会：なぜ今MLOpsなのか、先駆者や実際の現場からMLOpsを学ぼう
連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps（機械学習の実運用化）の普及に貢献していきます。 このレポートでは、2020年8月に行われた第1回勉強会の様子をお伝えします。300人以上の参加者がリモートで参加し、大盛況のイベントとなりました。当日の様子はツイッターでも盛んにつぶやかれ、こちらにそのまとめがあります。 なぜ今MLOpsなのか by シバタアキラ はじめに、オーガナイザーチームの一人である、DataRobot Japanのシバタアキラから、なぜ今MLOpsが注目されているのかをお話しました。まず300人以上にGoToWebinarのアンケート機能を使って質問しました
freeeのAIチームが作り上げた、チームの力を最大限に生かすための機械学習基盤とは
freeeのAIチームが作り上げた、チームの力を最大限に生かすための機械学習基盤とは：特集：2020年、AI活用の成否を分かつ技術とは（3）（1/2 ページ） 「最新の進化を取り入れ、freeeという企業の今のステージに適した機械学習基盤を目指した」。freeeのAIラボで機械学習基盤の構築を主導している田中浩之氏はこう話す。では、freeeの今に適した機械学習基盤とは、どのようなものなのか。 freeeで機械学習／AIによる推論サービスを担当しているAIラボでは、チームで利用する機械学習インフラ基盤を構築し、2019年後半に運用を開始した。基盤構築の中心となっている田中浩之氏は、自身が以前、自然言語処理の研究を始めたころを振り返り、機械学習を支援する技術が驚くべき進歩を遂げたと話す。 「当時はC言語で一からアルゴリズムを書いていた。今はそのようなことがなくなり、1日あるいは半日でプロトタ
ほぼすべての機械学習プロジェクトのためのタスクチートシート | AI専門ニュースメディア AINOW
著者のHarshit Tyagi氏は、インドでデータサイエンスに関するインストラクターをしています。同氏がMediumに投稿した記事『ほぼすべての機械学習プロジェクトのためのタスクチートシート』では、機械学習モデルを構築するにあたって必要なタスクがリストアップされています。 学習データの取得やAIモデルの訓練といった固有なタスクを含む機械学習モデルの構築には、様々なタスクを実行する必要があります。こうしたタスクを、同氏は以下のような8つにステップに分けてチェックリスト化しました（具体的なチェック項目については、本記事本文を参照）。 問題の定義と開発アプローチの検討 データソースの特定とデータの取得 学習データの特徴に関する分析 学習データの変換やクリーニング ベースラインモデルの開発とベストモデルの探索 ファインチューニングとアンサンブル学習の検討 開発資料の文書化とプレゼン資料の作成 機
とあるAIプロジェクトの失敗とそこから得た鬼十則 - Qiita
私自身もこういったアンチパターンに遭遇し失敗した経験がある。 冒頭にあげた鬼十則はその反省から生まれたものであるが、ここからそれぞれの項目を解説していきたい。 1. データは自ら集めるべきで、与えられるべきではない 主人公の「データがないから開発できない」の発言は間違ってはいない。しかしデータがないと嘆くのではなく、そのデータを取りに行く努力が必要である。昨年データサイエンティスト界隈で話題となった『アルキメデスの大戦』では上のいざこざでデータ（設計図）が手に入らない時、自らデータを集めて突破口を開くエピソードが綴られている5。この姿はまさに理想のデータサイエンティスト像といえるだろう。データ収集の壁は数多く挙げられるが6、その壁を乗り越える努力を怠ってはいけない。自らが安心して開発を進めるためにも、データ取りには十分に入り込んでいくべきである。 2. 目標とは、先手先手と働き掛けていくこ
メルカリのデータ分析を支える機械学習システムのデザインパターン
データ分析基盤の構築について共有するTECH PLAY主催のイベント「データ分析基盤Developers Night〜」。第4回となる今回は、「活用されるデータ基盤」がテーマです。メルカリでの機械学習を用いたデータ分析基盤の活用について、澁井雄介氏が登壇し知見を共有しました。 ※新型コロナウイルス対策のためオンライン開催に変更されています。 機械学習とシステムデザイン 澁井雄介 氏（以下、澁井）：メルカリの澁井と申します。今日は「機械学習とシステムデザイン」というテーマで話させてください。 先ほどマクロミルさんがデータ分析基盤の話をされましたが、私はデータ分析基盤の出口のほうでやっている機械学習とそれによるサービスの改善をやっています。出口のほうでどういった仕組みを作っているのか、メルカリの事例から共有できることをお話したいと思っています。 まずは自己紹介をさせてください。澁井と申します。
ベイズ理論を使いこなすAIエンジニアが語る「機械学習」に必要な粘り強さとは | エスタイルAIメディア
最近、「ディープラーニング」という言葉を耳にする機会は増えていますよね。ディープラーニング(深層学習)とは、人間が自然に行うタスクをコンピュータに学習させる機械学習の手法の一つで、近年開発が進む「自動運転」の技術もこの手法がカギを握っているとされています。では、「ベイズ理論」という言葉を知っている方はどのくらいいるでしょうか。確率論に基づいて統計的にデータを解釈する理論のことで、一見すると機械学習やディープラーニングとは関係ないようにも見えます。 そこで、今回は統計や機械学習、AIのブログ「作って遊ぶ機械学習。」を執筆し、ベイズ統計学・機械学習・ディープラーニングについての著書もお持ちの須山敦志さんに来ていただいて、ベイズ理論とディープラーニングの関係性や機械学習を学ぶうえでのポイントなどを解説してもらいました。誰もが聞いたことのある機械学習と統計手法であるベイズ理論がどのように関係してい
はてなのMackerelが明かす、機械学習プロジェクトに潜む2つの「不確実性の山」を乗り越えるコツ
機械学習（ML）や人工知能（AI）には何となくかっこいいイメージがある。ただ「その開発はとても泥臭いもの。そして、新しい分野だけに、従来のソフトウェア開発のアプローチとは別の考え方をする方がうまくいくのではないか」――2019年8月29～31日に開催された「builderscon tokyo 2019」のセッション「われわれはいかにして機械学習プロジェクトのマネージメントをすべきか」で、はてなの粕谷大輔氏（@daiksy）が登壇。主に、サーバ管理／監視サービス「Mackerel（マカレル）」のディレクターとしてML技術の開発に携わった経験を踏まえながらML技術の開発における「不確実性」のマネジメント術を説明した。 「ソフトウェア開発のマネジメントとは、不確実性の制御である」と、粕谷氏が指摘するように、ソフトウェア開発はさまざまな不確実性をはらんでおり、予想通りに進捗（しんちょく）することは
複数の機械学習モデルが動くシステムをモデルごとにマイクロサービス化したお話 | メルカリエンジニアリング
はじめまして。メルカリのAIチームでSysMLエンジニアをしているChicaです。 SysMLという言葉はあまり馴染みがないかもしれませんが、「Systems and Machine Learning」の略で、AIを実際にサービスに組み込むためのミドルウェア・インフラを整備することを言います。 メルカリではAIを使った多くのサービスが動いていますが、今回はその中でも特にたくさんの機械学習モデルが動いている違反出品検知システムをモデルごとにマイクロサービス化したお話を紹介します。 メルカリで動いている違反出品検知システムとは メルカリには禁止されている出品物に記載しているように、出品していただくことのできない(例えば現金のような)アイテムが存在します。対象のアイテムが出品されてしまったときに、間違って購入されないようCS(カスタマーサポート)チームが監視しています。 AIチームでは、CSチー
AI・機械学習チームにおけるデータパイプライン構築
WSDM 2018 論文読み会 Hyperbolic Representation Learning for Fast and Efficient Neural Qestion Answering
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドでの機械学習開発フロー/ml-ops-in-cookpad
DWHを活用した機械学習プロジェクト/ml-with-dwh
AI/MLシステム開発の難しさ
