機械学習案件を納品するのは、そんなに簡単な話じゃないから気をつけて - Qiita

はじめに 昨日のTwitterで書いたこちらが非常に反響を呼びました。 半年間かけたデータ解析の仕事が全くうまくいかなかった 今回の失敗は契約書に納品物を明記していなかったこと 機械学習の依頼は学習済みモデルのファイルを納品しただけでは、先方は検収できず、結果支払いを受けられない この教訓をひとりでも多くの人に知ってもらいたい — キカガク代表 吉崎亮介 (@yoshizaki_kkgk) 2017年11月20日 そうなんですよね。 全く先方が悪いわけでもなく、私自身が「機械学習のお仕事＝解析」だと思いこんでいたことが失敗の始まり。 結局のところ、機械学習系のプロダクトを依頼されて、学習済みモデルを作成して即納品とはいかず、検証結果を示されないと検収できないよとなってしまうので、結局アプリケーション側まで組み込まないと納得感はないんですよね。 この検証とは、訓練データと検証データを分けた時

[Lambda_groove]

慣習が無い新領域に百点満点の契約なんて存在しない。こうやって失敗談を共有してくれる人がいてよりいい契約が結べるようになる。思えばホームページ制作もSEOも始まった頃の契約はカオスだった。

[baronhorse]

外注でやることではない気がしてる

[motchang]

検収仕様が無かったってだけで機械学習関係ないじゃん。だめだよ発注（受注）で手を抜いちゃ。

[Fushihara]

会社名出した失敗談ほど貴重な知見は無い。機械学習案件が という主語が間違ってる事なんてどうでもいいレベルで

[snuffkin]

こういうのを公開する姿勢は素晴らしいと思います。ただ、「今回の失敗は契約書に納品物を明記していなかったこと」は、そもそも機械学習かどうかに関係なく問題ですよね。。。

[khtno73]

SIerで既存のDWH/BIですら「顧客が回せるまで」は手離れ悪く、検収条件はダッシュボード、特定帳票まで。マートETL変更は別途有償。分析操作はメーカー研修案内や保守料でカバーみたいに決める。MLはこうなりそうで怖い。

[hajimechan0323]

請負契約？にしたらだめな領域かと。準委任で、あくまでコンサル的な立ち位置にすべき。

[wyukawa]

普通の受託案件でさえ難しいのに機械学習なんてなおさら難易度高そうだよなあ。本来なら受託でやるべきじゃないだろうし、万が一やるにしても人月ベースでお金もらう話かな。

[shozzy]

これまでにSIer(上流)で苦労してきたオジサン達の知見が役に立ちそう。／ビジネス側の人(顧客)とエンジニアって、驚くほど会話が噛み合わないので、翻訳者になれる人が"一緒に参加する"のは重要。間に入るのはダメ。

[restartr]

現状こういう受託案件をうまくやりきるのは難しそう。お客さんと研究開発として取り組めたら理想なのかな。

[shogen2018]

仮の検証を行うためのDockerコンテナsの仕組みの図が参考になった。

[mmassatto]

案件とみたときにいろいろ考慮点が出てくる、の話

[tomute]

最近似たようなことやってるけど「納品物を明確にしておきましょう」は大事。

[mzi]

大変だよねぇ。

[luccafort]

これ読む前から感じていたのだけど受託開発は人類には難しすぎるのでは？機械学習みたいな継続的に行うことで初めて価値が出るタイプのプロダクトは受託では成果が測れずに難しすぎると思う。

[shopetan]

学生でこの手のＭL受託やるときは仮に時給2,3000円でも安いからやめた方がいいですよ 精度は保証しない 納品物は決定する やる事とやらない事を文章化する 擦り合わせしないと両者不幸になる

[pmint]

契約とは / 成功報酬が当たり前と思ってるあたりがブラック臭い。/ どうも「検証データ」が自分で用意したデータっぽい。いろいろとなってない。悪質な顧客に気付いてない点も。

[l-_-ll]

顧客が求めていたもの

[ropponzo]

機械学習案件は未来のデータについての精度を一切保証しない方が良い。そもそも精度を仕様に含めるべきでない。同様にWebクローリング案件も、何月何日のページ構造に対応するのか明記しとかないともめる。

[odz]

PoCという認識が双方にあるなら、普通、準委任契約にして業務完了報告書に評価報告書くっつけたものを納品して終わりじゃないですかね。良い結果が出る前提で走るのお互いに良くない。

[rryu]

「PoCを回す」のレベル感をちゃんと定義しておかないと実データで自動で検証する仕組みを作るところまでレベルアップしてしまうということなのか。

[blockchain-bitcoin]

どう考えても受託に機械学習案件は向いていない

[masadream]

納品物も検収要件も決めずに契約したんか。。

[osnq]

納品物と検収条件が決まってないのおかしいと思うのですが...

[pechiyon]

検修という最終のゴールが大事

[Kil]

いや、これはごねられた案件に入ると思う。「信用はしているのですが、嘘か本当かがわかりません。」と言われたら、「嘘だという根拠が出せるなら法廷へどうぞ、でもとりあえず代金いただきます」と返すのが本来。

[ytn]

機械学習とか関係なく契約やビジネス音痴なだけだった

[lacucaracha]

普通は準委任だよなあ

[airj12]

受託側のスキルだけではどうにもならない領域がある機械学習案件を業務委託でなく請負でやるのはリスキーすぎる

[uturi]

納品する内容を定義しないままで始めちゃったのが失敗なんだろうなぁ。こういう失敗談はありがたい。

[kastro-iyan]

今の所は内製化しないと無理としか思えない／AI案件って要件が決めづらそう

[n314]

PHPerとしては最初の段階からWeb運用で作ること前提で考えちゃって大変さがイマイチ分からなかった…。

[bakebakebake]

Webシステムやアプリより品質保証が難しいから出す方も受ける方も大変そう

[nanoha3]

ふんわりとしか納品できないものを納品定義するの難しいからな。。。

[yuno001]

お客さんの求めるもの100%はまた失敗する希ガス。

[dekasasaki]

機械学習とかAIのようなシステムを導入するにあたってROIを見たらアカンってのがあったけど、根っこが近いような気がする。っていうか、素人さんになっとく割いてもらうの極めてしんどい。役員クラスなら余計に。

[masayoshinym]

既出だけど準委任でやる案件だよなぁ。契約の問題で、機械学習云々もあんま関係無い気がする。

[linkuru8]

#fb

[koyancya]

"「肌感でどう？」"

[medihen]

現実の商談における、機械学習のプロダクトの開発～納品フロー。