データの民主化とこれからのAI組織｜ばんくし

はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リードしていく事は間違いないと思う。 そんな中で、我々機械学習エンジニアやデータサイエンティスト、アナリスト、データエンジニア、MLOpsエンジニアみたいな、いわゆるAI屋として働いている人たち、皆が所属するAI組織ってどうなっていくのかな、という話を書いてみる。 データの民主化AIの民主化とデータの民主化AI業界では「AIの民主化」というワードがある。 便宜的にAIというワードが広く使われるようになった辺りで出てきたワードで、OSSやプラットフォーム、ハードの発展によって「A

[razokulover]

Prompt Engineeringってもうすでにそういう求人が出来てきてるくらい浸透してるんだ…。

[napsucks]

強いAIは世に1つあれば充分であることはそれに近しいchatGPTが登場するまで盲点だった

[T-norf]

“データを全て、良い感じに捉えてくれる大規模モデルによってEmbeddingにしてしまって、GCPのVertex Matching Engine辺りに突っ込んで” のあたりとか、AI専門家より、なんとか理解して全体設計できる人材需要が爆裂すると思う

[esuji5]

話はいいんだけど、「データの民主化」は企業内のデータを社員が扱えるようにデータエンジニアが中心に頑張る活動を指す用語として既に使われてるので、違う言い方が欲しいかなと思う

[tettu0402]

民主化の前提で、それもあって特定ドメインにおけるデータを独占的に有している事業者の価値が上がっていくと思う。

[georgew]

実はAIよって仕事を奪われているのはその辺に転がっている私を含む多くのAI屋なのではなかろうか > 鋭い。これですよ、これ。想定を超えてあっという間にコモディティ化したAI。

[iwanofsky]

“点数というよりビジネスコミュニケーションが価値になる” んだんだ

[havanap]

自動車産業とか飛行機産業なんかも黎明期は零細企業が乱立してたけどだんだん投下資本が巨大になっていくにつれて合併が進んで系列化大資本化が進み、零細企業はメンテ屋とかカスタム屋みたいな道の感じが

[tako-two]

組み込みソフトもノーコード化が進んでエンジニアの需要が減ってしまったけど、AI屋も厳しいことになりそうなのか

[diabah_blue]

「90点からの1点の価値がシビアに」のところ、どきどきすることが書いてある。がんばっていきましょう。

[egamiday2009]

“1企業が必死にデータを集めなくても、それ以上の公開された大量のデータを学習し分布を上手く捉えた大規模モデルがあれば十分という世界観が来るのではというのが「データの民主化」”

[igrep]

“プロンプトエンジニアリングからAutoML、... といった、これまで業界が積み上げてきた所との乖離はより大きくなりそう ... ノーコードツールからの移行の時のように、その差分には大きなお金が発生しそう”

[nilab]

データの民主化とこれからのAI組織｜ばんくし｜note

[l-_-ll]

“Google BigQueryエンジニアによる「Big Data is Dead」って話もあって、殆どの企業では直近の数日データくらいしか扱う能力はそもそもなく、ビッグデータを集める価値も薄いとされてきている。”

[mookie]

“ChatGPT APIではEmbedding生成が扱える。” マジでか、今やっている検索周りの仕事のやり方が根本的に変わるのでドキドキする。Embeddingへの流れが加速していて、キャッチアップする自信がない

[kndkndknd]

]

[buhoho]

プロンプトエンジニアリング笑。って笑ってたのに、本当に実在するんか！？

[tkeisuke3]

ここ数年はモデリングはコモディティ化してデータこそ価値の源泉と言われてた時代だったけど、それすらもう終わるのか。早すぎる。

[misshiki]

ふむふむ。現職やこれから目指すデータサイエンティストやAI（機械学習）エンジニアがこれからの業界をどのように考えているかが気になる。

[jassmaz]

ばんくし氏はその辺に転がっているAIエンジニアではないでしょう！笑　むしろ彼のバリューがよりが上がっているのが実情だと思う。

[soyokazeZZ]

段々基盤と応用に分かれていくのかな。インターネットというインフラとその上にあるサービスみたいな。

[qpci32siekqd]

話題から見えてるのがWeb、ニュース、プログラムの一部しか無いと思っているが…。

[nakag0711]

公開データを学習しつくしたら頭打ちになるはず

[oinume]

技術がわかりやすくまとまってる

[sds-page]

自分の絵をAIに学習させたくない絵描きの反応はまぁまぁ正しくて、データをオープンにしないで大量に集めて非公開のドメイン特化モデルを作れる企業が他社を出し抜ける。ビッグデータの価値はより重要になるよ

[shiketanotsuna]

いい転職先をAIに聞こう

[iwtn]

どのぐらいのデータがオープンで、そうでないのはどれぐらいか。クローズドなデータが無いと適切な答えが出せない場合は多いのではないか？いわゆる「場合に依る」ってやつ。まあ事前読み込みもできるから無問題？

[elm200]

とても良い。私も似たようなことを考えていた。「プロンプトエンジニア」という生成型AIとおしゃべりする職種が爆誕。ただこの「職種」もいつまで続くことか……。

[neko2bo]

“Prompt Engineering”って言うんだ。

[mangakoji]

プライバシーは既得権者をより利する。って気がついたってこと？(読んでない)

[Cru]

民主化なのか？米国の寡占企業による支配じゃね？スケーリングローもあるし…。Amazonのような本国にもろくに納税してないような企業の支配がすすむと再配分に留まらず社会インフラにすら影響がありそう

[kotetsu306]

「90%の精度」がしれっと「90点」にすげ替わってるな。試験の点数なら90%正解すれば90点だろうけど、仕事で10%間違えるやつに90点をあげられるか？

[enemyoffreedom]

「直近AIでクリエイティブな人の仕事が奪われているどうのこうの議論しているが、実はAIの発展によって仕事を奪われているのはその辺に転がっている私を含む多くのAI屋なのではなかろうか」

[trace22]

結局データの取りやすいとこからAIにしますってだけだろうけどな

[puhu208n]

とりあえず当座は推論にメモリ40GB(4bit量子化の場合)の計算機、学習にはその数桁上のGPUが必要なんで、RapidusがDDR4 (SO)DIMMが刺さるGPU作ってくれんかと思っている