「雑用扱いで名前もない」 データ分析の土台を支える“SQLを叩く人”の重要性を問い直す

「雑用扱いで名前もない」 データ分析の土台を支える“SQLを叩く人”の重要性を問い直す：これからのAIの話をしよう（データ整備人編）（1/3 ページ） データ分析をする上で欠かせない「データ整備人」とは、どんな役割を担う人なのか。ないがしろにされがちなデータ整備人の仕事について、データ分析の専門家が解説します。 多くの企業がデータの分析・活用に取り組んでいますが、その中で抜け落ちがちなのが、データ整備の視点です。データベースからデータを抽出・集計して分析者に渡す作業は地味に見えますが、データ分析の土台を支える極めて重要な仕事です。 この役割は、戦争でいうところの「兵站」（へいたん）に当たるほど重要なのではないか――データ分析に関する情報発信を続けるしんゆうさんが、自身のブログでこう問いかけた所、予想以上の反響があったといいます。 ※兵站：戦場で、前線の部隊のために軍需品や食料などの供給・補

[htnmiki]

それも含めてデータサイエンティストの仕事なのかと思ってた

[Dursan]

普通に考えりゃさ、料理人が農家や漁師（猟師）より偉いなんて考える方がおかしいわけですよ。

[airssk]

合わせて、システム要件におけるデータベースとデータ分析におけるデータベースは求められるものが全然ちがうことももっと広まって欲しい

[jt_noSke]

わかる(わかる)

[laranjeiras]

生データから分析まで全部やると分かるけど、どのデータをどう抽出してどう加工するかがキモなんだよな。分析＝レストラン、データ＝畑とすると、青果市場のようなもの。市場の品揃えが料理を左右するんだよ。

[hunhunki]

かつてそういう職種だった。社内での扱いにいつもモヤモヤしてたから、記事読んで同じような人たちがたくさんいるんだなってホッとした。

[Guro]

えー。私の日常業務（の一部）、そういう職があるのかー。

[YukeSkywalker]

わかりみ深い

[doas1999]

この人"SQLを叩く人"の話なんてしてなくない？課題・目的設定とデータ収集・分析を、横断して考えられる人が大事って話をしていると思う。

[Gucchan]

あーーー、わかるぅ。。。 日本は特にそうなんだろうなぁ。海外だとDSの前にBIの潮流があったし、DB整備の素地から違いそう。

[simomm]

データを抽出・集計して分析者に渡す人を「データ整備人」「データアーキテクト」と呼ぎ、データアナリストやデータサイエンティストやデータエンジニアとは別の職種と定義。

[neco22b]

SQL職人

[metroq]

名前の無い仕事だ

[Nihonjin]

「そもそも情報はサブ的な立ち位置で、メインストリームにはならないんです」

[impreza98]

データ収集基盤の構築、データレイクのメンテナンスがあって初めてデータの見える化や分析ができるんだけど、そこ理解できてる人ってめちゃくちゃ少ない（クラウドである程度自動化できるつっても限度があるのだ

[akatakun]

料理を作るシーンを見て「僕も何かの料理を作りたい！」と言うようなものでしょうか。さまざまなスキルが要求されますが、そもそも何の料理を作るのかを決めないと適切に準備できません。

[findup]

必要だけど地味な作業が評価されず、キラキラした表舞台で派手に立ち回れるエンジニアがちやほやされてるのがって話なのかな。

[richard_raw]

「データ整備人」

[daybeforeyesterday]

うーむ

[name-25137412]

とても正しい / 「意思決定者の要求に基づいて、データを収集し、分析、洞察をして伝達する」あと考えなきゃなのは、ここで言う"意思決定者の要求"がダメダメな場合の立ち回りかしら

[akulog]

わかるんだけど、Active Record的なwrapperとかアプリでやるべきところを無理やり生SQLでデータ補正するおじさんもなかなか困ることはあるわけで…（主語がデカくてシュゴゴゴゴ）

[togusa5]

大澤先生みたいなもんだろ？

[mamuchi]

生データと集計整形されたデータとの間には様々なスキルやノウハウがあって分析の質を左右する位置づけだと思うが、データサイエンティストの見習いてことでいいのでは？SQL叩くだけだとそこまでの価値はない

[exciteB]

でもこういうことに気がつくのは多少は日本もましになってるのかね。

[sysjojo]

前処理してもらって分析者…なんかモヤモヤする…

[takasick]

これ

[nemusg]

この件でお怒りの人身近にいる...

[tuun]

SQLくらい自分で書けや

[punychan]

名前をつけるべき。堅め→「データベース抽出士」、柔らかめ→「SQLコマンダー」

[ysync]

変態SQLはパズル的で面白かったけど、むしろ設計がしっかりしてたら、サクッとできる話でもあるのでな。

[crexist]

え、DBAじゃないの？てか雑用どころか重要な役割では？

[kuippa]

雑用扱いっていうかDB設計あわせて仕様策定のすべてじゃね？ Database Administrator.

[shigemk2]

2年くらいathenaでデータ抽出をやっていましたが、事業が終了したため得られるものはなにもありませんでした。

[ponkotukko]

わからない人には一生わからない仕事

[stk132]

ちょうど今sparkでログの加工してたとこ

[ayumun]

派遣の時良くやってたな。でも、生ログ見ないで集計結果だけ見ても分かんないだろうなーって思ってた。

[send]

データ要件を決めて色んな所からデータかき集めて分析できる状態まで持っていく仕事をする人はデータマネージャーなのでは。治験の世界では20年以上前からそうだったし、SpotifyやNetflixの求人見てもそんな感じ

[beerbeerkun]

使い捨てアプリケーションのエンジニアと言えばよいだろうか

[khtno73]

仕事の課題と改善案を考える→定量的な評価したい→使用可能なDB/DWHの利用を申請し社内承認を得る→SQL抽出集計+整形→ETL/レポート自動化→「上の体制構築を目標として上司と握る」→達成し自分の評価に、までが仕事