サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
掃除・片付け
uma66.hateblo.jp
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
ある界隈では「プログラマーによって生産性に10倍、100倍差が出る」とかいう風説が流布されてるけど、それって具体的にどういうシチュエーションを想定して言ってるのかがあまり話されないのってどうなのって毎回思う。 たぶんプログラマーという職種やプログラミングという営みはもっと評価されるべきであり、不当に貶められているという意識が根底にあって、その裏返しとしてそういう話が持て囃されやすいんだと思う。 で、それとは対比する形でディレクションとかマネジメントとかいわゆる上流工程の能力を評価するような声はまるで聞こえてこないし、むしろそういうプロマネ的な立場の人に対しての軽蔑やら怨念ばかりネットでは目にする。 自分はプログラミングもプロマネ的な仕事もどっちもやるけど、生産性という観点で言えばぶっちゃけプロマネとしての能力の方が遥かに大きな差を生むことを色んな現場で実感してきた。 逆にプログラミング能力
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
世間には「あこぎな商売」というのが結構あって、最近流行りのプログラミングスクールとかいうのはまさにその「あこぎな商売」の典型だろうと思う。昨今の流行りのワードを借りれば「情弱ビジネス」であり、はっきり言ってしまえばボッタクリである。 プログラミングスクールがボッタクリである理由は単純で、高額なプログラミングスクールなんかで配布される教材や講習内容なんかよりも圧倒的にクオリティが高くて実践的な教材がネット上には大量に溢れており、しかもそれらはほぼ無料で手に入るから。 例えば日本ではそれなりに名の通ってるIT企業が新卒向けに数千万(推定)のコストをかけて本気で制作し、実施しているエンジニア向けの研修内容や教材が、ネット上で普通に公開されている。しかも大量に。 研修資料まとめ.md · GitHub 莫大なコストをかけて雇った自社の新人向けの研修なわけだから、クオリティの低いものを作れば損失に直
※基本、酩酊状態でクソみたいな与太話を思いついたまま書き捨ててるだけなのであまり真に受けないようにどうぞよろしく。 僕がここ最近ナリワイとしているのは、大企業でデータ利活用を推進している or しようとしている現場に潜り込んで、データ分析周りの諸々の課題を主に技術面で解決する、という役回り。 といっても、自分が主戦場としているのは技術志向の強い人達が好みそうなGoogleとかメルカリとかリクルートとかヤフーといった自社サービスのテック企業ではなく、普通のユーザー企業に対するIT支援、いわゆるシステムインテグレーションです。 ユーザー企業向けのIT支援の領域では、みなさんが嫌悪している大手SIerが今なお幅を利かせており、ユーザーサイドの生え抜きのエンジニアが技術面含めてプロジェクトを主導したり、メンバーの中に有名なOSSのコントリビューターがいたり、みたいなシチュエーションにはそうお目にか
どこかに正確な統計が出てるわけではないけど、Hadoopの構築や運用を扱うエンジニアの求人は全般的に給与水準が高い。 なぜ給与水準が高いのか。 昨今のビッグデータブームのトレンドの中でHadoopエンジニアへの需給バランスが崩れて需要が増えてるからではと考えがちだけど、実は給与水準と需要は必ずしも連動していない。 エンジニアに限らず、基本的に給与水準というのは企業の規模や商流でほぼ決まる。 例えば同じJAVAのシステム開発職でも、孫請け以下の人売りベンダだと年収300〜500万、一次請けベンダだと年収500〜800万みたいなことはザラにある。 で、Hadoopの求人は基本的にこのレンジの下限が高めに設定されていて、その結果として給与水準が高くなっている。 裏を返すと低い給料の求人が少ないわけだけど、なぜ少ないかというと孫請けベンダとかにまで仕事が流れていかないからで、なぜ流れていかないかと
SIerの多重請負の小規模案件なんかだと、基本的にまともな技術者もプロジェクトマネージャもいないことが多く、プロジェクトのいたるところに不備があってそのままだと炎上必至みたいなケースが多い。 そこそこ経験のあるフリーのエンジニアであれば、長年の経験から得た嗅覚でそういう危険な案件を嗅ぎ分けて近づかないようにすると思うけど、自分はあえてそういう案件に突っ込んでいくことがある。 プロジェクトが不備だらけで機能してないからこそやりたい放題できるから。 例えば優秀なプロジェクトマネージャーやリードプログラマーがちゃんといて、プロジェクトが適切に管理されているような案件なんかだと、自分に与えられた役割のみに徹していれば問題は出ない。 それは裏を返せば、限られた役割の範囲でしか経験が積めないということでもある。 自分がでしゃばって色々とプロジェクトに口出しする必要もないし、それをしなくても大した事故も
4月末で今の現場を離れることに決めたので、5月からの新しい参画先の案件をここ1ヶ月ぐらい色々探してて、直近のデータ分析周りの市況感というのを肌で感じたので、その辺りのメモ書き。 ブログ名の通り自分はデータエンジニアを勝手に自称しているわけで、機械学習やらAIやらはあくまで部分的に関わる程度であり、どちらかといえばそれらを活用するためのインフラ整備をするのが本業だったりする。(本業にしてからのキャリアは浅いことを一応付け加えておく) なので、鼻からデータサイエンティストとしてのキャリアを積もうとは思っていないわけだけど、業務領域的には割と近い部分もあり、特に今はまだ境目がくっきりしていない現場も多かったりするので、データ基盤屋としての案件を色々探してたりしてると付随的にデータサイエンティスト寄りの市況感も知れたりする。 例えば、今取引してる企業の別の部署から「機械学習を活用して色々やりたい」
AI がピークを迎えて幻滅期に入るらしい、っていうガートナーの記事がそこらで話題になってるけど、じゃあなぜそうなったのか、そしてその先にどうなるのかってのを考えた。 すでに同じテーマの記事を俺なんかより賢い人たちが色々考えて書いてるのになんでわざわざ自分なんかが考える必要があるのかっていうと、一応自分の仕事やキャリアにも影響する話だから。 あとは、データサイエンティストとデータエンジニア(大規模データを扱うシステムを構築したり運用したりするエンジニア)の立場では当然意味合いが変わってくるはずで、データエンジニアを自称してる自分にとってどういう意味があるかってのは別で考えなきゃいけない。 金が関わってくる話だから。金が関わる話はかなり真剣なんで、俺。 例のごとく占いコーナーだと思って読み捨ててくださいませ。 ここ1年ぐらい世に多数出回った「AIのPoC案件」の実態 フリーランスをやっていると
ITの世界ではウォーターフォール的な考え方が割と根強く残っていて、一部ではそれが批判されているし、自分もクソだと思ってるけど、ITに限らずこの世の中には割とウォーターフォール的な考え方が浸透してるんじゃないかと思う。 例えばファイナンシャルプランナーってすごくウォーターフォール的で、「人生設計」みたいな言葉がよく使われるのがそれを物語ってると思う。 後はライフプランナーとか、婚活アドバイザーとかも、なんかそういう発想を根っこに感じる。 で、こういうウォーターフォール的な考え方で人生計画を考えると、色々な面でかなりのオーバーヘッドが生まれると思ってる。 ITプロジェクトをウォーターフォールで進めることで大きなオーバーヘッドが生じるのと全く同じ理由で。 ITのプロジェクトにおいてウォーターフォールの何がクソなのかというと、ウォーターフォールという手法やフォーマットの問題というより、ウォーターフ
GoogleのAIの知能レベルが未だに低いせいで、エージェント情報みたいな金の匂いがする分野でググってもアフィカスサイトばかりが出てきて、本当のところどうなん?っていう本音の情報が中々掴めなかったりする。 どれだけ客観的に書かれてるように見えても、アフィリエイトリンクが貼ってあって誘導してる時点で信用力は地の底に失墜し、その瞬間ページはそっ閉じすることにしてる。 いっそvorkersや転職会議みたいな口コミサイトのフリーランスエージェント版でも作ろうかとも思ったけど、そんな手間かけるならアフィカスぐらいやらなきゃ割に合わんなということになってミイラ取りがミイラになりそうだしなぁ...。 というわけで、ネット上には中々本音で語られたフリーランスエンジニア向けのエージェント比較情報が見つからないのが実情で、そういう記事書いたら結構価値あるんじゃないかと思い、書いてみることにした。 で、最近丁度
フリーランスになることを煽ることで自身のポジションを築いてる人がネット上には一定数いて、それに触発されてかフリーランスに憧れる駆け出しエンジニアを結構見かけることがある。 フリーランスのリスク面について言及してるブログとかもあるけど、最大のリスクについてはあまり言及されているのを見たことが無い。 よく見かけるのが、「自分で営業しないといけない」とか「不況時に仕事がなくなる」とかあるけど、そういうのはあまり本筋では無いと思う。 営業については、すでにフリーランスでエンジニアやってる人なら分かると思うけど、その辺のフリーランスエージェントに登録すれば向こうから勝手にガンガン仕事を売り込んでくるのが昨今の市況。 年収1000万ぐらいなら自分で営業なんかせずにエージェントに丸投げするだけでも十分達成できるし、むしろ自分で営業かけて仕事取ってるフリーランスのエンジニアの方が少数派じゃないかな。 不況
アニメ制作でも、漫画家でも、お笑い芸人でも、アイドルでも、基本的にみんなが憧れる職業というのは低賃金のブラック労働と相場が決まっている。 これは程度の差こそあれIT業界もしかりで、みんなが憧れるポジション、特に未経験者がやりたいと思ってしまうポジションというのは大体ワナがある。 最近のIT業界で言うと、「データサイエンティスト」とか「Web系エンジニア」が分かりやすい例。 単純にポジションの取り合いになるから買い手(雇用側)の立場が強くなって価格競争に陥るってのが分かりやすい理由付けだけど、それとは少し別の側面というか見方もある。 「名誉」にはめちゃくちゃ金がかかる 「憧れの職業で仕事ができる」というプライド自体に値段が付いていて、それは目に見える形で売られてるわけではないけど、実は給料から天引きされてるってカラクリ。 なぜお金として差し引かれるかっていうと、みんなが良いと思うものは客観的
すでに散々っぱら言われてることだけど、いや、やっぱどう考えてもおかしいだろ、感覚麻痺してないか?ってのを改めてIT業界に身を置く人達に問いたい。 以下に、日本のIT業界のおかしさを端的に表した、すごく分かりやすいデータを貼る。 IT人材白書2017 p.13 図表1-1-11 日本だけIT企業に所属するエンジニアの比率が群を抜いて高い。 これが意味するところはつまり「日本のユーザー企業はIT技術者を直接採用せず、ITベンダに外注する傾向が世界に類を見ないほど突出して高い」って話で、まあこれまで散々言われてきたことだし、ITに関わる人はみんながどこかで見聞き、もしくは経験してることではあると思う。 じゃあどういう風に外注に出されているのかってのもこれまた散々言われてることだけど、実際に具体例で示した方が実感しやすいと思うので、今話題の富士通さんを引き合いに出させてもらう。 学生とかに富士通っ
まずは過去25年ぐらいの企業全体の倒産件数の推移を。 引用元: 2017年(平成29年)の全国企業倒産8,405件 : 東京商工リサーチ あれ、なんか倒産件数自体年々減ってきてない? 直近25年ぐらいで最低水準じゃん..。 一応、もうちょい長いスパンのデータも見てみた。 倒産件数・負債額推移(全国企業倒産状況) : 東京商工リサーチ 上記のリンクにあるデータを見ると、2008年から一貫して倒産件数が減り続けていることが分かる。 直近30年の倒産件数と比較しても、2014〜2017年までの総倒産件数はトップ5に入る低水準。 バブル崩壊時の1990年とその前年度の水準と比べても大差無いほど少ない件数。 この時点で「大企業でも安泰ではない時代」とかいう言説がデマというか、なんの根拠も無い思い込みなんじゃないの?って結論出しても良い気もするけど、もうちょい調べてみます。 もしかしたら、大企業だけに
僕は元々Web屋のフリーランスエンジニアをやっていました。 Web屋と一言でいっても、バックエンドやフロントエンドやモバイルやインフラや色々ありますが、僕の場合は近年の需要の流れの中でとりわけモバイル(スマホアプリ)の開発案件を中心にやっていました。 ここ5年ぐらいはスマホアプリ開発案件へのエンジニアの引き合いはずっと高く、ここ1,2年は多少落ち着いたものの、まだまだ高単価でエンジニアの募集がかけられているのを目にします。 スマホアプリ開発に関しては何案件もリードプログラマとして割と先進的な案件に関わってきたので、正直そのまま続けていても結構な単価で仕事を請けられていたし、割と良い待遇で正社員の職にありつくことも今ならできると思います。 だけど、今まで積み上げてきたそれらの技術スタックを完全に捨て去って、データ分析基盤というスマホアプリ開発とは立ち位置的にもスキル的にも対局にあるような領域
現状多くの日本企業ではデータエンジニアという役割を専任で募集を出してるケースがあまり無くて、多くはデータサイエンティスト求人の歓迎要件にさらっと「データ分析基盤の構築経験」とか書かれてたりする。 お前らほんと舐めんじゃねーよ。ってことを俺は今日データエンジニアを勝手に代表して言いたい。 まずデータエンジニアとして日々仕事をしていて一番感じることは、扱う技術領域の圧倒的な広さ。 たまにフルスタックエンジニアの求人なんかを目にするけど、そこで求められてるのはせいぜいサーバーサイドからフロントエンドまでの、Webアプリケーション開発のスキルスタックで閉じてたりする。 それを考えると、今データエンジニアが現場で要求されてる技術領域の広さって、フルスタックエンジニアよりもよっぽどフルスタックなんじゃないかって思う。 たぶん今はデータエンジニアリングの黎明期というか、新しい領域として需要が急拡大してて
昨今のデータサイエンティスト求人の高給に釣られてこれからデータサイエンティストになろうとしてる人の多くは、望むような収入にありつけないと思う。 理由は簡単で、日本にはびこるITベンダとは名ばかりの人売りベンダが、こぞって「データサイエンティスト募集!未経験応募可!」求人を出しまくってるから。 こいつらこそが日本のプログラマの地位と待遇を貶めてきた悪の親玉、ITに巣食う病理、悪性リンパ腫、諸悪の根源。 多くのデータサイエンティストの卵たちが、3〜5年後には「こんなはずじゃなかった」と唇噛み締めてる姿が手に取るように浮かぶ。 今後どういうことが起こるかというと、まずはこういう人売りITベンダがかき集めたド素人を適当にラッピングして”でーたさいえんてぃすと”に仕立て上げ、IT音痴のバカなユーザー企業に高価な値札を付けて大量に売りさばく。 そうするとどうなるか。 「データサイエンティストって役立た
なぜかキャリア論みたいな与太話ばかり書いてしまう。 ということで、今回はデータ(基盤)エンジニアが高給を得るためのスキル要件をリストアップしてみたいと思います。 ちなみに僕は求人情報調べるのが趣味で日々多くの求人を見てるので、データ(基盤)エンジニアの求人に関して言えばたぶんその辺のキャリアコンサルタントよりよっぽど情報量多いと思う。全然自慢にならないけど。 以下、重要度が高い順で並べます。 1.データ基盤のアーキテクチャ設計の経験 システム全体のグランドデザインを描いて、技術面を主導する立場でデータ基盤の立ち上げを行った経験を持っている人は今引っ張りだこ。なぜかというと、今まさにデータ基盤の立ち上げ段階にあったり、今後立ち上げを予定している企業がたくさんある時期だから。 2.NoSQLの設計、運用経験 HBase、Cassandra、MongoDB等のNoSQLの経験があると望ましい。分
AIや機械学習、またそれらを専門とするデータサイエンティストという職業がフューチャーされてる昨今だけど、その影で密かに需要が増えまくってるのがデータ(基盤)エンジニアというポジション。 実際、1年前に比べて明らかに求人増えまくってるのを実感してる。 というかなんでこんなに注目されないのか逆に不思議です。データサイエンスの領域にかなり近いというか、一部として含まれているのに、なぜか世間ではデータサイエンティストやアナリストばかりがオイシイ職種として毎度フィーチャーされる。 あんまいいたくないけど、競争率低い割に同じぐらい待遇良いし、参入障壁も高めのかなり堅牢な職種なのに。 データ基盤エンジニアという存在のイメージが浮かびにくいかもだけど、実際にデータを分析したり機械学習モデルを作ってそれを自社のサービスなり製品なりに活かそうと思えば、まずそれを支えるためのインフラが必要になるわけです。 イン
このページを最初にブックマークしてみませんか?
『データエンジニアの酩酊日記』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く