サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
掃除・片付け
uma66.hateblo.jp
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
世間には「あこぎな商売」というのが結構あって、最近流行りのプログラミングスクールとかいうのはまさにその「あこぎな商売」の典型だろうと思う。昨今の流行りのワードを借りれば「情弱ビジネス」であり、はっきり言ってしまえばボッタクリである。 プログラミングスクールがボッタクリである理由は単純で、高額なプログラミングスクールなんかで配布される教材や講習内容なんかよりも圧倒的にクオリティが高くて実践的な教材がネット上には大量に溢れており、しかもそれらはほぼ無料で手に入るから。 例えば日本ではそれなりに名の通ってるIT企業が新卒向けに数千万(推定)のコストをかけて本気で制作し、実施しているエンジニア向けの研修内容や教材が、ネット上で普通に公開されている。しかも大量に。 研修資料まとめ.md · GitHub 莫大なコストをかけて雇った自社の新人向けの研修なわけだから、クオリティの低いものを作れば損失に直
※基本、酩酊状態でクソみたいな与太話を思いついたまま書き捨ててるだけなのであまり真に受けないようにどうぞよろしく。 僕がここ最近ナリワイとしているのは、大企業でデータ利活用を推進している or しようとしている現場に潜り込んで、データ分析周りの諸々の課題を主に技術面で解決する、という役回り。 といっても、自分が主戦場としているのは技術志向の強い人達が好みそうなGoogleとかメルカリとかリクルートとかヤフーといった自社サービスのテック企業ではなく、普通のユーザー企業に対するIT支援、いわゆるシステムインテグレーションです。 ユーザー企業向けのIT支援の領域では、みなさんが嫌悪している大手SIerが今なお幅を利かせており、ユーザーサイドの生え抜きのエンジニアが技術面含めてプロジェクトを主導したり、メンバーの中に有名なOSSのコントリビューターがいたり、みたいなシチュエーションにはそうお目にか
4月末で今の現場を離れることに決めたので、5月からの新しい参画先の案件をここ1ヶ月ぐらい色々探してて、直近のデータ分析周りの市況感というのを肌で感じたので、その辺りのメモ書き。 ブログ名の通り自分はデータエンジニアを勝手に自称しているわけで、機械学習やらAIやらはあくまで部分的に関わる程度であり、どちらかといえばそれらを活用するためのインフラ整備をするのが本業だったりする。(本業にしてからのキャリアは浅いことを一応付け加えておく) なので、鼻からデータサイエンティストとしてのキャリアを積もうとは思っていないわけだけど、業務領域的には割と近い部分もあり、特に今はまだ境目がくっきりしていない現場も多かったりするので、データ基盤屋としての案件を色々探してたりしてると付随的にデータサイエンティスト寄りの市況感も知れたりする。 例えば、今取引してる企業の別の部署から「機械学習を活用して色々やりたい」
AI がピークを迎えて幻滅期に入るらしい、っていうガートナーの記事がそこらで話題になってるけど、じゃあなぜそうなったのか、そしてその先にどうなるのかってのを考えた。 すでに同じテーマの記事を俺なんかより賢い人たちが色々考えて書いてるのになんでわざわざ自分なんかが考える必要があるのかっていうと、一応自分の仕事やキャリアにも影響する話だから。 あとは、データサイエンティストとデータエンジニア(大規模データを扱うシステムを構築したり運用したりするエンジニア)の立場では当然意味合いが変わってくるはずで、データエンジニアを自称してる自分にとってどういう意味があるかってのは別で考えなきゃいけない。 金が関わってくる話だから。金が関わる話はかなり真剣なんで、俺。 例のごとく占いコーナーだと思って読み捨ててくださいませ。 ここ1年ぐらい世に多数出回った「AIのPoC案件」の実態 フリーランスをやっていると
GoogleのAIの知能レベルが未だに低いせいで、エージェント情報みたいな金の匂いがする分野でググってもアフィカスサイトばかりが出てきて、本当のところどうなん?っていう本音の情報が中々掴めなかったりする。 どれだけ客観的に書かれてるように見えても、アフィリエイトリンクが貼ってあって誘導してる時点で信用力は地の底に失墜し、その瞬間ページはそっ閉じすることにしてる。 いっそvorkersや転職会議みたいな口コミサイトのフリーランスエージェント版でも作ろうかとも思ったけど、そんな手間かけるならアフィカスぐらいやらなきゃ割に合わんなということになってミイラ取りがミイラになりそうだしなぁ...。 というわけで、ネット上には中々本音で語られたフリーランスエンジニア向けのエージェント比較情報が見つからないのが実情で、そういう記事書いたら結構価値あるんじゃないかと思い、書いてみることにした。 で、最近丁度
フリーランスになることを煽ることで自身のポジションを築いてる人がネット上には一定数いて、それに触発されてかフリーランスに憧れる駆け出しエンジニアを結構見かけることがある。 フリーランスのリスク面について言及してるブログとかもあるけど、最大のリスクについてはあまり言及されているのを見たことが無い。 よく見かけるのが、「自分で営業しないといけない」とか「不況時に仕事がなくなる」とかあるけど、そういうのはあまり本筋では無いと思う。 営業については、すでにフリーランスでエンジニアやってる人なら分かると思うけど、その辺のフリーランスエージェントに登録すれば向こうから勝手にガンガン仕事を売り込んでくるのが昨今の市況。 年収1000万ぐらいなら自分で営業なんかせずにエージェントに丸投げするだけでも十分達成できるし、むしろ自分で営業かけて仕事取ってるフリーランスのエンジニアの方が少数派じゃないかな。 不況
アニメ制作でも、漫画家でも、お笑い芸人でも、アイドルでも、基本的にみんなが憧れる職業というのは低賃金のブラック労働と相場が決まっている。 これは程度の差こそあれIT業界もしかりで、みんなが憧れるポジション、特に未経験者がやりたいと思ってしまうポジションというのは大体ワナがある。 最近のIT業界で言うと、「データサイエンティスト」とか「Web系エンジニア」が分かりやすい例。 単純にポジションの取り合いになるから買い手(雇用側)の立場が強くなって価格競争に陥るってのが分かりやすい理由付けだけど、それとは少し別の側面というか見方もある。 「名誉」にはめちゃくちゃ金がかかる 「憧れの職業で仕事ができる」というプライド自体に値段が付いていて、それは目に見える形で売られてるわけではないけど、実は給料から天引きされてるってカラクリ。 なぜお金として差し引かれるかっていうと、みんなが良いと思うものは客観的
僕は元々Web屋のフリーランスエンジニアをやっていました。 Web屋と一言でいっても、バックエンドやフロントエンドやモバイルやインフラや色々ありますが、僕の場合は近年の需要の流れの中でとりわけモバイル(スマホアプリ)の開発案件を中心にやっていました。 ここ5年ぐらいはスマホアプリ開発案件へのエンジニアの引き合いはずっと高く、ここ1,2年は多少落ち着いたものの、まだまだ高単価でエンジニアの募集がかけられているのを目にします。 スマホアプリ開発に関しては何案件もリードプログラマとして割と先進的な案件に関わってきたので、正直そのまま続けていても結構な単価で仕事を請けられていたし、割と良い待遇で正社員の職にありつくことも今ならできると思います。 だけど、今まで積み上げてきたそれらの技術スタックを完全に捨て去って、データ分析基盤というスマホアプリ開発とは立ち位置的にもスキル的にも対局にあるような領域
現状多くの日本企業ではデータエンジニアという役割を専任で募集を出してるケースがあまり無くて、多くはデータサイエンティスト求人の歓迎要件にさらっと「データ分析基盤の構築経験」とか書かれてたりする。 お前らほんと舐めんじゃねーよ。ってことを俺は今日データエンジニアを勝手に代表して言いたい。 まずデータエンジニアとして日々仕事をしていて一番感じることは、扱う技術領域の圧倒的な広さ。 たまにフルスタックエンジニアの求人なんかを目にするけど、そこで求められてるのはせいぜいサーバーサイドからフロントエンドまでの、Webアプリケーション開発のスキルスタックで閉じてたりする。 それを考えると、今データエンジニアが現場で要求されてる技術領域の広さって、フルスタックエンジニアよりもよっぽどフルスタックなんじゃないかって思う。 たぶん今はデータエンジニアリングの黎明期というか、新しい領域として需要が急拡大してて
昨今のデータサイエンティスト求人の高給に釣られてこれからデータサイエンティストになろうとしてる人の多くは、望むような収入にありつけないと思う。 理由は簡単で、日本にはびこるITベンダとは名ばかりの人売りベンダが、こぞって「データサイエンティスト募集!未経験応募可!」求人を出しまくってるから。 こいつらこそが日本のプログラマの地位と待遇を貶めてきた悪の親玉、ITに巣食う病理、悪性リンパ腫、諸悪の根源。 多くのデータサイエンティストの卵たちが、3〜5年後には「こんなはずじゃなかった」と唇噛み締めてる姿が手に取るように浮かぶ。 今後どういうことが起こるかというと、まずはこういう人売りITベンダがかき集めたド素人を適当にラッピングして”でーたさいえんてぃすと”に仕立て上げ、IT音痴のバカなユーザー企業に高価な値札を付けて大量に売りさばく。 そうするとどうなるか。 「データサイエンティストって役立た
なぜかキャリア論みたいな与太話ばかり書いてしまう。 ということで、今回はデータ(基盤)エンジニアが高給を得るためのスキル要件をリストアップしてみたいと思います。 ちなみに僕は求人情報調べるのが趣味で日々多くの求人を見てるので、データ(基盤)エンジニアの求人に関して言えばたぶんその辺のキャリアコンサルタントよりよっぽど情報量多いと思う。全然自慢にならないけど。 以下、重要度が高い順で並べます。 1.データ基盤のアーキテクチャ設計の経験 システム全体のグランドデザインを描いて、技術面を主導する立場でデータ基盤の立ち上げを行った経験を持っている人は今引っ張りだこ。なぜかというと、今まさにデータ基盤の立ち上げ段階にあったり、今後立ち上げを予定している企業がたくさんある時期だから。 2.NoSQLの設計、運用経験 HBase、Cassandra、MongoDB等のNoSQLの経験があると望ましい。分
AIや機械学習、またそれらを専門とするデータサイエンティストという職業がフューチャーされてる昨今だけど、その影で密かに需要が増えまくってるのがデータ(基盤)エンジニアというポジション。 実際、1年前に比べて明らかに求人増えまくってるのを実感してる。 というかなんでこんなに注目されないのか逆に不思議です。データサイエンスの領域にかなり近いというか、一部として含まれているのに、なぜか世間ではデータサイエンティストやアナリストばかりがオイシイ職種として毎度フィーチャーされる。 あんまいいたくないけど、競争率低い割に同じぐらい待遇良いし、参入障壁も高めのかなり堅牢な職種なのに。 データ基盤エンジニアという存在のイメージが浮かびにくいかもだけど、実際にデータを分析したり機械学習モデルを作ってそれを自社のサービスなり製品なりに活かそうと思えば、まずそれを支えるためのインフラが必要になるわけです。 イン
このページを最初にブックマークしてみませんか?
『データエンジニアの酩酊日記』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く