こんにちは、mahiroです。 近年、データ基盤の重要性はますます高まっています。これに伴い、データ基盤の構築・運用・管理を担うデータエンジニアの需要も増しています。ところが、その一方でデータエンジニアリングを担う人材は不足しています。 データエンジニアとして働く方々はソフトウェアエンジニアやインフラエンジニア、SREといった経歴を持ち、エンジニアとしてのスキルを持った状態でスタートしている場合が多いです。データエンジニアリングに関する書籍や資料等についても、エンジニアリングについての知識をある程度前提としているものが多く、エンジニア未経験からデータエンジニアになるのはハードルが高い*1のが現状です。 そこで、本記事では、エンジニア未経験からデータエンジニアになった経歴を持つ筆者が、エンジニアになるために学んだ内容のうち「これはデータエンジニアになってからも非常に役に立った」と感じているも

絶賛成長期にあるだろう若手エンジニアは、どういう流れで自身の成長を促したら良いのだろうか、とふと思いつつ口頭で説明してみたけどよくわからんくなったので整理してみたいお気持ちです。 当ブログではアウトプットの効用みたいなものは書いてきましたが、インプットそのものについてはお初なので、自身を振り返る良い機会にもなりそうです。 はじめに これは私が二十数年間、プログラマー・インフラ・SRE といったエンジニアとして通ってきた中で、どのようにインプットをしてきたかを整理してみるチラ裏です。 自分は一般(?)と比べれば少々特殊な経歴で、情報学を学んだことも、新卒研修を受けたことも、IT系資格も、転職したこともない…… ほぼ独学による野良エンジニアとして生息してきましたので、あまり参考にはならないかもしれません。 それでも一応長く生き抜いてきたエンジニアの経験として、インターネットに数多くある参考例の

皆さんこんにちは。CTOの松本です。LLM使ってますか？ChatGPT毎日触ってますか？ LLMに熱狂してすでに1年以上が経ちましたが周辺エコシステムが充実してきたことでいろいろな取り組みがとても簡単に実現出来るようになったなーと感じています。 ということで今回はZapierを使った小ネタのご紹介です。 AI・LLM事業部の今 とその前に、AI・LLM事業部での取り組みから着想を得たものでして、AI・LLM事業部について簡単に紹介させてください。 LayerXの新規事業であるAI・LLM事業部では、バクラクでも取り組んできたビジネス文書の解析の延長としてLLMを活用して文書分析エンジンの開発を進めています。現在このエンジンを使ったエンタープライズ向けの新規プロダクト開発にいそしんでおります。とても楽しいですし、最近は様々なお客様からの引き合いも増えておりまして、事業成長に向けて満を持しての

はじめに まず、大事なこと イベント開催告知まで 開催告知初日 2日目 3日目以降 企画に関して 認知に関して 最後に 本記事の内容を以下のイベントで話します。YouTube Liveでオンラインです。 【天下一武道会裏話】3000人集客のためにやったことなど話します - connpass はじめに 去る2024年2月1日に『第1回 AWSコスト削減天下一武道会』という勉強会を開催しました。 このイベントはわたくし、西谷が個人で企画して運営したイベントですが最終的な申し込み数は3692人とかなりの規模になります。 これがどのくらいの数かと言うと昨年Connpassで募集されたイベントで1番のものが日本ディープラーニング協会主催のイベントでちょうどGPT4が発表されて大注目を浴びたタイミングで開催されたものであり、4900人以上とすごい数になっています。さすがにこれには及ばず、2番目に多かっ

0. はじめに 数年にわたってゆるく続けてきた転職活動が一区切りついたため、自分の振り返りのためにブログの記事にしてみる。 すぐに転職したい訳ではないけどいつか転職したいという人や、自分の市場価値をまずは調査したいという人にとって何かしらの参考になればということでブログで公開しています。 ※他の求職者による再現性を保証するものではありません。 ※転職エージェントを利用した積極的な活動をする場合はこちらの記事が役に立つかもしれません 1. 経歴と転職活動の方針 2010 3月　 東京農工大学で博士号(工学)取得 2010 4月　 東京農工大学 工学部 特任助教 (任期1年、途中退職) 2010 10月   九州先端科学技術研究所 研究員 (2020年3月に常勤としては退職) 2020 4月　福岡市内のスタートアップ企業 (2024年1月末 退職) 2024 2月　新しい所属　← 今ここ 上記

最近は個人開発は自分のOSSのメンテで手がいっぱいになってしまったのでサービス開発のようなものは普段あまりやらないのだが、大学院*1で今学期、何作ってもよいという感じの授業を取ってWeb/iOS/Androidアプリ*2を全て作るという体験をする中で、たまたま個人開発のコストを抑える活動をしたので、その時に調べたり考えたりしたことを書いておく。 Herokuで無料にする Herokuでは毎月550時間free dynoが使え、クレジットカードを登録しておくと更に450時間、合計1000時間無料で使える。Herokuは30分アクセスがないと一旦停止するが、今回授業で作ったサービスでこれを使い切らないことは明らかだったので最初はこれでセットアップした。セットアップも簡単だし、PostgreSQLも無料でついてくる。 ただ、コールドスタートに10秒くらいかかり、これがこのサービスではUX的に致命

はじめに エンジニアの増田です。私は現在、弊社サービスのアドクロールの開発を担当です。サービスの改善ポイントを探し、意思決定するためにアクセスログの分析を行っています。さらに詳細な分析をするべく、アクセスログのような定量的データに加え、マウス操作などの定性的データを収集する方針になりました。結果として以下の基準を満たしていたMicrosoft提供のClarityを導入しました。 無料 情報が多い 今回はそのClarityの導入手順と活用法をご紹介します。 Microsoft Clarityとは Clarityの主な機能は3つあります。 機能 概要 導入手順 今回はGTM(Google Tag Manager)を使用して導入します。 サインアップ Clarityページからアカウントを作成します。 プロジェクトの作成 サインイン後に画面左上の「新しいプロジェクト」をクリックして、プロジェクト名

久しぶりに転職をした。 理由は「上司がクソ・年収も上がらない」という至極単純なもの。 自分は人手不足と言われているエンジニア業界でも、人が居ないと嘆かれている言語のエンジニアである。 正直に言って、今までは求人に乗っかればそれなりに内定を取れたので、そんな感じでいくだろうとタカをくくっていた。 ところが、今回の転職はめちゃくちゃ難航した。 受けたカジュアル面談は20社近く。 約半数の選考に進み、スキルチェックで落とされたのが3社、面接で落ちたのが2社、内定獲得したが辞退したところが3社。 打率3割は高いと思うかもしれないが、経験者なら誰でもOKのSESなので自慢にならないんだ。すまんな。 最終的には良さげなところを見つけ転職は幕を閉じたが、かけた期間はおよそ6ヶ月。 それをぼちぼち忙しい業務の合間と土日に行っていたので、もう身も心もすっかり摩耗した。 ようやく落ち着いて新しい環境にも慣れた

インテリとの出会い 36歳になった。妻との間には、4歳と1歳の娘がいて、最近の趣味はもっぱらポッドキャストを聴くことだ。 というのも、育児をしながらだと、まとまって落ち着いた時間を取ることが難しく、細切れの時間、手がふさがった状態でインプットするにはポッドキャストがうってつけなのである。 ちなみに僕が聴いているポッドキャストは以下の通り。並びは、聴き始めた順。（）内の数字は、2022年4月26日時点におけるエピソード数。 distinct.me（#135） stand.fm Free Agenda（#212） freeagenda.jp コテンラジオ（#250） cotenradio.fm 超相対性理論（#53） 超相対性理論 超相対性理論哲学¥0podcasts.apple.com ゆる言語学ラジオ（#118） open.spotify.com ゆるコンピュータ科学ラジオ（#17） op

昨年10月にIPA（情報処理推進機構）の国家資格『プロジェクトマネージャ試験』を受験しました。 年が明けて「そういえば合格発表はいつだったっけ？」とIPAのサイトを見に行ったら、昨年12月下旬には合格発表がされていて、無くさずに持っていた受験票の情報を使ってチェックしたら、合格していたのでした。結構厳しいかと思っていたので、新年早々かなり驚いてしまい声が出たので、家族には変な目で見られました。 ※午前1は免除。午前2と午後1は60点以上で合格、午後2は4段階でAが必須 この記事では、非エンジニアの私がどうしてプロジェクトマネージャ試験を受験をしようとしたのか、どのような勉強をしたのかを紹介します。どなたかの参考になれば幸いです。 受験のきっかけ 2週間（20時間）しか勉強しなかった背景 勉強計画の策定 各試験のリソース配分 午前2（試験時間40分） 勉強時間 3時間 午後1（試験時間90分

この記事はグロースエクスパートナーズ Advent Calendar 2022の11日目です。 （補足追記：この記事は、一緒に働いている／働くことになる若い後輩たちへのメッセージです） 毎年、メンバーからお題をもらっているのですが「一緒に仕事する相手がこうだったら教えがいがある・やりやすいなと思う言動について書いてほしい」ということなので、僕のキャリア（もうちょっとで四半世紀...）の中で学んできたことも含めて、整理してみます。 心構え：作業ではなく、仕事をせよ まず、一緒に仕事をする上でお願いしたいのは「作業ではなく、仕事をしてほしい」ということです。ここでいう仕事と作業の定義は以下の通りです。 仕事というのは「ある目的を達成するための行動」 作業というのは「ある計画や手順のもとにおこなう行動」 仕事は作業を含んでいます。目的を達成する行動全般が「仕事」であり、仕事の中で具体的な手順を実

はじめに データアナリストとしてスタートアップに転職して、もう少しで1年が経とうとしている。 最初の数ヶ月は何をやっていたかといえば、データ基盤やモニタリング体制の整備、データを扱う文化の醸成などにコミットしていた。 最近ではAnalyticsに加えて、CS(カスタマーサクセス)・CX(カスタマーエクスペリエンス)などのチームを持ちながら、横断プロジェクトとして次の収益の柱にすべく新規営業商材をつくったりサービスのコアの価値担保の仕組みを考えたりと、もはや職種が定義できないが刺激的な毎日を過ごしている。 自分が未経験の領域に次々と役割が広がり、何もわからない状態の中でとにかく物事を前に進めていくことが求められる中で、不確実性の中で成果を出し続けるために必要なこととして、最近意識的になったことを書いておく。 イシューを解く3つの方法 前提として、ビジネス上のイシューは図のように上から下へと分

今年入社の高卒の新人と雑談していて「会社の確定拠出年金のこととか何を選ぶのがいいとか分からない」という。集合研修でも制度そのものの解説はあったけどよく分からず、学校でも習わなかったので、漠然としか分からないと言っていた。 それで「自分はこういう理解で、こうしている」を整理して伝えることにしたのでそのメモ。結論としては「長期でインデックス投信」なのだけど、そこに至るバックグラウンド等も含めて説明したいと思った。 前提 そもそも趣味や仕事に注力したいので、株や不動産を一生懸命やりたいとは全く思っていない。 自分は普通の会社員で、その道のプロ（銀行員や証券マンやファイナンシャルプランナー）ではない。 大損は絶対に嫌だし、時間を遣いたくない。株の勉強とかもしたくない。 経済システム 現在は「産業資本主義」というOSで世の中が運用されている。 このシステムでは「富の総量が時間の経過で増えていく（右肩

UnityアプリのiOS版を出そうにも、iOSビルド用MacのOSが古すぎて最近のUnity+iOSビルドのワークフローが使えなさそうなので、出来るだけ新しいバージョンに上げることに。 普段はWindowsでUnity開発してます 環境 MacBook Air Mid 2013 モデル OS Sierra 10.12 系 まずMojave（10.14系に上げた） 最新はCatalina(10.15系）だった。AppleのOSアップグレードサポートを見ると、SierraからはApp Storeで上げられるとのことだったのでやってみる。 この画面。本来はこの画像のように「ダウンロード」を押すと下に残り時間が出るはずが、ダウンロードを押しても下のバーがそもそも出ない。 App Storeのトラブル対応の記事を見て　Wifiの確認、DNSを8.8.8.8、再サインイン など試して見るも、効果なし。

社内SlackやTwitterなどで、自分が新しいことを学ぶ時に実践していることを書いたりしていたのだが、今日メンバーと1 on 1をしていて、あらためて新しいことの学び方について訊かれたので、ブログにも簡単にまとめておく。 まず前提として、学ぶ対象の「新しいこと」とは何かについて述べておく。ここでいう新しいこととは、研究やイノベーションに関することではない。そういうのは、ググっても出てこないレベルの新しさなので、このエントリで述べる対象ではない。ここでいっているのは、自分にとって新しい知識であり、かつ、既に一定の蓄積があるような内容のことである。 それをひとことでいうと、入門書があるような領域ということになる。たとえばプログラミング言語はメジャーなものはたいてい当てはまるし、DockerとかKubernetesのような技術要素も入門書があるし、もっと広く学問一般についても当てはまる定義で

何か重要な作業を効率的にしようと思うのに、次々と考えが思い浮かんでしまい集中できないときは、まず、頭の中で、以下のように上下左右に強力な磁石のようなものが設置されている様子を想像する (ここで磁石には N 極と S 極があるがどっちの方向を向いて配置されているのかといった論理的なことは考えなくても良い。とにかく磁石のようなものがある、という程度で良い)。 磁石のイメージをリアルに思い浮かべる必要は全くない。だいたい磁石のような、何かを吸い寄せるような性質のものがあるな、という程度で良い。 次に、その磁石で囲まれた空洞の中央部分に、少し重いけど、手で簡単に持てる程度の鉄球 (鉄を思い浮かべなくても、磁石のような何かに吸い寄せられるような何か) を思い浮かべる。 背景のイメージは Microsoft Windows XP の壁紙からの引用であり、コンピュータのディスプレイを見ながらイメージをす

マネジメント・育成の観点から メンバーに日報や週報という名前で振り返りを出させることは多いと思います。 それ自体はいいことで、実際、日報を活用して成長するメンバーもいる。 しかし、イケてない日報を書き続けて、成長もしないメンバーもよくいます。 世の中の惜しい日報 例えばこんな感じ 今日は、●●課長と商談に同行しました。 一番感じたのは、課長と私の顧客志向の違いでした。 私もより顧客志向を意識しなくては、と強く感じました。 惜しい。惜しい。 きっとすごく良い経験をしたんだと思うのですが、全然伝わらないし、 「本当にこれだけ」だったら、たぶん現実は何一つ変えられない。 劇的に改善させる、たった一つの問い「具体的には？」 では、どうするか。 たった一言 「具体的には？」 を納得するまで問い続ければいい。 上記であれば 「顧客志向」とは、具体的にはどういうこと？ →商品ではなく、お客さんのニーズを