複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
The first thermodynamics in the world with regard to hemoglobin (5). - wishikawaのブログ
A rewrite of "The first thermodynamics in the world with regard to hemoglobin (5)." The transfer of oxygen molecules from (2)oxyhemoglobinA to (3)deoxyhomoglobinF. A means Adult including mother and F means Fetus. I'll explain that the transfer of oxygen molecules from mother to fetus is a spontaneous process. The pH value of human blood is 6.8～7.8, the pKa value of (4)deoxyhomoglobinA is 8.2, th
「何をやっても駄目だった」ポンコツの自分を救ってくれたマインドセット - メソッド屋のブログ
先日 エンジニアType さんから取材『牛尾剛さん、『世界一流エンジニアの思考法』って本当に日本でも実行できますか？(仮）』を受けました。私は「日本で出来ないことは何一つありません」と回答しました。私が日本にいるときに実際に実施したアクションや、実際にやってみた事例などをご紹介しました。 それは、私が自信に満ち溢れた人物だからではなく、幼少のころから自己肯定感も低く、何をやっても上手くいかなかった自分を救ってくれたちいさな「マインドセット」があったおかげです。 「何をやっても駄目だった」ポンコツの自分を 救ってくれたマインドセット このマインドセットは『日本では一見難しそうな何かを実現すること』に対しても過去の人生でとても有効でした。同じような悩みを持つ人のために、エンジニアTypeさんの記事のフォローアップとしてこちらにも書いてみることにしました。それは小さなマインドセットのチェンジなの
Webアプリケーションエンジニアとして1on1してもらう際に考えていること - stefafafan の fa は3つです
同僚が1on1の際に他の人がどういう話をしているのか気にされていたので、便乗してブログに書きます。 ということで人が1on1の時間に何を考えてどう使っているのか気になっている1on1で何を話すか考えてる - tomato3713’s blog 前提 株式会社はてなは新卒から所属しており、今年で9年目 現在チームでテックリードをしている。Webアプリケーションエンジニアとしてコードも日々書いている とはいえ自分もメンティーは持っていなくて、1on1してもらう側の1人 最近1on1に向けて考えていること 前提に書いてある通り、自分はこの会社では古参で普段の仕事の仕方だったり同僚とのやりとりやカルチャーについての大きな悩みや不安はないです。その代わり、テックリードや30歳になったエンジニアとしての悩みや考えはあります。ということで以下のようなことを考えています。 テックリード どのような振る舞い
テックリードとして技術的施策をチームに提案する際に意識すべきポイント - stefafafan の fa は3つです
私はいま会社でテックリードをしていますが、いちエンジニアとして技術的改善をチームに提案するスキルに関してまだ課題感を持っています。その際同じくチームに所属しているエンジニアリングマネージャー（EM）の方にヘルプしていただき、実際に提案資料をペアライティングした中で湧いたイメージがあるのでブログとしてまとめて自分の考えを整理してみようと思います。 効果的なストーリーテリングのための既存のフレームワーク 技術的な提案をするには効果的なストーリーテリングをするスキルが必要だと考えています。私はストーリーテリングに関して詳しくありませんが、仕事を通じて以下の二つのフレームワークを知りましたので軽く紹介します。世の中には他にもいろいろあると思いますが、基本的な考え方は近いのかなと想像しています。 空・雨・傘 STARフレームワーク 空・雨・傘 EMの方と会話する中で「空・雨・傘」というフレーズを何度
エンジニアが仕様案を手戻りさせるアンチパターンはもう終わりにしよう - yigarashiのブログ
プロダクト開発のアンチパターン プロダクトオーナー（PO）が仕様案を持ってリファインメントや計画に臨み、エンジニアが実現可能性や曖昧さの観点からダメ出しをして手戻りが起こる……スクラムやデュアルトラックアジャイルを志向する組織においては、一度は目にする光景だろうと思います。しかしこれは、以下のふたつの理由からひどいアンチパターンであると言えます。 ひとつには、仕様案を持って臨むPO側の精神的な負担があまりにも大きいやり方だからです。ちゃんとした仕事をしているPOならば、そもそも仕様案なんていう細かいところにたどり着くまでに、とてつもない量の不確実性を捌いてボロボロになっているのです。プロダクトのミッション、戦略、プロダクトゴール、ユーザーの課題、仮説検証の設計、MVPの特定、そういった大上段からのヘビーな分解を繰り返して、ようやくたどり着くのが具体的な仕様案なわけで、それを実装が難しいとか
エンジニアが給料を12倍にする方法 - k0kubun's blog
はてブの人気エントリーに日本のエンジニア達は海外に出なければいけないという記事があった。 カナダ在住で経験年数4年のソフトウェアエンジニアで年収1600万円の方らしく、 日本より海外の方がソフトウェアエンジニアの給料が一般に高いので海外に行くべきという話が書かれている。 実際僕も居住地域による給与差を利用すべく渡米し、先月の記事 では新卒から数えて8年で年収が12倍になっていた話も紹介した。 一方、年収1600万円であれば海外に出なくても稼げると思っているので、 国内にいてもできそうなものも含め、ソフトウェアエンジニアとして給料を上げる上で過去に活用したハックを紹介していきたい。 昇給履歴 新卒入社 僕が新卒で入社した会社の当時の初年度給与は450万円だった (公開情報)。 大学の4年間はずっとアルバイトとしてソフトウェアエンジニアをやっていて、 3社を渡り歩いて時給は800〜1350円と
混乱をチャンスと捉える - 叡智の三猿
わたしが会社のなかで、SESの事業を運営していたのは、2000年代の後半から約10年です。 SESとは「システム・エンジニアリング・サービス」の略です。エンジニアの労働力をお客様に提供する契約形態を指します。 SESの事業を運営するには、中心となるエンジニアの労働力以外に、SESの営業とエンジニアの技術力（スキル）をマネジメントする役割が必要です。 下図では３つの役割が相互に連携していることを示してます。 SESセールスは、エンジニアに仕事紹介します。エンジニアはお客様に労働力を提供することで、セールスに対する売上を提供します。 一方、エンジニアは自身のキャリアアップに対する相談をスキルマネジメントに照会します。スキルマネジメントは、エンジニアのスキルアップに向けた資格取得などの支援プログラムをエンジニアに提供します。 ＳＥＳビジネスを成立させる３つの役割国内には多数のSESビジネスを運営
長くなりがちだったコードレビューを改善した話 - 弁護士ドットコム株式会社 Creators’ blog
弁護士ドットコム クラウドサイン事業本部でエンジニアをしている山田です。 主にフロントエンドを担当しています。 普段の業務でフロントエンド開発のコードレビューをすることが多く、今回は長い時間がかかりがちだったコードレビューを以下の施策で改善した話をします。 タスクへの認識合わせを拡充 タスクを小さく分割 類似するタスクのレビュー内容は共有 必要に応じて同期的にレビュー 達成されないスプリントゴール スプリントゴールが達成できない原因 コードレビューが長くなる要因 レビュアーのレビュー期間が長い タスク担当による対応期間が長い 対応策 タスクについての認識合わせの時間を設ける タスクをなるべく小さくする 類似する複数のタスクはレビュー内容を共有 必要に応じてオンラインミーティングなどで画面共有し会話しながら同期的にレビューする スプリントゴールも達成できるように まとめ 達成されないスプリン
インフラエンジニアはSREではないし、SREとPlatform Engineeringも別物 - inductor's blog
インフラエンジニアの肩書きをSREに変えるタイプの組織変更は近いところから遠いところまでいろんなところで見かけてるんだけど、改めてそれって名前変えただけじゃないよね？って問いかけは個人が組織に、組織が個人にそれぞれ相互でした方がいいと思う。 インフラエンジニアって言葉もまあ定義が死ぬほど広くてどこからどこまで指すのってのは組織によって違うね大変だねって話ではあるんだけど、SRE(Site Reliability Engineering)やPE(Platform Engineering)はインフラと必ずしも対応関係にあるわけではないんだよな。 Platformってのは言ってしまえば会社のエンジニア組織の中で自分達に最適化された基盤を作る人たちの集合体とそのプロダクトそのものを指していて、Platform Engineering組織の中には当然フロントエンドエンジニアやデザイナー、プロダクトオ
(翻訳) ビッグテックのプロジェクトマネジメントとスクラム不在の謎 - forest book
本稿は Gergely Orosz 氏によって書かれた次の記事の日本語翻訳です。著者に翻訳の許可を得て公開しています。 blog.pragmaticengineer.com また本稿は DeepL Pro を使って下訳したものに手を加えています。日本語翻訳の不具合または誤訳については Gergely Orosz 氏ではなく、本稿のコメント欄にお願いします。 著者も機械翻訳を下地にしたやり方に関心をもたれたようです。 The article translated to Japanese: https://t.co/4uynyyhm4E The author was transparent and noted that the article is a modification of an ML-translated article. This person managed to transl
■ - kumamotone’s blog
2023年4月に、株式会社メルカリ（メルペイ）を退職しました。3年と4ヶ月ほど在籍させていただきました。 今日はメルペイでの最終出社日でした 2019年12月から3年と4ヶ月ほど在籍させていただいていました 少しの間お休みして5月後半からまた新しいチャレンジをしていく予定です！お世話になりました pic.twitter.com/9stTpdLnGm— kumamo_tone (@kumamo_tone) 2023年4月11日 個人的な振り返りも兼ねて、簡単にどんな感じだったか書き残しておければと思います。 入社 2019年の11月に新卒で入社したヤフーを退社して、アプリ(iOS)のエンジニアとして同年12月に入社しました。 入社を決めたきっかけなどは、書き残してなかったというのもあり、もう記憶がおぼろげですが、以下のような感じだったと思います。 メルカリのバリューが、当時自分がありたいと思
『レガシーコードとどう付き合うか』は、経営層とエンジニアサイドの価値観の橋渡しをしてくれる稀有な一冊 - Magnolia Tech
レガシーコードとどう付き合うか 作者:めもりーシーアンドアール研究所Amazon めもりーさんの『レガシーコードとどう付き合うか』を読んだ。 これは優秀なプログラマであり、CTOとして経営に参画しためもりーさんならではの1冊でした…とはいえ、果たして人生何周目だったらその経験をここまで分かりやすく言語化できるのか分からない。 簡単に言えば、以下の記事の完全版、というか、経営とエンジニアの両サイドから見た「企業が顧客に価値を届けるという営みにおける”エンジニアリング”とは何か？」というテーマなんじゃないかと思います。 note.com [目次] CHAPTER 01 なぜレガシーコードが生まれやすいのか CHAPTER 02 レガシーコードを改善するための道筋 CHAPTER 03 レガシーコードを読む力 CHAPTER 04 レガシーコードを改善するための準備 CHAPTER 05 レガシ
「AWSの薄い本Ⅳ 昔話で振り返るAWSの歩み」を書きました - プログラマでありたい
今年はアウトプットするぞということで、２年ぶりに技術同人誌を書きました。2023年5月21日開催の技術書典14 オフラインで販売します。またBOOTHにも入庫中です。 booth.pm 内容 技術的な話ではなくて、AWSが出た当初はどんなだったのかという昔話です。日本に最初のAWSリージョンが開設されたのが、今から10年以上前の2011年です。そして、AWS自体は2000年代からありました。そうなるとエンジニアを始めた頃から、当たり前のようにクラウドがあったという人が多くなっています。昔からAWSを見てきた一人のユーザーとして、AWSの昔話を残しています。現在ではAWSには様々なサービスがありますが、例えばEBSのようにこれが無かった時代はどうやっていたのだろうと疑問に思うようなものもあります。無い時にどうやっていたのかの工夫と、不便がどんどん解消されていった時の空気感を伝えようとしていま
アプリ開発市場の現状と今後の予想（2023〜2026） - IT業界で気づいたことをこっそり書くブログ
最近、ブログで長文を書く体力が落ちてきているので、かんたんに書こうと思います。 Flutterが流行ってるようです Flutterエンジニアが足りてないようです iOSエンジニア、AndroidエンジニアはなぜFlutterをやらないのか？ Flutterはどのくらい工数を圧縮できるのか？ Flutter案件は今後更に増えるか？ iOS/Flutterエンジニア、めちゃくちゃ少ない説 Android / Flutter / iOSで分断が起こるのでは？ SwiftUI+combineは増えてる？ iOSエンジニアが問われる、SwiftUI or Flutter 結果、人材不足が予想される 新人に期待はできるか？ まとめ 補足 Flutterが流行ってるようです 流行りそうとか、そういう「かもしれない」ではなく。 ベンチャーの新規アプリ案件のFlutter率が明らかに高く以前より上がっている
Pandasのメモリ削減方法を整理した - Taste of Tech Topics
皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す 番外編：そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON（JSONL
ゼロから始めるバーチャル美少女作成手順 - freee Developers Hub
こんにちは！PSIRT(Product Security Incident Response Team)で仕事をしている21卒エンジニアのMBです。 freee Developers Advent Calendar2022 11日目です。 既にPSIRTメンバーが2人も記事を出していますが、私はPSIRTの仕事とは関係ないお話を書きます。 タイトルでネタバレを食らっていますが、仕事で使うアバターをゼロから自作していこうという記事です。 私は普段のお仕事でもアバターを使っており、青いアバターの人と認識されていることが多いです。 普段のアバター アバターでお仕事をするメリットとして個人的に感じているものはいくつかあります。 社内で認知度が上がるのでお仕事のお願いをしやすくなる メイクをする時間が浮く ミーティング中にかわいいアバターがいると仕事のモチベーションが上がる（当社比） 「僕と契約して
OSS活動を通して掴んだ海外キャリア。英語力よりも技術力を大切にチャンスを掴む - Findy Engineer Lab
コンテナ脆弱性ツール「Trivy」の開発者である福田さんと、Denoのコントリビューターをしていた日野澤さん。お二人は、OSS活動を通して海外キャリアをスタートさせました。 海外企業で働くのであれば、英語スキルは必須のはず。しかし、福田さんは「未だに英語はわからない」と話し、日野澤さんは「英語は話せるものの、複数人の会話は聞き取れない」と言います。その上で「英語スキルに関係なく挑戦することが大事」だと教えてくれました。 本稿では、4月26日（火）に行われた「オープンソース活動が切り開いた海外キャリア論 vol.4」のなかで語られた、海外企業での働き方やOSS活動との向き合い方についてまとめています。 パネリスト 福田 鉄平さん / @knqyf263 Aqua Security Software Ltd. Open Source Engineer コンテナ脆弱性ツールであるOSS「Triv
昇給によって年収1000万円を超えるエンジニアを産み出すという目標の達成報告 - Toyokumo Tech Blog
こんにちは。CTOの木下です。 「昇給によって年収1,000万円を超えるソフトウェアエンジニアを産み出す」という目標の達成報告をしたいと思います。 実は初めて達成してからかなり時間が経ってしまっているのですが、これまで、そしてこれからの取り組みによってさらに多くのメンバーが達成していく見込みであることを受け、区切りとして記事に残しておきたいなと考えてこの記事を書くことにしました。 遠い目標 賞与の導入と増額へ 昇給の推移 目標達成 なぜ昇給にこだわったのか？ これから 遠い目標 私が入社したのは2016年3月なのですが、当時CTOの落合は「昇給によって年収1,000万円を超えるエンジニアを産み出す」ということを口にしていました。 しかしながら2016年3月以前にいた社員数は3人程度で、売上規模も小さい会社でした。 そのため人件費にかけられる金額も絶対額として大きくなく、特段給与水準の高い会
ソフトウェアエンジニアでテストマンな私が家を買う際にやったこと - 若くない何かの悩み
はじめに ソフトウェアエンジニアでテストマンを生業とする Kuniwak です。今回は家を買うためにやったことを紹介します。 というのも、家を買うためにやったことを知人に話してみたら面白がられたため、誰かの役に立つかもしれないと思ったからです。 なおこの記事はソフトウェアに関する技術の記事ではありません（随所に検証の基本的な考え方などが散りばめられていますが…）。また、この記事で紹介する意見・手法は多分に cocopon 氏の影響を受けています。cocopon 氏の家購入エントリもこの記事と同時に公開されているはずです。 また、この記事はとても長いので先にポイントを説明しておきます。この記事ではライフプランシミュレーションに始まり次のような3Dモデルを作って日照や照明の検証をしていきます。また、3Dモデルを作るだけでは漏れが出るのでさまざまな検証を組み合わせています： 検証のために作った3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
