「スタッフエンジニア」は受託開発でも役立つ良書でした - YOMON8.NET
「スタッフエンジニア マネジメントを超えるリーダーシップ」の本を読んだので感想を書きます。 スタッフエンジニア マネジメントを超えるリーダーシップ 作者:Will Larson日経BPAmazon 書籍について 自分について 職歴 今の立ち位置 読んで良かった点 自分の仕事が言語化されている リアリティがある 受託開発でも役立つ 最後に 書籍について 最初に、この本の概要について書きます。 まず、この本で言われている「スタッフエンジニア」という言葉の定義は以下の図のキャリアパスから来ています。 書籍内では「スタッフエンジニア」または、それ以上を「スタッフプラス」という用語で統一して利用されています。 図は書籍より引用 この図に示されるような多様なキャリアパスは、人事関連の書籍を読んでいるとよく目にする内容で、特に珍しいものではありません。 ただ、この本の序盤に、書籍の目的に関する以下のよう
2022年の仕事を振り返る - YOMON8.NET
2022年も終わりに近付いてきたので今年も振り返りを書こうと思います。 使ってきた技術 仕事への関わり方を見直した 所属している会社が上場した 今年読んで印象に残っている書籍 買って良かったもの このブログも10年目です 最後に 使ってきた技術 使っている技術分野は2020年から変わらず全方位戦です。AWS、Azure、GCPは全て使っていますし、SORACOMも使っている。新サービス検証もすれば、アーキテクチャ設計もしていれば、コードも毎日書いています。 今年の特徴だったのはAI/ML関連の開発が増えたことです。といっても私が機械学習のコード書くわけではありません。MLOpsと呼ばれる分野になると思いますが、MLをITサービス内で活用するための開発に多く携わってきました。以下の有名な図のML Code以外の部分です。 引用元：Hidden Technical Debt in Machin
EMR上のApache AtlasにAWS Glueのデータカタログ情報をインポートしてみた - YOMON8.NET
Hiveのメタデータ管理ができるApache Atlasですが、こちらのブログを参考にGlueのカタログ情報もインポートしてみました。 aws.amazon.com EMRのHiveメタストアとしてGlueを使うための設定を準備 EMRクラスタの起動 EMRクラスタへ接続 Glue接続確認 AtlasへHive(Glue)のデータをインポート AtlasへGlueのデータカタログのインポート Atlasへ接続 EMRのHiveメタストアとしてGlueを使うための設定を準備 こちらを参考に設定ファイルの準備 $ cat <<EOF > ./glue_settings.json [ { "Classification": "hive-site", "Properties": { "hive.metastore.client.factory.class": "com.amazonaws.glue
新しくクラウドサービスを学ぶ時Infrastructure as Codeから始めてる話 - YOMON8.NET
背景 クラウドサービスのキャッチアップにおける課題 サービス間連携が多い 新機能追加のスピードが速い すぐ忘れる 勉強時にインフラコードを書くようにしてみた 以前のステップ 現在のステップ Infrastructure as Codeについて 使っているツール メリット 細部まで整合性の取れた設計がしやすい 抜け漏れが少なくなる 知識の整理・蓄積ができる デメリット さいごに 背景 私は仕事柄複数のプロジェクトに並列で関わらせていただいてます。 プロジェクト毎に利用しているクラウドサービスも様々で、更に最近はマルチクラウドを利用されているお客様も増えてきたことから、結果としてAWSとAzure、GCPを常に並列で触っています。 例えば去年の振り返り記事を見てみても様々なサービスを利用しました。 yomon.hatenablog.com 扱っているサービスの多さから、同僚やお客様に勉強法を聞
GCP Cloud IAP経由のSSH接続にグローバルIP制限を組み込む - YOMON8.NET
Cloud IAP(Identity-Aware Proxy)を使うと所謂Bastion(踏み台)インスタンスを構築せずとも、GCPに安全に接続できる構成が作れます。そこにGlobal IP制限も加えられるか設定してみました。 cloud.google.com 前提 [組織作業] グローバルIP制限用のアクセスレベルを作成 IAMユーザ準備 ネットワークとVMの作成 ネットワーク作成 IAPからのアクセス用Firewallルール作成 VMの作成 IAPにてGlobal IPの制限付きのアクセス許可設定 挙動確認 前提 この機能の主要コンポーネントのAccess Context Managerを利用するためには、組織が登録済みであることが必要です。 cloud.google.com [組織作業] グローバルIP制限用のアクセスレベルを作成 Access Context Managerにてアク
LambdaのLayer機能活用してpandas,pyarrow,s3fs使ってParquet変換する簡易ETL処理を実装する - YOMON8.NET
小さなファイルのETLにGlueを使うのがもったいなかったので、Pandasやpyarrowで実装しました。 Lambda Layerにpandasとpyarrowを追加 Layerに登録するパッケージを作成 パッケージをアップロード Lambdaのコード エラー対応 参考 Lambda Layerにpandasとpyarrowを追加 Layerに登録するパッケージを作成 今回利用するのはpandasとpyarrow、s3fsなのですが少し工夫が必要でした。 ３つを全てを一つのZIPに纏めるとLambda Layerの50MBの制限にかかってしまいます。 3つにZIPを分割するとLambdaにレイヤー追加する時の制限にかかってしまいます。 Layers consume more than the available size of 262144000 bytes 大きなnumpyなどを共有
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
