データパイプラインにおいてべき等性を保つために - Qiita
本記事ではデータパイプラインにおいてべき等性（Idempotent）を保つための方法について、パターン分けして整理してみたいと思います。 1. はじめに データパイプラインでは べき等性（Idempotent）と言われる「ある操作を何度実施しても同じ結果になる」という条件を満たすことが好ましいと言われています。 ただし、べき等性を満たすためには具体的にどうすれば良いかというのは結構難しいので、自分の頭の整理も兼ねてパターンに分けて考えてみたいと思います。 単純化のために操作を1回実行した結果と2回実行した場合を考えたいと思います。 同じ状態（上図の「初期状態」）から操作を1回実行した場合と2回実行した場合の結果の状態（それぞれ「状態X」「状態Y」）が同じであれば、べき等性を実現できていると本記事では考えます。 1回実行時の操作 (A) と2回実行した場合の2回目の操作 (C) は、正しい入
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
Evolutionary Optimization of�Model Merging Recipes (2024/04/17, NLPコロキウム)
Evolutionary Optimization of�Model Merging Recipes (2024/04/17, NLPコロキウム)
体制を考えるときに意識していること - id:onk のはてなブログ
1on1 で伝えたので外にも書いておく。 プロダクトやチーム、メンバーのフェーズ まず現状分析。 自プロダクトは PPM で言う花形、金のなる木、問題児、負け犬のいずれに当たるのか 勢い MAX でめっちゃ盛り上げるのか、地味に役割を達成するのか。自チーム全集中なのか他チームのフォローに回るのかみたいな方針が変わる 自チームは エラスティックリーダーシップ で言うサバイバルモード、学習モード、自己組織化モードのいずれに当たるのか チームを改善しなければいけないのか、プロダクトだけを見ていて良いのか。チームで改善できるのか、リーダーや外部の強い意志が必要なのか 各メンバーは、期待される役割において SL理論 で言うとどのフェーズなのか 指示的行動が必要だとマイクロマネジメントすることになり、マネージャ/メンター的な人/行動を増やす必要がある 役割を網羅しているか こういう軸で考えていることが
「共通基盤」を超えよ！ 今、Platform Engineeringに取り組むべき理由
OpenShift.Runで登壇した資料です。
入門 継続的デリバリー
継続的デリバリーとは、コード変更を必要に応じて迅速かつ安全に、継続的にリリースできるようにするための開発手法です。本書は、初めて継続的デリバリーに取り組む読者向けに、必要な知識とベストプラクティスをていねいに紹介する入門書です。基本的な概念や技術、アプローチの解説はもとより、章ごとに事例を使用しながら、継続的デリバリーを実践する際に直面するさまざまなシナリオを取り上げ、その全体像・世界観を包括的に理解することができます。 序文 はじめに 第1部 継続的デリバリーとは 1章 『入門 継続的デリバリー』へようこそ 1.1 継続的デリバリーは必要？ 1.2 なぜ継続的デリバリー？ 1.3 継続的デリバリーとは 1.4 インテグレーション 1.5 継続的インテグレーション 1.6 何をデリバリーするのか？ 1.7 デリバリー 1.8 継続的デリバリーと継続的デプロイメント 1.9 継続的デリバリー
最初の100日で何をすべきで何をすべきではないか？｜miyasaka
人は無能に到達するまで昇進するという「ピーターの法則」というのがある。 「階層型の組織においては、どんな人も、昇進を繰り返すことでいずれは能力の限界に達し、十分に職責を果たせなくなって無能化する。その結果、「あらゆるポストは、職責を果たせない無能な人間によって占められる」という。 https://mba.globis.ac.jp/about_mba/glossary/detail-20919.html グロービスとくにリーダーが劇的な環境変化に異動、転職、抜擢で放り込まれるとこの法則が強烈に作用する。なぜなら周りの方が知識や経験があり自分がその組織内で最もそれがない人になってしまうからだ。一方で、この人は何かしてくれるのでは？という期待を関係者からは持たれる。「組織内で最も無能なのに最も期待される」という特殊状態を過ごすことになる。 12年ほど前に突然、社長をというキャリアチェンジを経験を
JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる
ちなみに jq がインストールされている必要はありません。 jnv does not require users to install jq on their system, because it utilizes j9 Rust bindings. https://github.com/ynqa/jnv#installation JSON navigator and interactive filter leveraging jq Usage: jnv [OPTIONS] [INPUT] Examples: - Read from a file: jnv data.json - Read from standard input: cat data.json | jnv Arguments: [INPUT] Optional path to a JSON file. If not prov
XZ Utilsの脆弱性 CVE-2024-3094 についてまとめてみた - piyolog
2024年3月29日、Linux向け圧縮ユーティリティとして広く利用されているXZ Utilsに深刻な脆弱性 CVE-2024-3094 が確認されたとして、研究者やベンダがセキュリティ情報を公開しました。この脆弱性は特定の条件下においてバックドアとして悪用される恐れがあるものとみられており、当該ソフトウエアのメンテナのアカウントにより実装されたソフトウエアサプライチェーン攻撃の可能性が指摘されています。ここでは関連する情報をまとめます。 脆弱性の概要 xzとは主要なLinuxディストリビューションに含まれる汎用的なデータ圧縮形式で、今回問題が確認されたのはその圧縮・解凍ユーティリティであるliblzma(API)を含むXZ Utils。CVE-2024-3094が採番されており、Red Hatによって評価されたCVSS基本値はフルスコアの10。影響を受けたライブラリをリンクしているssh
OpenMetadataとdbtによるデータカタログの構築
No one is an island. Learnings from fostering a developers community.
30歳エンジニア転職で役に立たなかった経験と役に立った経験 - Qiita
はじめに いつも聞いているポッドキャスト番組で、エンジニア転職について生々しくリアルな話が聞けたので、紹介します。今の自分がやっている仕事が市場価値を上げられているのか？ と日々の業務を振り返るきっかけになりました。詳しく知りたい方は是非、聞いてみて下さい。 転職の前提 かいちさん（転職した人）の紹介 情報系の大学院卒 中堅のバックエンド・エンジニア(30代) 社会人7年目 主に使っている言語: python, PHP アジャイル開発ができることを転職の軸に据えた 転職して感じたこと ① 30代は中堅の仕事を求められる → リーダー的立場が求められる ② 若い時の業務経験が転職の際に活きてくる → 20代はとにかく挑戦する回数を増やそう ③ 転職はどのタイミングでやってくるかわからない → 常に職務経歴書を更新し続けよう 結論 重要なポイント ・チームで開発した経験があるか？ ・AWSなど
“LLM for SRE“の世界探索 - ゆううきブログ
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
JSON Canvas
An open file format for infinite canvas data. Infinite canvas tools are a way to view and organize information spatially, like a digital whiteboard. Infinite canvases encourage freedom and exploration, and have become a popular interface pattern across many apps. The JSON Canvas format was created to provide longevity, readability, interoperability, and extensibility to data created with infinite
マネージャーの評価基準（シート・動画付き）｜長村禎庸@EVeM
はじめに約1年ぶりのエントリーになります。今回はマネージャーの評価基準というタイトルで書きたいと思います。 マネージャーを評価する基準というのはありそうでないなと、この1年色々な経営者・マネージャーの方と話す中で感じていました。 その時残すべき成果が出ていればマネージャーとしてOKとしている会社もあれば、「マネージャーとしての行動リスト」のようなものが5個〜多くて30個程度であり、その行動リストを評価とまではいかなくとも、チェックリストのように使っている会社もあります。 しかし、前者の場合は「成果が出ていれば色々な犠牲が出てもよし」となりますし、後者の場合は「行動リストのうち今必要が無いことも行動せよ」となるので、両方ともマネージャーを評価する基準としては何か違うなと違和感を覚えてました。 しかし、何を以て良いマネージャーなのか、それを判断する基準がなければ、マネージャーに何を求めて良いか
次世代データ基盤：データレイクハウスを Google Cloud で実現する
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
【一条工務店】電動ハニカムシェードをスマートホームで操作 赤外線でハード作製編 - 一条工務店 i-smart 改造記
電動ハニカムシェードをスマート化する！ 道具 必須 スマートホーム機器 スマートホーム機器と連携する赤外線送受信機器 赤外線リレーモジュール 一条工務店 電動ハニカムシェード 純正リモコン ACアダプタ 配線 T6ドライバー はんだ道具一式 あると便利 Switch Bot スマートプラグ ワンタッチコネクタ 適当な大きさのプラケース ハード部分の作製 完成品 リモコンの分解 赤外線リレーモジュールとリモコンをつなぐ ACアダプタと赤外線リレーをつなぐ 赤外線リレーの設定 あとは適当なケースにつめるだけ ソフトの設定は次回 電動ハニカムシェードをスマート化する！ 一条工務店の電動ハニカムシェードをスマートホーム機器で実際に操作できるようにします。いわゆるスマート化ですね。今回はハードを作るところまでです。ソフトの設定は次回まとめる予定です。 手法はいろいろあって、その辺は以下の記事でまとめ
RFリモコン（電波式リモコン）をアレクサで使えるようにした！｜koro
前回の更新以降もスマートアイテム（？）をいくつか導入しているのですが、試行錯誤の部分が多くて記事にするに至っていませんでした。 今回は部屋のシーリングライトを買い替え、アレクサで音声認識できるようにするまでの顛末です。 いま住んでいるマンションには居室用のシーリングライトが3台。 1台はLED。 2台は32w+40wの丸形蛍光灯でそのうち1台はリモコンすらないやつ（マンションに備え付け） で、先日ついにリモコン付きの蛍光灯が球切れ。 蛍光管だけ交換すればまだまだ使えるっしょ！ とホームセンターに行ってみると2本セットで2500円… 蛍光管ってそんなに高かったっけ（高くはない） もしかしてその値段出すなら本体ごとLEDに替えたほうがいいのでは？ amazonを覗いてみると2000円〜3000円で沢山販売されています（アリエクだと国内規格に合うものが見つけられない） 安くなっていた物から良さげ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMの現在 - Speaker Deck
プラットフォーム エンジニアリング ガイド
変更容易性と理解容易性を支える自動テスト（2024/02版） / Automated Test Knowledge from Savanna 202402 YAPC::Hiroshima edition
