最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
Intro CSRF という古の攻撃がある。この攻撃を「古(いにしえ)」のものにすることができたプラットフォームの進化の背景を、「Cookie が SameSite Lax by Default になったからだ」という解説を見ることがある。 確かに、現実的にそれによって攻撃の成立は難しくなり、救われているサービスもある。しかし、それはプラットフォームが用意した対策の本質から言うと、解釈が少しずれていると言えるだろう。 今回は、「CSRF がどうして成立していたのか」を振り返ることで、本当にプラットフォームに足りていなかったものと、それを補っていった経緯、本当にすべき対策は何であるかを解説していく。 結果として見えてくるのは、今サービスを実装する上での「ベース」(not ベスト)となるプラクティスだと筆者は考えている。 CSRF 成立の条件 例えば、攻撃者が用意した attack.examp
2023年はコロナ禍の反動か大作映画も数多く公開され、この記事に入らなかったものも含めて全体的にクオリティも高く、豊作だったと思う。 2024年もその傾向が続いているようで、ついでに面白い近作も紹介したいと思いながら記事を書くのを先延ばしにしていたらどんどん分量が増えてしまったので、できるだけ早く別建てで紹介したい。 という訳で、とりあえず2023年のベスト3と面白かった作品を挙げる。 第1位 『リバー、流れないでよ』 （公式サイト） 温泉街の老舗旅館が2分間のループに囚われる話。 持論だが、ループ物は観客から時間の感覚を切り離す反面、場面に繰り返し映し出される場所の魅力が問われる構造なのではないだろうか。 この作品では、老舗旅館のお勝手、ロビー、客間、別館という適度に非日常的な場所を通じ、複数のスタッフや宿泊客が関わることで、繰り返しを飽きずに楽しめる。 そしてなにより、裏手の小川で恋人
中級Git操作
今回の記事の内容はGitHub共同創業者のScott Chacon氏の「Pro Git」と同氏の今年の「So You Think You Know Git」（Gitがわかっているとでも思っているか？）発表をベースにしている。 コンフィグ ここでコンフィグにてデフォルトとして指定して損がないオプションをいくつか紹介します。 git rerere git rerereは"reuse recorded resolution"（記録ずみ解決方法を再利用）の略語になっている。 名の通りマージコンフリクトがどう解消されたかを記録し、次に同じようなコンフリクトが発生した際、同様の解決方法を自動的に適用するためのコマンドです。 また、基本的にデフォルトにしてもときに差し支えないため、ぜひgit config --global rerere.enabled trueを実行してみてください。 git main
96歳ともなると、これまでに色々な景色に遭遇してきている。思い出してみると、多くは色々な場面での家族の姿、仕事上で出会した色々な場面、国内、国外の旅行で遭遇した様々な景色など、無数の光景が思い出される。しかし、そんな中で奇景としか言えないような、特別変わった、忘れることの出来ない景色を三つ挙げるとすれば、下記の三つということになるのではなかろうか。 １）1945年3月13日の大阪大空襲 ２）同年8月6日の広島の原爆投下 ３）血小板数低下による自らの両脚全体の点状出血 これらそれぞれについては、すでに書いているので委細は省略するが、先ずは、空襲の時には大阪市内の天王寺駅近くに住んでいたので、見渡す限りの黒い夜空から、一面に火が落ちてくる景色である。無数の焼夷弾が燃えながら、まるで花火のように、光り輝きながら落ちて来たのであった。見上げて、思わず一瞬、綺麗だなと感じたものである。 それがその後
2.2k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
Databricks Container ServiceでTensorRT-LLMを動かしてみた - NTT Communications Engineers' Blog
本記事ではDatabricksのDatabricks Container Serviceを用いてNVIDIA社の推論ライブラリであるTensorRT-LLMを実行可能なNotebook環境を構築する方法を紹介します。 目次 目次 はじめに Databricks Container Service NVIDIA TensorRT-LLM 解決したいこと TensorRT-LLM Container Imageの作成 Databricks Containers ベースイメージの変更 Pytorch バージョンの変更 TensorRT-LLMのインストール 動作確認 Databricks環境設定 TensorRT-LLMのインポート Llama2 HF-7b-instruct モデルの変換 TensorRT-LLMの呼び出し まとめ 参考文献 はじめに こんにちは、NTTコミュニケーションズの露
当ブログではアフィリエイト広告を利用います ma-chanの健康グッズも読んでね➡➡ マー坊です(^^♪ 本日もワンちゃん ニャンコに関する商品を紹介します 欲しい商品を探す手間と 大変さを緩和出来て楽しんで見てもらえるブログ作りを目指しているので どうぞよろしくお願い致します リンク 子犬たちの逃走 『101匹ワンちゃん』の子犬たちの逃走シーンは、物語のクライマックスであり、視聴者に強い印象を与えます12345。 このシーンは、クルエラ・ド・ヴィルの屋敷で監禁されていた子犬たちが、自分たちの力で逃げ出すところから始まります12345。 子犬たちは、クルエラの手下、ジャスパーとホーレスがテレビを見ている隙に、猫のチーブスの助けを借りて逃げ出します12345。しかし、その逃走はジャスパーとホーレスに見つかり、彼らは子犬たちを追い詰めます12345。 その時、子犬たちは物置にあった煤で自分たち
というBIS論文をMostly Economicsが紹介している。原題は「The impact of artificial intelligence on output and inflation」で、著者はIñaki Aldasoro、Sebastian Doerr、Leonardo Gambacorta、Daniel Rees（いずれもBIS）。 以下はその要旨。 This paper studies the effects of artificial intelligence (AI) on sectoral and aggregate employment, output and inflation in both the short and long run. We construct an index of industry exposure to AI to calibrat
お は よ う ご ざ い ま す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
令和時代の API 実装のベースプラクティスと CSRF 対策 | blog.jxck.io
2023年に観た面白かった映画 - whkr’s diary
命に関わる三大奇景 - drfridge’s blog 老生常談
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
『１０１匹わんちゃん』⑤クライマックス - マー坊のオススメ
人工知能が生産とインフレに及ぼす影響 - himaginary’s diary
お は よ う ご ざ い ま す - 光と風と時の部屋