最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし
今、中高生にSFを読んでもらうには 2024年5月6日のSFセミナー(全電通労働会館）にて講演
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装de:code 2017
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
データで見る日本保守党の「善戦」― どんな人が投票したのか、独自調査で分析する（米重克洋） - エキスパート - Yahoo!ニュース
4月28日に行われた衆院東京15区補欠選挙では、日本保守党公認の飯山陽氏が選挙前の下馬評を覆して「善戦」した。立憲民主党の酒井菜摘氏が終始リードしていた一方、他の4候補が小差で横並びの「2番手争い」を繰り広げたすえ、飯山氏は4位（得票率14.2%、2万4264票）につけた。 日本保守党は政治団体であり、国政政党ではないため選挙報道のうえでは「諸派」として取り扱われていた。こうした「諸派」の国政選挙初陣としては一定の存在感を示す結果となった。 そこで、今回は、投開票日1週間前に江東区内の有権者を対象にインターネットで実施していた情勢調査をもとに、どんな有権者が飯山氏に投票したのかを分析し、今後の日本保守党の支持拡大の可能性を読み解く。 調査の概要は末尾に記載した。 どの政党の支持層から得票したのか？日本保守党は今回の東京15区補選が国政選挙の「初陣」だった。日本保守党の得票がどの既成政党を支
2024/04/16(火) に行われた イベントの登壇資料です 先達エンジニアに学ぶ 思考の現在地 Online Conferencehttps://findy.connpass.com/event/313119/
《この記事は約 3 分で読めます（1分で600字計算）》 公益社団法人全国出版協会・出版科学研究所が発表した2023年のコミック市場推計を元に、コミックを除く書籍・雑誌（いずれも紙＋電子）市場を算出した。コミック6937億円に対し、書籍（コミックを除く）が6369億円、雑誌（コミックを除く）が2657億円。市場占有率はコミック43.5％、書籍（コミックを除く）39.9％、雑誌（コミックを除く）16.6％となった。 各市場の推移 出版科学研究所は1月25日に、2023年の出版市場を発表している1 2023年出版市場（紙＋電子）は1兆5963億円で前年比2.1％減、コロナ前の2019年比では3.4％増 ～ 出版科学研究所調べ〈HON.jp News Blog（2024年1月25日）〉 https://hon.jp/news/1.0/0/46198。しかし、この時点での紙の書籍市場6194億円に
データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること
さがらです。 ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S
Dive deep into security management: The Data on EKS Platform | Amazon Web Services
AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
話題のローコードツール「Dify」で生成AIアプリを作ってみよう！ - Qiita
PandasからPolarsへ移行した方がいいのか - Qiita
日本におけるデータエンジニアリングのこれまでとこれから
2023年出版市場（紙＋電子）の占有率はコミック43.5％：書籍（コミックを除く）39.9％：雑誌（コミックを除く）16.6％に ～ 出版科学研究所調査より | HON.jp News Blog
実験の再現性を高めるデータバージョン管理（DVC）の紹介 - techtekt
最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点） | DevelopersIO