最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
中国の昨年2023年の出生人口は902万人。今世紀以降のピークだった2016年の1786万人から、わずか7年間で約半分に減った。 この事実が与える影響は甚大だ。中国社会ではこれから数十年かけて幼稚園から小・中学校、高校・大学への進学、新卒就職、結婚・出産など、人の生活にかかわる、さまざまなイベントが順番に「7年で半分」のペースで縮小していくことになる。 出生数急減の背景には、出産や子育て、進学などの費用の高さに加え、子供を育てやすい社会・労働環境の不足などの問題がある。しかし、それ以上に大きいのは、政府の人口政策に対する庶民の不信感だ。ついこの間まで非人道的と思われるまでの措置を講じて子供の数を減らしてきたのに、いつの間にか「出生数の減少は国家的危機」と、多産奨励の方向に転じた。国策としての「計画生育」は破綻したのに、政策の過ちを認める様子もない。過去に泣く泣く出産を断念した親たちの思いは
Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし
今、中高生にSFを読んでもらうには 2024年5月6日のSFセミナー(全電通労働会館）にて講演
How Race, Age and Gender Shape Attitudes Towards Mental Health
使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出すデータ基盤を開発するためには良いツールを選定するだけでなく、「どの技術をいつのタイミングで導入するか」「関係者をどのように巻き込むか」といった観点も重要です。この発表では、製造業のDXを進めるCADDiが直面したデータの課題と、利用状況に合わせて段階的にデータ基盤を拡充していった過程についてご紹介します。
データで見る日本保守党の「善戦」― どんな人が投票したのか、独自調査で分析する（米重克洋） - エキスパート - Yahoo!ニュース
4月28日に行われた衆院東京15区補欠選挙では、日本保守党公認の飯山陽氏が選挙前の下馬評を覆して「善戦」した。立憲民主党の酒井菜摘氏が終始リードしていた一方、他の4候補が小差で横並びの「2番手争い」を繰り広げたすえ、飯山氏は4位（得票率14.2%、2万4264票）につけた。 日本保守党は政治団体であり、国政政党ではないため選挙報道のうえでは「諸派」として取り扱われていた。こうした「諸派」の国政選挙初陣としては一定の存在感を示す結果となった。 そこで、今回は、投開票日1週間前に江東区内の有権者を対象にインターネットで実施していた情勢調査をもとに、どんな有権者が飯山氏に投票したのかを分析し、今後の日本保守党の支持拡大の可能性を読み解く。 調査の概要は末尾に記載した。 どの政党の支持層から得票したのか？日本保守党は今回の東京15区補選が国政選挙の「初陣」だった。日本保守党の得票がどの既成政党を支
《この記事は約 3 分で読めます（1分で600字計算）》 公益社団法人全国出版協会・出版科学研究所が発表した2023年のコミック市場推計を元に、コミックを除く書籍・雑誌（いずれも紙＋電子）市場を算出した。コミック6937億円に対し、書籍（コミックを除く）が6369億円、雑誌（コミックを除く）が2657億円。市場占有率はコミック43.5％、書籍（コミックを除く）39.9％、雑誌（コミックを除く）16.6％となった。 各市場の推移 出版科学研究所は1月25日に、2023年の出版市場を発表している1 2023年出版市場（紙＋電子）は1兆5963億円で前年比2.1％減、コロナ前の2019年比では3.4％増 ～ 出版科学研究所調べ〈HON.jp News Blog（2024年1月25日）〉 https://hon.jp/news/1.0/0/46198。しかし、この時点での紙の書籍市場6194億円に
問い合わせ対応でエンジニアが疲弊しないようにやったこと - CARTA TECH BLOG
これは何 こんにちは。CARTA HOLDINGSの事業部の1つである、fluctでエンジニアをしている宮前です。 弊社のDATA STRAPチームでは、ユーザーからの問い合わせ対応が逼迫し、エンジニアの開発効率が大幅に低下していました。そこで、この課題を解決するため、様々な施策を実施しました。 その結果、今は以前と比較してかなり開発に集中できる時間が増えました。 この記事ではやった施策でうまくいったこととうまくいかなかったことをまとめます。 前提として、問い合わせそのものが悪いわけではありません。むしろ、「こういった機能があれば良いのでは?」といった提案などは、プロダクトの改善につながる好機と捉えています。また、仕様の不明確さに関する質問もドキュメントの整備や仕組みの改善に役立ちます。問題は、適切にユーザーの要望をハンドリングできていないことです。このままでは、ユーザーとエンジニアの両者
Dive deep into security management: The Data on EKS Platform | Amazon Web Services
AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In
ビーマップと子会社であるMMSマーケティングは、読売新聞東京本社（以下 読売新聞）と連携し、読売新聞および読売グループが持つ顧客データと、ビーマップおよびMMSマーケティングが実施するレシート投稿型の販促キャンペーンにおける応募者の購買データ及び属性データと紐づけし、読売新聞の広告配信システムに活かす新たなサービスを開始しました。 ビーマップおよびMMSマーケティングが食品メーカーや消費財メーカー、ならびに流通企業のキャンペーン向けに開発し、既に多くのキャンペーンで採用されているレシートの自動読取によって、応募者情報の蓄積と抽選を行うシステムに読売新聞が着目しました。キャンペーンの応募者がその応募にあたって実際に購入した商品の情報をもとに、応募者の購買行動を追跡し、そのデータを蓄積していくことで、次回以降のキャンペーン実施時に「より応募の可能性の高い顧客」に対して集中して広告を打ち、その効
オーケー: Google Cloud を用いた開発により、データ ウェアハウス刷新やアプリ開発などを短期間で実現 | Google Cloud 公式ブログ
オーケー: Google Cloud を用いた開発により、データ ウェアハウス刷新やアプリ開発などを短期間で実現 1 都 3 県にディスカウント・スーパーマーケット「オーケー」を展開するオーケー株式会社（以下、オーケー）は、2020 年に Google Cloud を導入。BigQuery を活用したデータ分析基盤でデータに基づく業務の高度化・効率化を推進しています。その後、2022 年 10 月には顧客向けスマートフォンアプリを Firebase で構築・配信するなど、Google Cloud 活用をさらに推進。そんな同社の Google Cloud 活用とその成果、今後の展望について伺いました。 利用しているサービス: BigQuery, Firebase, Cloud NAT, Cloud Armor, Identity Platform など BigQuery を用いたデータ ウェ
2024年4月22日: データクラウドを提供するSnowflake合同会社（所在地：東京都中央区、社長執行役員：東條 英俊）は、株式会社インテージ（本社：東京都千代田区、代表取締役社長：檜垣 歩、以下：インテージ）の全国小売店パネル調査「SRI+ ® 」、及び全国消費者パネル調査「SCI®」の集計・加工データをSnowflakeへ連携するサービスを開始したことをお知らせいたします。本サービスを利用することで、Snowflakeのデータ共有機能であるSnowflake Secure Data Sharingを用いて、提携先企業のSnowflake環境にデータを連携します。連携されるデータは、集計済みデータとして連携されるため、そのままBIツール等での可視化を行い、すぐにデータを活用することができるようになります。 SnowflakeのSecure Data Sharingは、データをリアルタ
トラストを担保したプラットフォーム共有の新たなエコシステムで社会課題解決に挑む - 日経ビジネス電子版 Special
富士フイルムグループにおけるDXが着実に進行している。同グループはDXをステージⅠ～Ⅲの3段階で定義しており、各事業がスケールアップやステージアップに向けた取り組みを加速している。ステージⅠでは価値の継続提供、Ⅱでは価値の最適化、Ⅲでは持続可能性などが重要なテーマだ。 「当社はCSR計画『SVP2030』で、事業活動を通じた社会課題解決、サステナブル社会の実現へのさらなる貢献を掲げています。こうした上位目標と整合する形で、DXロードマップを策定しました」と富士フイルムホールディングスの杉本 征剛氏は語る。 同社のDXで重要な位置を占めるのが、デジタルプラットフォームだ。事業領域ごとに個別最適化されたデータやインフラではなく、プラットフォームを共通化してDXを推進している。ただし、DXのステージアップに伴い、外部とのつながりは密になる。ステージⅢになるとパートナーやサプライヤーとの連携は不可
手書き漢字認識 - sljfaq.org
手書き漢字認識です。マウスを使って四角枠の中に漢字を書いてみてください。 ※出来るだけ正しい書き順で書くように注意してください。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
中国の出生数が「7年間で半分」に急減 その根底にある根深い「不信感」とは 次世代中国
神戸市さん、データ利活用しすぎ……またまたやってくれました！ 無料で誰でも使える「統計ダッシュボード」拡充。新たに「日本の地域別将来推計人口」と「住民基本台帳人口移動報告」を公開【地図と位置情報】
話題のローコードツール「Dify」で生成AIアプリを作ってみよう！ - Qiita
2023年出版市場（紙＋電子）の占有率はコミック43.5％：書籍（コミックを除く）39.9％：雑誌（コミックを除く）16.6％に ～ 出版科学研究所調査より | HON.jp News Blog
ビーマップと読売新聞、顧客会員データと購買データを活用した販促キャンペーンサービスを実施 | RTB SQUARE
インテージ、パネル調査データのSnowflake連携サービスを開始 - Snowflake