この記事は trocco Advent Calendar 2023 の6日目の記事となります。 はじめに 今回はtroccoの内部でも利用されているETLのためのOSSであるEmbulkについて、core部分のソースコードリーディングを通して、そのしくみを紐解いていきたいと思います。 おことわり Embulkの基本的な使い方などについては解説しません。 筆者はembulk-coreにコントリビュートしているわけではないので、間違いなどがあればお気軽にご指摘ください。 今回見ていくcoreの実装自体は、比較的変更が少ないとされる各種プラグインが従うべきインターフェース部分(embulk-spi)から隠蔽されているため、今後この記事の内容が正しくなくなる可能性は容易にあります。 Embulkにはguessやpreviewやresumeといった機能も含まれていますが、今回は単純なembulk r

OpenSSLプロジェクトによれば、今回のアップデートは「緊急」（CRITICAL）の脆弱（ぜいじゃく）性に対処するためのものだ。リリースに備えてユーザーには準備期間が設けられており、公開され次第迅速にアップデートを適用してほしいという意図がうかがえる。 OpenSSLでは、2014年に見つかった「CVE-2014-0160」いわゆる「Heartbleed」の名称で呼ばれる深刻な脆弱性が話題を集めた。それまで安全な通信を実現する基盤として広く利用されてきたOpenSSLに脆弱性が存在していたという事実は驚きを持って迎えられた。 今回リリースが予定されるOpenSSL 3.0.7で修正される脆弱性の深刻度は「緊急」とされており、CVE-2014-0160よりもリスクが高い可能性がある。今後の情報アップデートに注視し、迅速に対処することが求められる。 関連記事 世界でサイバーセキュリティ人材は

primeNumber（プライムナンバー）の代表 田邊雄樹が、さまざまな業界で活躍するデータ活用のキーパーソンにお話を伺うインタビュー企画「データ×〇〇」。第1回は住友生命保険 情報システム部上席部長代理の中川邦昭さんです。同社は、さまざまな生命保険商品やサービスを扱い、「スミセイ」の愛称で知られる1907年創業の老舗企業です。近年、社内システムの刷新を実施。DXを進める一方で、2018年に健康増進型保険“住友生命「Vitality」”を発売。1国1社のみがライセンスを結んでいるサービスですが、その導入はデータ活用やシステム管理のスタンスを大きく変えることになったと言います。その導入の裏側も含め、中川さんが考えるデータの活用や未来との関わりについて伺いました。 中川邦昭さん（情報システム部上席部長代理） 1997年住友生命保険相互会社入社。支社勤務を経て情報システム部門に異動し、資産運用関

primeNumber主催イベント「01(zeroONE)」兼「DataEngineeringStudy番外編」の登壇資料です。掲載内容は収録時点の情報にもとづきます。 https://01.primenumber.co.jp/ https://forkwell.connpass.com/event/237704/

こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ

「CDN」（content delivery network）という言葉からは、Googleのような大企業がいくつもの巨大なハードウェアを管理し、1秒当たり何百ギガビットものデータを処理する様子が想像されます。しかし、CDNは単なるWebアプリケーションです。私たちのイメージとは違いますが、それが事実です。8年前に買ったノートパソコンを使って、コーヒーショップの席に座りながらでも、きちんと機能するCDNを構築できます。この記事では、これから5時間でCDNを開発しようとするときに、直面するかもしれないことを紹介します。 まずはCDNの機能を明らかにしておきましょう。CDNはセントラルリポジトリ（通称：オリジン）からファイルを吸い上げ、ユーザーに近い場所でコピーを保存します。初期のオリジンはCDNのFTPサーバーでした。現在、オリジンは単なるWebアプリとなり、CDNはプロキシサーバーとして機

「えぇーッ!?」である。 先日とある機会があって、お仕事現場の20代の若手社員さんとお話する機会があったのだが、何かの折に、このnoteのタイトルにある発言が出てきた。 「ホント、可能な限り僕らは社内での存在価値？みたいのを低くしておきたいんですよ」 思わず真顔で聞いてしまった。 「な、なんで…？？」 存在価値を低くしておきたい理由ここで誤解しておいてほしくないのは、 僕は基本的に仕事に望む姿勢とかスタンスとか、あるいは何を仕事に求めるか？というモチベーションの部分は人それぞれ自由だと思ってる派だ。 お金のために仕事をしてる人がいてもいいし、 自分の価値を高めるために仕事をしてる人がいてもいい、 その業界に憧れがある、とか理由は何だっていい。 ただ、自分から率先して 『社内における自分の価値を低くしておきたい』 と言い出す人にはこれまで会ったことがなかったので少なからず驚いた。 だってあな

Google Cloud Day: Digital ’21 の発表資料です。 https://cloudonair.withgoogle.com/events/platinum_primenumber?talk=sessionvideo ---------------------------------------------------------------------------------------------------- データドリブンに事業を推進するメルカリグループのデータ分析基盤を紹介します。 BigQuery とマネージド ETL & ワークフローサービス trocco® の活用で、Google Cloud 領域外の新規データ連携毎に発生するフルスクラッチ開発から脱却し、希少なデータエンジニア工数を創出。決済データと紐づけた営業活動分析にも成功しています。 分析基盤構成

表題の通り、Webサービス（iOSアプリ）を作ったので、使ってみて感想を聞かせてほしい、というのが投稿の目的だ。 ただ、せっかく増田に投稿するのだから、制作物の宣伝に終始するのではなく、開発していて考えたことや制作背景を書き添えたいと思う。ここにはエンジニアやデザイナー、また技術職でなくてもWebサービスに携わる人、インターネットを使って遊ぶことが好きな人が多いはず。そんな人たちの向けの四方山話として、思考の一助となれば幸いだ。 サービスについてChooningという音楽情報の共有サービスを作った。 https://chooning.app/ja/ Spotifyで配信されている曲について、300文字のテキスト情報を添付し、投稿することができる。投稿には、Spotify APIから取得してきた曲名、アーティスト名、アートワーク（＝CDなどのジャケット画像）、30秒のサンプル音声データが付随

予定では、明日の 10 日に webpack のメジャーバージョンである v5 がリリースされますが、まだエコシステムが安定していない可能性があるため、注意してアップグレードを行ってください。 webpack 5 release plan · Issue #11406 · webpack/webpack TL;DR: release planned for 2020-10-10 After nearly 1 year of beta testing and about 2 years of devel... change log: https://github.com/webpack/changelog-v5 移行ガイド: https://webpack.js.org/migrate/5 追加機能 Persistent Caching このバージョンからは今までメモリ上でしか行ってなかった

広告・マーケROIを可視化するためにETL/データ整備した話 #Salesforce #広告アトリビューション #費用対効果 #BigQuery #DataPortal

こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ

こんにちは、SmartHR でフロントエンド開発を担当している @Tokky0425 です。 この記事では、私のプロダクトでの OpenAPI Generator を使ったフロントエンド開発の取り組みを紹介していきます。 目次 OpenAPI とは 「ラクラク分析レポート」の DX 上の課題 OpenAPI Generator とは 実際に generate してみる 生成ファイルを使ってみる 型情報を出力してみる 組み込み・運用の工夫 chokidar で監視する lint-staged に組み込む メリット・デメリット メリット デメリット まとめ OpenAPI とは OpenAPI とは、「REST API のドキュメントの記述形式を定めた仕様」のことを指しています。 簡単な例ですが、下記のような YAML ファイルがあるとします。 schema.yml paths: "/some

How to Lead? Testimonial of a Lead Android Engineer

Data Engineering Study #1 の発表資料です。 https://forkwell.connpass.com/event/179786/ 当日の動画はYoutubeで閲覧可能です。 https://www.youtube.com/watch?v=hFYNuuAaiTg 参考文献 『Software Design (ソフトウェアデザイン) 2020年7月号』 https://amzn.to/30YueL7 『データマネジメントが30分でわかる本』 https://amzn.to/3fmz8Gw

2020/07/09 Embulk & Digdag Online Meetup 2020

以前 DLG Cross というイベントで「データマネジメントなき経営は、破綻する」という講演を行ったところ、とある企業様から「法人営業部のDX（デジタルトランスフォーメーション）を手伝ってほしい」と相談を受け、業務フローの見直しやデータ整備を支援しています。 営業データはこれまで十分に使えていなかったため、新規のデータ連携になります。同社のソフトウェアエンジニア（A氏）に社内調整を進めていただきました。本番データにいきなりアクセスするのは怖いので、トライアル的に行いましょうという会話になりました。 なお、今回の作業を進めるに当たって、primeNumberのCPOである小林さん（@hiro_koba_jp）とembulk-input-kintone開発者である@giwaさんにサポートいただきました。 kintoneの準備 TROCCOの画面を開く前に、kintoneでダミーAppを作成し

NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック

Kubernetesとその関連コードのコードリーディングをする上で知っておくと良さそうなことについて知ってる範囲で雑にまとめてみました 前提知識前提として最低限Kubernetesをある程度触っていて KubernetesはPodとかのリソースと呼ばれるものでコンテナだったりロードバランサーとかを管理するようになっていて実際にDeploymentでコンテナを立ててService/Ingressでコンテナで立てたアプリケーションを外部公開できてコンテナはPodという単位でコンテナをグループ化して同一Nodeで実行されるということを知っているくらいがわかっていればまぁ十分なんじゃないかとは思います あとはKubernetesはGoで書かれているので Goの基礎知識とVSCodeやGolandなどGoのコードを読む際に宣言にジャンプできるようなエディタくらいがあると良いと思います Kuberne

macOS Mojave以降、macOSには時刻に合わせて壁紙が変化する「ダイナミック壁紙」が搭載されています。標準で用意されているダイナミック壁紙以外の、オリジナル・ダイナミック壁紙を配布しているサイトをご紹介します。 標準で用意されているダイナミック壁紙 macOS用に標準で用意されているダイナミック壁紙は、下記の3種類です。 カタリナ 「カタリナ」はmacOS Catalina（10.15）から用意されたダイナミック壁紙です。 モハベ 「モハベ」はmacOS Mojave（10.14）から用意されています。 ソーラーグラディエント 「ソーラーグラディエント」も同様に、macOS Mojave（10.14）から用意されているダイナミック壁紙です。 ダイナミック壁紙配布サイト ダイナミック壁紙の作成にはある程度のスキルが必要なため、配布しているサイト自体少ないのが現状です。 Dynwal