はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
リファクタリングをする際にソースコードの設計からはじめてはいけない - MonotaRO Tech Blog
どうも、レコメンド商品のシステム開発をしている野川と申します。 私は、2021年にモノタロウに新卒入社し、2022年5月からレコメンド商品の開発に関わり始めました。 モノタロウのレコメンド商品は、下の図の①～④の流れでクライアントサイドで表示しています。大部分の処理はJavaScriptで構成しており、UIもそのHTML部分をjQuery(JavaScript)で作成しています。 図：レコメンド商品表の流れ 入社当時私は、ソフトウェアエンジニアとして、「可読性の低いコードは駆逐するべきだ」「読みやすいコードだけが正義である」「理解しやすいシステムだけが皆を幸せにする」と心の底から考えていました。加えて、「なぜ先輩たちは可読性の低いコードを放置して平気なのか？」と疑問を持つこともしばしばありました。 レコメンド商品周りのコードはまさに可読性の低いコードベースとなっていたため、当事者となった私
世はまさに大サブスクリプション時代。この潮流の中で弊社スマートバンクもまた、去る2023年7月12日にB/43プラスというサブスクリプションサービスをリリースしました。 サブスクリプションといえばユーザーに提供されるコンテンツや機能といった直接的な価値に焦点が当たりがちですが、その土台にはサブスクリプションビジネスを成立させるための課金システムがあります。本記事では筆者が行った課金関連の開発を振り返ってみて重要だったポイントや工夫点を伝えてみたいと思います。 すでに世に多くのサブスクリプションサービスがある中で、課金システムの実装はコモディティ化した単純な作業に思えるかもしれません。しかしながら自社サービスにてゼロから実現するとなると、想像よりも多くの思考と意思決定が必要とされる、エンジニアリング観点ではとても奥深い題材といえます。いち開発プロジェクトのケーススタディ、あるいはいちプログラ
DevOpsの負の側面について
トランスクリプト Protsenko氏：私の名前はMykytaです。Netflixで働いています。私の仕事は基本的に、他の開発者が遅くまで職場に残らなくてもいいようにすることです。彼らが午後5時に退社しても生産的であることが私の実現したいことです。私はプラットフォーム組織、つまり生産性エンジニアリング部門で働いており、他のエンジニアのために労力を抽象化しようとしているのです。エンジニアが同じ退屈な技術的問題に何度も対処するのではなく、ビジネス上の問題の解決に集中できるようにします。 いくつか質問させてください。あなたたちのうち何人が、自分で作って自分で動かすという哲学を実践している会社で働いてますか？生産現場との間にゲートキーパーがいないこと、機能や修正をより早く提供できることに満足している人はどれくらいいますか？本番環境で発生したインシデントに対処しているときに、どうすればいいのか分から
この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。
サーバーレスアーキテクチャの数理的理解と分析 #devsumi / Developers Summit 2023 Summer
Developers Summit 2023 Summer で使用したスライドです。 サーバーレスアーキテクチャは強力ですが、同時に冪等性やトランザクションなど特有の考慮事項が必要であり、高い設計力が求められます。ところで、安全なプログラムを書く上で、静的型付き言語は広く利用されていますね。型はいわば実行前に間違いを検出できる仕組みであり、その背後には「プログラムの正しさ」を厳密な数式で記述し分析する理論が存在します。では、同様に「サーバーレスの正しさ」も厳密な数式で記述することは可能でしょうか？本講演ではAWS Lambdaを用いた設計を例として取り上げながら解説します。 イベント概要：https://event.shoeisha.jp/devsumi/20230727/session/4486/ ブログ記事：https://ccvanishing.hateblo.jp/entry/20
はじめに 2023年12月13〜19日の間、ペパボ技術部の新人２名が、株式会社ハートビーツ様ご監修のもとに実施されたインフラ領域に関する研修に参加しました。 目的 本研修を通じて、多くのサービスで利用されるインフラ基盤の汎用的な技術の習得を目指し、今後、業務にジョインする際にスムーズに各ツールや技術を扱えるようにする。 また、インフラ技術に対する距離感を縮め、自信を持って業務に臨めるようにしたい。 研修でやったこと 以下が最終的な構成内容となります。 具体的にはAWSに構築したパブリックなVPC上で２台のEC2の冗長構成をとり、 ロードバランサとしてはALBでHTTP/HTTPSを受けるように構えております。 なお、ドメインの名前解決にはRoute53を活用しています。 サービス運用中のログ取得にはfluentdを利用し、取得した内容はS3に取集しております。 ログの確認はAmazon A
Domain Event
目次 概要 この記事の内容 対象読者 注意事項 前提知識 定義 用途 モデリング 不変性 独立性 汎用情報 個別の情報 Versioning 実装 前提 フレームワーク Domain Eventの処理 型定義 interface DomainEventEnvelope Enum Domain Eventの内部通知 staticなEvent Publisherを用意してAggregateがPublisherを呼び出す 実装例 AggregateのCommandの返り値としてDomain Eventを返す 実装例 Aggregateで保持してGetterで取り出す 実装例 永続化と外部通知 要件 永続化 外部通知 まとめ 参考文献 概要 この記事の内容 Domain Eventは非常にシンプルな概念かつ強力なモデリングパターンです。 モデリングにおいては直感的に扱うことが可能ですが、実装をする
この記事は、Merpay Tech Openness Month 2023 の7日目の記事です。 はじめに こんにちは。メルコイン Payment Platform チームの @sapuri です。 メルコインではマイクロサービスアーキテクチャを採用しており、お客さまによりアプリの操作が行われると、それぞれのマイクロサービスを横断してリクエストが処理されます。 メルコインの Payment Platform は、お客さまの残高の管理や各種帳簿の作成などの決済事業のための基盤となる仕組みを提供しています。 そのなかで、Payment Service は決済トランザクションを管理するサービスとして、下位層のサービスが提供する各種決済手段を利用して、上位層のサービスが共通して利用できる決済 API を提供しています。 この記事ではマイクロサービスアーキテクチャにおける分散トランザクション管理の課
近年、TypeScript を取り巻くエコシステムでは、ユーザーに明示的な型注釈を求めることで、推論や型生成のコストを下げるというアプローチが注目されています。TypeScript 5.5 beta で 発表された --isolatedDeclarations オプションはその代表的な機能ですし、Deno の提供する新しいパッケージレジストリ JSR が提唱している slow types という考え方も同様のアプローチを求めるものです。 この記事では、上記のようなアプローチが提案された経緯や解決したい課題について、TypeScript を利用するエコシステムの状況も踏まえて整理します。 TypeScript を取り巻くツールチェインと型情報を利用する上でのパフォーマンス 皆さんがご存知の通り、TypeScript の型推論は非常に賢く、その機能は日々アップデートされています。特に以下のよう
旧聞ですが、2023/11/13からAmazon ECSが冪等なタスク起動をサポートし、副作用無しに再試行、複数回呼び出せるようになりました。 現時点では、以下のECS APIが冪等性をサポートしています。 CreateService CreateTaskSet RunTask 冪等性を実現する場合、主に次の2通りがあります。 複数回呼び出される前提で、アプリを冪等に実装 一度しか呼び出されない前提で、アプリをシンプルに実装 Amazon SQSを例に取ると、at least onceなスタンダードキューが前者で、exactly onceなFIFOが後者です。 今回のECSアップデートは後者です。ECSタスクの冪等起動対応により、ライブラリ･フレームワークの力を借りながら頑張って冪等に実装していたタスクを、シンプルに実装できるようになることがで期待できます。 ポイント 重要なポイントを述べ
Amazon MSKを用いてMySQLに対してChange Data Captureを実現する - ZOZO TECH BLOG
はじめに こんにちは。基幹システム本部・物流開発部の作田です。現在、ZOZO社内で使用している基幹システムのリプレイスを担当しています。 現在行っているリプレイスでは、既存の基幹システムから発送機能を切り出し、マイクロサービスに移行しています。リプレイスの詳細については、ZOZOBASEを支える発送システムリプレイスの取り組みをご覧ください。 techblog.zozo.com マイクロサービスは発送業務の各作業が完了したことを基幹システムに連携しており、この連携を実現するためにAmazon Managed Streaming for Apache Kafka（以降、Amazon MSK）を採用しました。今回は、サービス間のデータ連携にAmazon MSKを採用した理由やAmazon MSKでの実装例と考慮点について紹介します。MySQLなどのリレーショナルデータベースに対してAmazon
【React】Suspense・SWRは何を解決するのか - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは！フロントエンド開発課所属のkoki_matsuraです！ 今回はものすごく今更感が否めないのですが、Reactのv18で発表された「Suspense」とVercel社が提供しているReact Hooksライブラリの「SWR」によって何を解決してくれるのか、コンポーネントの表示と実装を例に紹介します。 目次は以下のようになっています。 Suspenseとは SWRとは Suspense・SWRが解決すること Suspense・SWR導入におけるコンポーネント表示の変化 Suspense なし SWR なし Suspense あり SWR なし Suspense あり SWR あり Suspense・SWR導入におけるコンポーネント実装の違い Suspense なし SWR なし Suspense なし SWR あり Suspense あり SWR あり まとめ 終わりに Sus
React 19に入る(予定の)新機能のまとめ
こんにちは、株式会社TERASSでコードを書いている坊主、shuji-koikeです。 次期Reactの新機能が話題になっていますが、日本語の情報がまだあまりないようだったので拙い記事ですがまとめてみました。 The Next Major Version of React Reactの開発チームが過去数年間に渡ってreact@canaryチャンネルで開発を進めてきた新機能をreact@latestとしてリリースする準備が整ったようです。 そしてそれらの新機能をreactの次期メージャーバージョンとなるReact 19としてリリースする準備には入ったものの、ドキュメントの整備など正式なリリースまでにはまだ時間がかかるようです。 元記事とは順番が逆ですが、ここからreact@latest、そしていずれreact@19としてリリースされる予定の新機能の一部を要点をまとめて紹介していきます。 Re
LLMを活用したサービスを社内外でリリース・運用した経験のある3社のエンジニアが登壇し、実運用を経たからこそ見えた課題やその解決策、運用を見据えた設計・実装の知見などについて語る「LLM in Practice -3社の実例から見るLLM活用サービスを運用した課題と学び -」。ここで株式会社HRBrainの鈴木氏が登壇。ChatGPTを活用してコードの行数を400行から54行に圧縮した事例を紹介します。 本セッションの概要 鈴木悠大氏（以下、鈴木）：鈴木です。よろしくお願いします。オフラインはそんなに人がいなくて、オンラインにいっぱいいるので超不安です。思ったより聞いている人がいるんだろうなと思いながら話すのが不安です。 HRBrainの鈴木です。大学では経営工学を学んでいて、コードは今も昔もたくさん書いています。HRBrainでは、今はプロダクトチームのテックリードとプラットフォームチー
suzuri.jp ふとしたきっかけでこの「冪等性ロングスリーブTシャツ」を買い、好んで着ている。 エンジニア向けイベントに関連するX（Twitter）での会話の中で発見したものだったので、基本的には「冪等性（べきとうせい）」が通じるエンジニア向けイベントにしか着ていかないつもりだった。しかし、あまり長袖Tシャツを持っていないので、気候に合う日には「まあいいか」と思って着て外出している。 昨日はたまたま、東京都薬用植物園（東京都小平市）まで出向き、開催中の「ケシのパネル展」（4/22～5/15）を見に行った。ものがものだけに、話しかけられない雰囲気にしたいなと思って、わざと冪等性Tシャツを着た。天候的にもちょうどよかった。 それなのに、西武拝島線で最寄りである東大和市駅まであと一駅というところで、発車直前に列車に飛び込んできたお姉さんに「この電車、本川越まで行きますか？」と尋ねられてしまっ
こちらはエムスリー Advent Calendar 2023の15日目の記事です。 デジスマチームの田口です。 去年のアドベントカレンダーでイベント駆動アーキテクチャの記事を書きましたが、ありがたいことにデジスマ診療のサービスとしての成長も著しく、開発も一層活発になっています。 去年と比較してどれくらいスケールしたかはCTOでありデジスマPdMでもある山崎さんがpmconf 2023で発表した資料にもあるので、興味がある方は是非ご覧ください。 speakerdeck.com 本記事では去年の記事でも少し触れた「冪等性」について、デジスマチームでの考え方・実装についてまとめます。 なぜ冪等性が重要か Idempotency-Key ヘッダ デジスマでの実装 おわりに We are hiring!! なぜ冪等性が重要か デジスマ診療（以降デジスマ）はQRコードによるチェックインや自動後払い、オ
[PDF]文字包摂ガイドライン
デジタル庁デジタル社会共通機能グループ地方業務システム基盤チーム 2024/5 【監修】 笹原宏之（早稲田大学 社会科学総合学術院 社会科学部 教授） 山下真里（熊本大学 大学院人文社会科学研究部 准教授） 文字包摂ガイドライン 目次 １．文字包摂ガイドラインの目的................................................. 1 ２．用語の解説 ................................................................ 2 ３．文字同定作業の手順・予備知識・留意点....................................... 7 ４．包摂可能な部首の字形について............................................... 9 ５．包摂可能な基準につい
業務で仮想スクロールを使った改善に関わる機会があり、その辺りの知見を活かしつつ、個人的にやりたかったことなども盛り込みつつ、React 用の OSS を作成しました。 もしよろしければスターいただけると励みになります。 使い方 以下のように通常の div などの場合とほぼ変わらない記述で、簡単に仮想スクロールによるパフォーマンス改善を導入することができます。 一般的に、仮想スクロールは単に表示するだけでもセットアップが面倒だったり、特に高さが未知もしくは可変の要素を表示した時にうまく動いてくれないものも多いですが、その辺りも自動的にハンドリングしてくれます。また各 component の bundle size も約 3kb(全体で約 4kb)なので導入し易いと思います。 import { VList } from "virtua"; export const App = () => {
Djangoの非同期タスク処理用ECS Serviceをスケールインから保護するためにECS Task Protectionを使う - Nealle Developer's Blog
はじめに SREの大木 ( @2357gi )です。最近美味しいお茶漬けを探しています。 今回は非同期タスクの処理を行うECS Serviceのオートスケーリングをいい感じにした話です。 非同期タスクが大量に積まれた際に、それを実行するworkerを柔軟にスケールアウトさせたいですよね。ただ、スケールインする際に処理中のタスクどうするの？中断されちゃったりしない？みたいな課題があると思います。 そこに対して、ECS Task Protectionを使用することによりいい感じにすることができたので紹介したいと思います。 関連技術はだいたい以下の通りです。 Django Celery ECS Service Auto Scaling (ECS Service) 背景 Park DirectのバックエンドはAPIを提供するbackend-api(Django)と非同期タスクの処理をおこなうwor
もうすぐリリースするecspresso v2.3に入る新機能紹介 - KAYAC engineers' blog
SREチームの藤原です。 この記事は 面白法人グループ Advent Calendar 2023 4日目の記事です。 今日は、自分が開発・メンテナンスしている Amazon ECS デプロイツール ecspresso の次のバージョンでリリースされる予定の新機能を、予告として紹介したいと思います。 github.com ecspresso v2.3 に入りそうな新機能 Pull Requestで v2.3 ラベルが付いているもの を新機能としてリリースする予定です。 Secrets ManagerのARNを取得する secretsmanager_arn テンプレート関数 add secretsmanager plugin by fujiwara · Pull Request #618 · kayac/ecspresso · GitHub ECSタスクにSecrets Managerで管理し
YAPC::HiroshimaとYAYAPC::HiroshimaでトークとLTをしました #yapcjapan #yayapc - たまめも(tech)
2024/02/10に行われたYAPC::Hiroshimaにて、 "エンジニアリングマネージャーのための「ぼうけんのしょ」" というタイトルでトークをしました。 マネジメントに携わる方々だけでなく、「チームでいいもの作って届けたい」と考える皆さんにとってのセーブポイント、あるいは旅のしおりとなるような内容を目指したつもりです。 speakerdeck.com 残念ながら2年連続のベストスピーカー賞…とはなりませんでしたが、既にたくさんの方にスライドを見ていただけているようです。嬉しい！FBもお待ちしています。 最初は「エンジニアリング組織論への招待」の内容も加えつつ、より経営に近い内容も盛り込もうとしていたのですが、20分枠だとさすがに難しく、現場を起点とした直接マネジメントに近い領域にフォーカスして構成しました。 自分の行動が次の誰かのきっかけになる、ということ 2024ベストスピーカ
こんにちはスマートバンクでCTOをしております＠yutadayoです。2/10に YAPC::Hiroshima 2024 が開催され、スマートバンクではイベントスポンサーをさせていただきました。 そして、今回もイベントへのスポンサーを通して様々なコミュニティイベントや広報企画を実施してきました。YAPC当日の感想も交えて、今回のスポンサーに関連して行った施策を振り返っていければと思います。 スポンサーの経緯 スマートバンクでは今年もエンジニアが参加するカンファレンスにスポンサーすることを決めておりました。しかし、スポンサーを行うカンファレンスは主にB/43の開発言語として使っているRuby関連のカンファレンスに限定して行う予定だっため、YAPC::Hiroshima 2024にスポンサーを行う予定は当初はありませんでした。 しかし、社内の登壇熱の高まりから、YAPCにプロポーザルを出した
ドメインイベントを伝達するためのモデリング技法 - KAKEHASHI Tech Blog
前回は、アーキテクチャの進化はドメインイベントが起点になるという記事内で、ドメインイベントの重要性を語りました。本稿では、ドメインイベントを伝達する際にシステム要件を満たした上で、どのようにしてデータモデル並びにドメインモデルを象るかを説明します。 なお、ビジネスドメインを深掘りドメインモデルを探索する手法の説明は、世にたくさん解説されているため詳しくはそちらに譲ります。特にAlberto Brandolini氏が提唱するモデリング手法であるEvent Stormingは、ワークショップ形式でドメインイベントを深く理解し、一連の業務プロセスやドメイン領域を探索的に発見することができる手法であり、Event Sourcingを前提とするアーキテクチャと相性がいいので参考にするとよいでしょう。 ドメインイベントのデータモデルの属性 ドメインイベントの記録および伝達に着眼した構成を紹介した前回の
#CTOを破産から救おうチャレンジ クイズ at YAPC::Hiroshima 2024 の紹介と解説 - inSmartBank
去る2024-02-10に取り行われたYAPC::Hiroshima 2024にて、弊社スマートバンクは椅子スポンサーをさせていただきました。椅子にチラシを掲載する権利を得た我々は、広島グルメマップの掲載、および「CTOを破産から救おうチャレンジ」というクイズ企画を行いました。 YAPC初スポンサーで椅子スポンサーさせてもらってます！自分の顔が至る所に貼ってあって若干気まずいw@ohbarye の冪等性の話を理解すると解けるクイズになっているので是非トライして見てください👍#yapcjapan #yapc_b pic.twitter.com/HPXfred0yX— 堀井 雄太 | SmartBank CTO (@yutadayo) 2024年2月10日 本記事ではこのスポンサーチャンスを活かして行なった #CTOを破産から救おうチャレンジ の紹介と解説をいたします。 #CTOを破産から救
本連載では分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っています。 今回は、サーバー上で実行されるタスクを管理するシステムであるジョブキューについての全般と、そのライブラリであるBullMQについて紹介します。 ジョブキューとは ジョブキューは、Webサーバー上で発生する様々なタスク（ジョブ）を管理するシステムで、タスクを複数のサーバーで分散して処理させたり、タスク失敗時にリトライしたりする機能を持ちます。 Misskeyでもジョブキューを活用しており、例えばActivityPubにおけるアクティビティの受信および配送や、ユーザーデータのインポートエクスポート処理をジョブとして管理しています。 Misskeyが使っているジョブキューのライブラリであるBullMQは、毎日指定した時刻にジョブを実行する機能などもあるので、サーバーの統
週刊Railsウォッチ: Rails公式の"rails-new"ツールでRailsプロジェクトをセットアップほか（20240409前編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 公式更新情報: Ruby on Rails — Retry known idempotent SE
2024/02/09 ~ 2024/02/11に開催されたYAPC::Hiroshimaの一連のイベントに参加してきました。 所属しているBASE株式会社としてスポンサーしているのその兼ね合いで。 久々にブログ作ると思ってみたらドメインがhatenadiaryでした、マジ？ yapcjapan.org 各種セッション YAPC前夜祭 Introduce Hono v4!!!! Hono v4リリースについて ミニマルなFWなのは知っていたが具体を聞いて使いたい気持ちが増した。 ミニマルさを維持しつつフルスタックになっていくのは大変だろうけど凄いな〜っていう感想。 社内のメンテされてないRailsを置き換えようかなって気持ちになっている、ORM周りだけどうしようか悩みどころ。 Cache-Control: max-age=86400 みんな大好きCacheの話。 キャッシュは麻薬という言葉が
データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年（2023年）、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA（Generally Avaialble）になりました。 cloud.google.com このDataformの登場により、BigQuery上でデータを利活用しやすいように変換する（データマートを生成する）システムの構築が容易になりました。 本記事では、Dataform上において、定常実行やリトライ実行を容易にするために、冪等性が担保される設計のテクニックを3点紹介します。（Dataformの基本的な使い方については触れませんのでご注意ください） 1. SQLX内のクエリに変数を用いる DataformはSQLXと呼ばれる
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
Amazon SQS と処理の重複 前編 ~ 可視性タイムアウトの役割 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
テクニカルインストラクターの杉本圭太です ! 最近読んで面白かった漫画は「百木田家の古書暮らし」です。 Amazon Simple Queue Service (SQS) を使用することで、アプリケーション同士の通信を非同期にして、さらに信頼性やスケールを高められます。しかし SQS を使用する場合「処理重複が発生する可能性があるため、冪等性 (べき等性) の考慮が必要」と言われますが、どんな場合に処理重複が発生するのかは把握できていますか ? ▼ SQS を使用したシステムの概要 SQS では処理重複を制御するために「可視性タイムアウト」や「FIFO キュー」の機能がありますが、これらを使用しただけで処理重複がゼロになる訳ではありません。そのため、それぞれの機能が何を制御してくれるのかを理解することは、SQS をより適切に扱うために重要です。しかし同時に理解が難しい部分でもあります。 そ
Looker System Activity を低コストなサーバレスイベント駆動パイプラインで BigQuery へ取り込む - LegalOn Technologies Engineering Blog
はじめに 株式会社LegalOn Technologies でデータエンジニアリングをしている 田中 晶 です。 LegalOn Technologies では、データドリブンな意思決定をするために、データ分析基盤や BI ツールの整備を行い、プロダクトに関わる多くの社員がデータを活用できる状態を維持し、さらなる活用を目指しています。 過去の啓蒙活動や整備の甲斐もあり、現在弊社で利用しているBIツールである Looker のライセンスは多くの社員に付与されており、またその活用も専門職だけでなく、営業部門の活用率も高いという利用率の計測結果も出ているほどです。 このように活用されているデータ分析基盤ですが、より高いデータの利活用水準を目指すためには、利用者や用途に関して、長期的に柔軟な利用状況の分析を行う必要がでてきました。 そこで幅広く Looker の活用度を測定するために使用状況やパフ
Web ログ基盤を GA4 ベースへと刷新させた全社横断プロジェクト - LIVESENSE ENGINEER BLOG
テクノロジカルマーケティング部データプラットフォームグループの池谷です。 社内の Web ログ基盤を、GA4 と BigQuery をベースとする構成に刷新したプロジェクトについてご紹介します。 なにをしたか 弊社には Livesense Analytics (以下 LA) という AWS の Redshift を DWH としたデータ基盤があります。Web ログやアプリログだけでなく、事業部が保持するマスタデータのコピーも Redshift を通して社内に提供しています。ユーザー行動の分析や施策の評価、レコメンドのデータソース等で全社的に利用されています。 LA の歴史は長く、機能によっては 10 年近く提供し続けているものもあります。その中でも Web ログを収集し加工する部分は技術的負債も多く、運用面でも苦労していました。もともと Web ログの収集ツールは内製していたのですが、この
はじめにデータエンジニアリングが興隆してから数年が経ち、各企業がデータ基盤に注力し始めたり、知見が溜まり始めています。 そんな流れがある中、データマートの乱立やパフォーマンスで悩んでいる方が多いのではないでしょうか？ そこで、本記事では重要な分析基盤の1つであるデータマートに焦点を当てつつ、データ基盤のデータモデリングから構築、運用に至るまでの手法と考え方を解説していきます。 データマートの目的と要件の明確化データマートには様々な用途がありますが、いずれの場合も最初に重要なのは、そのデータマートの目的と要件を明らかにすることです。例えば、単なる可視化(ダッシュボード)用なのか、多次元分析用なのか、アプリケーションへの組み込み用なのかです。 目的に応じて、モデリングアプローチ、データ粒度、スキーマ設計は全く異なってきます。さらに、リアルタイム性、セキュリティ、パフォーマンスなど、様々な要件の
初めまして、id:upamuneです。 久しぶりのオフラインカンファレンスで、YAPC::Hiroshima 2024に参加してきた。 前夜祭YAPC::Hiroshima 2024 前夜祭2/10(土)の本編に先駆けて、前日の夜から前夜祭があったので、前夜祭にも参加！ Introduce Hono v4!!!! by Yusuke WadaHonoの存在は知っていたけど、何が嬉しいのかがよく分かっていなかったので勉強になるトークだった。 新しく作ってみようとしているものがあって、今までGoで書こうかなと思っていたけど、開発体験が良さそうなのでHono + Cloudflare Workersでやるか！となった。作るの楽しみだ。 新しいことに挑戦するきっかけをくれたトークになった。 飲み!!!!蒸し牡蠣飲み会に混ぜてもらって、蒸し牡蠣を食べた… うまい！初めましての方々と話せて、隣の席に@
この記事は、Merpay Tech Openness Month 2023 の11日目の記事です。 こんにちは。メルペイのデータマネージャー@katsukitです。 本日は、現在メルペイで取り組んでいる非エンジニアのためのデータ集計環境についてご紹介します。 はじめに データ活用には可視化、分析、調査、ML、CRMなど、さまざまな場面があると思います。エンジニアはもとよりデータアナリスト、マーケター、プロジェクトマネージャーなどと利用するユーザーもさまざまです。 これらの利用シーンで使用するデータにはお客さまのデータを取り扱うこともあり、データの管理をしっかりとやる必要があります。 一方で、お客さまへのアプローチまでスピード感が求められるマーケティングやCRM配信など、現場にデータ抽出・作成を委ねているデータ活用では、データガバナンスの維持が難しく、現場全体に統制されたデータ管理体制を構築
pwa-night-vol60-slide.md theme marp gaia true Qwik それはフロントエンドの見た夢 Long Version @mizchi | PWA Night About mizchi | Plaid, Inc Node.js, Frontend エンジニア この資料は Workers Tech Talk の LT(5min) を膨らませたもの 最近は League of Legends を10年ぶりにやってる Qwik とは... 見た目は React！ 中身はコンパイラ! Qwik とは https://qwik.builder.io/ BuilderIO社 (ノーコードプラットフォーム)が開発 パフォーマンスに全振りした過激な設計が特徴 Pros React JSX 方言でノウハウを転用できる 採用するだけでパフォーマンス問題は(ほぼ)解決 使い
2023年12月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 その2 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 11月と12月はアップデートの量が多いので、それぞれ2回に分けてお送りします。12月後半は61本です。引き続きAI/MLが多いです。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、Dev
個人開発にTerraformは必要か否か? - 我思うIaCのはなし - Lean Baseball
仕事はともかくとして, 個人として趣味エンジニアリングと野球データ分析の人です. このブログは先日（2024/3/8）に開催された「第22回 酒とゲームとインフラとGCP」の発表および質疑応答から生まれたエントリーとなります. speakerdeck.com 現地も大変盛り上がりましたし, スライドも殊の外に反響を頂いて*1驚いています. この場を借りてお礼申し上げます🙏 発表後, 現地ではいくつかの質疑応答や会話, ディスカッションがありましてその中で最も印象に残った件がこちら. 何故Terraformを書いたのですか?シェルスクリプトでも良いのではないでしょうか? そうですよね, 単に個人開発（趣味）で作っているものでTerraformとGitHub ActionsでのCI/CD（この件は後日別に発表&ブログ書きます）まで頑張らなくても, shellでサクッとgcloudコマンド叩い
2024年1月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 1月は56本ピックアップしました。新しいサービスもあればなくなるサービスもある。時の流れを感じますね。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWSがおすすめですが、DevelopersIOのブログを読
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
デジタル庁のデータ分析基盤「sukuna」｜デジタル庁
サブスクリプション課金システム開発ケーススタディ - inSmartBank
データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
新人インフラエンジニアが研修を受けてみた - Pepabo Tech Portal
メルコイン決済基盤における分散トランザクション管理 | メルカリエンジニアリング
明示的な型注釈によって推論コストを下げるというアプローチ
Amazon ECSタスクを冪等に起動できるようになりました | DevelopersIO
文法を知らぬまま、ChatGPTとの会話で作り上げたコード コード行数を13.5パーセント圧縮させた、やりとりの流れ
「冪等性Tシャツ」から生まれてしまった会話 - 海波パソコン
Idempotency-Keyヘッダによるマイクロサービスの冪等性の担保 - エムスリーテックブログ
React Server Components 対応の仮想スクロールライブラリを作りました
YAPC::Hiroshima 2024でのスポンサー活動の振り返り - inSmartBank
Bullmqを使ったジョブキューの実装 | gihyo.jp
YAPC::Hiroshimaに参加と登壇した #yapcjapan #yayapc - 記
GCP版Dataformで冪等性を担保する設計ポイント3つ - TVer Tech Blog
AWSサーバーレスアーキテクチャのための冪等性（べきとうせい）入門
データマートのモデリングとパフォーマンスチューニング｜zono
YAPC::Hiroshima 2024 に参加してきた #yapcjapan
非エンジニアのためのデータ集計環境について | メルカリエンジニアリング
pwa-night-vol60-slide.md