こんにちは。ECプラットフォーム部 推薦基盤チームで、DWH・DMP・広告まわりのデータエンジニアリングを担当している大谷です。 本記事では、マーケティング部門の広告運用のインハウス化に伴ってこれまで取り組んできた広告データの収集と活用、その仕組みにフォーカスして事例をご紹介します。 背景 データの収集と活用 Arm Treasure Data Integrations Hub ログ収集 アクセスログ 検索インプレッションログ Workflow フィードローダー (Google) レポーティング Googleスプレッドシート × BigQuery CausalImpact (Google) まとめ 背景 ZOZOでは事業・開発部門を問わず、様々な部門のスタッフが各自の業務に必要となるデータを取り扱い、レポーティングなどに活用する文化が根付いています。社内では人づてにデータを扱うノウハウが伝
マイクロサービスアーキテクチャ 第2版
2014年にThoughtworksのマーチン・ファウラーとジェームス・ルイスによって提唱された「マイクロサービス」は、いまではすっかり市民権を得て、さまざまな手法やツールが開発されています。著者は、マイクロサービスに「賛成」でも「反対」でもないという中立的な立場から、マイクロサービスの仕組み、特徴、長所、短所、課題を丁寧に説明しています。Thoughtworks在籍中から数多くのマイクロサービスプロジェクトに携わっていた著者が共有する、自身の実体験から得た多くの知見は、システム設計、開発、デプロイ、テストといった技術的側面のみならず、人材をどのように活かし、生産性を上げるかといった組織面にも多くの示唆を与えてくれるものです。組織に適したアーキテクチャを選択し、信頼性が高く、堅牢性、安全性、柔軟性に優れたシステムを設計する上で指針となる一冊です。 はじめに 第Ⅰ部 基礎 1章 マイクロサー
Google Play Billing Client 2.0における消費型商品の決済の承認(acknowledgement)について - クックパッド開発者ブログ
ユーザ・決済基盤部の宇津(@uzzu)です。 クックパッドでは複数のAndroidアプリでGoogle Play決済(定期購読、消費型商品)を利用しており、 ユーザ・決済基盤部ではそれらのアプリの決済情報を取り扱う共通決済基盤サービスとクライアントライブラリを日々開発しています。 直近ではGoogle I/O 2019にて発表されたGoogle Play Billing Client 2.0にも対応し、Cookpad.apk #3のLT枠にてどのように対応していったか発表させて頂きました。 speakerdeck.com 本記事では同発表にて時間が足りず深堀りできなかった、消費型商品における決済の承認(acknowledgement)対応について解説します。 スライドと合わせて読んで頂ければ幸いです。 消費型商品における2.0とそれ以前との違い 2.0以前の消費型商品の購入フローは概ね以下
Event-Driven ArchitectureにおけるChoreographyとOrchestration | CyberAgent Developers Blog
はじめに こんにちは、AI事業本部の伊藤(@tsutsun17)です。先日、ラスベガスで開催されたAWS re:invent 2022に現地参加してきました。 AI事業本部では例年、エンジニア数人が現地参加して熱量と学びを得ることができる環境がありました。直近2年は世の情勢もあり現地参加を控えていましたが、今年は現地参加できました。今回は、参加したセッションの中で特に面白かったセッションの一部について、考察や開発しているプロダクトのお話も含めながらご紹介したいと思います。 セッションの概要 まずは、セッションの概要についてご紹介します。 Building next-gen applications with event-driven architectures Event-driven architectures can solve many difficult problems in m
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年5月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 先月に引き続き、re:Invent2022で発表された新機能やサービスが利用可能になりました。 Amazon Redshift MERGEステートメント Lake Formationとのデータ共有の集中型アクセス制御 Dynamic Data Masking AWS Glue Visual ETL が新しいネイティブ Amazon Redshift 機能をサポート その他にも、様々なアップデートがありますので、是非チェックしてください。 Amazon Redshift 新機能・アップデート 2023/04/13 Amazon Redshiftの文字列クエリのパフォーマンスを最大63倍向上 Amazon Redshift
【感想】『読みやすいコードのガイドライン―持続可能なソフトウェア開発のために』：Kotlinでモダンなコード指南 - Rのつく財団入り口
リーダブルコード的な本が新たに登場っす！ (しかもKotlinなの) 読書記録と感想です。著者の石川宗寿さんはLINEでご活躍中のシニアエンジニア。元は2019年に公開されたプレゼンテーション「Code Readability」を元に書籍化されたとのことで、モダンな大規模開発やコードレビューやリファクタリングで得られた現場の経験を通して、可読性の高いコードを大テーマに知見が詰まった一冊となっています。 リーダブルコード的な本が新たに登場っす！ (しかもKotlinなの) 第1章 可読性の高いコードを書くために 第2章 命名 第3章 コメント 第4章 状態 第5章 関数 第6章 依存関係 第7章 コードレビュー まとめ：Kotlinを題材にした2020年代のモダンなコード指南の書 おまけ リンクと関連書籍 読みやすいコードのガイドライン -持続可能なソフトウェア開発のために 作者:石川 宗寿
【レポート】Amazon CultureとAWSの設計思想 ～マイクロサービスアーキテクチャとアジャイル開発～ – Developers.IO TOKYO 2019 #cmdevio | DevelopersIO
はじめに こんにちは。AWS事業本部のKyoです。 2019年11月1日（金）に、クラスメソッド主催の技術カンファレンス「Developers.IO 2019 TOKYO」が開催されました。 【11/1（金）東京】国内最大規模の技術フェス！Developers.IO 2019 東京開催！AWS、機械学習、サーバーレス、SaaSからマネジメントまで60を越えるセッション数！ 本記事では、アマゾンウェブサービスジャパン株式会社 亀田様によるセッション「Amazon CultureとAWSの設計思想 ～マイクロサービスアーキテクチャとアジャイル開発～」をレポートします。 スピーカー アマゾンウェブサービスジャパン株式会社 プロダクトマーケティング エバンジェリスト 亀田治伸 様 セッション概要 AWSはAmazonのカルチャーを色濃く引き継いだ組織形態をベースにしたアーキテクチャを採用しサービス
はじめに 「HRMOS タレントマネジメント」（以下、「HRMOS」）では1年間かけて、自動 E2E テストの導入から開発・運用をしてきました。 最終的には、画像のように ChatOps でいつでも簡単に開発者が E2E テストを実行できる環境が整備されました。 この記事では、1年間で溜まった知見をもとに主に以下の内容に触れていきます。 「HRMOS」における自動 E2E テストの導入の理由 自動 E2E テスト（Autify）の導入までの道筋 自動 E2E テストの DevOps 連携 自動 E2E テストの活用による品質担保 自動 E2E テストの導入や、その活用法に悩んでいる方の助けになれば幸いです。 「HRMOS」における自動 E2E テストの必要性 「HRMOS」では日々ユニットテスト、インテグレーションテストなどの様々なテストが CI で動いています。 加えて、開発者も bra
こんにちは。メルカリでSoftware Engineerをやっているakkie30です。 この記事は、Mercari Advent Calendar 2021 の5日目の記事です。 私のチームでは半年ほど前からGoのORMライブラリとしてentを採用しています。本記事ではentに関する知見を紹介したいと思います。 entとは 新しいMicroserviceを実装する際に必ず議論になるのが、データベースと、そのデータベースの読み書きを行うライブラリの選定です。メルカリのMicroservicesでは主にGCPを採用しているため、Spanner, CloudSQL, BigTable, Datastoreなどを用いることが多いです。 私のチームでは現在新規サービスを開発しており、サーバ費用を低く抑えつつ機能性も求めた結果CloudSQLを採用しています。Souzohの技術選定にも影響を受け、私
2019年7月24日、ヤフー株式会社が主催するサーバーサイドエンジニア向けの勉強会「Bonfire Backend #3」が開催されました。第3回となる今回のテーマは「モバイル決済の裏側」。急速に成長するモバイル決済分野でサービスを展開する企業が一堂に会し、自社サービスの仕組みや技術スタックなど、知られざる裏側を語ります。プレゼンテーション「Payment as a Microservice 」に登壇したのは、PayPay株式会社のHarsh Prasad氏。数多くのマイクロサービスで構築されているPayPayの心臓部、ペイメントコアシステムの裏側を解説します。 PayPayの分散システムの裏側 Harsh Prasad氏：みなさん、こんばんは。PayPayのペイメントコアシステムを担当している、プラサド・ハーシュと申します。今日お話しさせていただきたいことは、ペイメントマイクロサービスと
Flex Slotsを用いたBigQueryのコストパフォーマンス改善と運用 - ZOZO TECH BLOG
こんにちは、SRE部の谷口（case-k）です。私たちのチームではデータ基盤の開発や運用をしています。1年ほど前からBigQueryのコストパフォーマンス改善を目的にFlex Slotsを導入しています。 本記事ではFlex Slotsの導入効果や運用における注意点、ワークフロー設計についてご紹介します。BigQueryのコストやパフォーマンスで課題を抱えているチームや管理業務を行っている方の参考になれば幸いです。 BigQuery Reservationsとは コミットメント 予約 割り当て なぜFlex Slotsを使う必要があるのか Flex Slotsを用いたコストパフォーマンス改善設計 管理プロジェクトの作成 月次コミットメントの活用 Flex Slotsの活用とワークフロー設計 ワークフロー タスク 「コミットメントの購入」タスク 「コミットメントの削除」タスク 「予約」タスク
Amazon MSKを用いてMySQLに対してChange Data Captureを実現する - ZOZO TECH BLOG
はじめに こんにちは。基幹システム本部・物流開発部の作田です。現在、ZOZO社内で使用している基幹システムのリプレイスを担当しています。 現在行っているリプレイスでは、既存の基幹システムから発送機能を切り出し、マイクロサービスに移行しています。リプレイスの詳細については、ZOZOBASEを支える発送システムリプレイスの取り組みをご覧ください。 techblog.zozo.com マイクロサービスは発送業務の各作業が完了したことを基幹システムに連携しており、この連携を実現するためにAmazon Managed Streaming for Apache Kafka（以降、Amazon MSK）を採用しました。今回は、サービス間のデータ連携にAmazon MSKを採用した理由やAmazon MSKでの実装例と考慮点について紹介します。MySQLなどのリレーショナルデータベースに対してAmazon
話したネタ Worse Is Better - 過去を知り、未来に備える。技術選定の審美眼 2019 edition 集中と分散 Good Old Webとは何か？ 改訂第5版 PC UNIXユーザのためのPostgreSQL完全攻略ガイド（シーラカンス本） Linux, Apache, PostgreSQL, PHP 2層アーキテクチャから3層アーキテクチャへ EJB(Enterprise Java Beans)とは？ SOAP(Simple Object Access Protocol)とは？ なぜEJBやSOAPが生まれてきたのか？ 言語依存から言語非依存、ベンダ依存からベンダ非依存へという流れ SOA(Service-Oriented Architecture)とは？ Enterprise Service Bus XMLによる設定とマッピングが多い時代だった XMLエンジニアとYA
2019年のOSS活動の振り返り記事です。 今までの振り返り。 今年のOSS活動振り返り @ 2018 | Web Scratch 今年のOSS活動振り返り @ 2017 | Web Scratch 今年のOSS活動振り返り @ 2016 | Web Scratch 今年のOSS活動振り返り @ 2015 | Web Scratch 今年のOSS活動振り返り @ 2014 | Web Scratch 2019年のGitHubのContributionsは7000~10000ぐらいを推移していました。 ちょっとプライベートリポジトリのコミット比率が上がって、原因はasocial-bookmarkでのブックマークシステムな気がします。後は、仕事のリポジトリがPrivate比率多い。 GitHubのCurrent Streakは2246日で6.153424658年コミットは続いています。 データ
【React】Suspense・SWRは何を解決するのか - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは！フロントエンド開発課所属のkoki_matsuraです！ 今回はものすごく今更感が否めないのですが、Reactのv18で発表された「Suspense」とVercel社が提供しているReact Hooksライブラリの「SWR」によって何を解決してくれるのか、コンポーネントの表示と実装を例に紹介します。 目次は以下のようになっています。 Suspenseとは SWRとは Suspense・SWRが解決すること Suspense・SWR導入におけるコンポーネント表示の変化 Suspense なし SWR なし Suspense あり SWR なし Suspense あり SWR あり Suspense・SWR導入におけるコンポーネント実装の違い Suspense なし SWR なし Suspense なし SWR あり Suspense あり SWR あり まとめ 終わりに Sus
Operating Lambda: イベント駆動型アーキテクチャの設計原則 – Part 2 | Amazon Web Services
これらのサービスは Lambda と統合するように設計されており、Infrastructure as code (IAC) を使用してサービス内のリソースを作成、および破棄できます。アプリケーションをインストールしたりサーバーを設定したりすることなく、AWS SDK 経由でこれらのサービスを利用できます。Lambda 関数のコードを使用して、これらのサービスを使用することに習熟することは、適切に設計されたサーバーレスアプリケーションを作成する上で重要なステップです。 抽象化のレベルを理解する Lambda サービスは、Lambda 関数を実行する基盤となるオペレーティングシステム、ハイパーバイザー、ハードウェアへのアクセスを制限します。このサービスはインフラストラクチャを継続的に改善し変更することで、機能の追加、コストの削減、サービスのパフォーマンスの向上を実現します。あなたのコードはLa
マルチランタイム・マイクロサービスアーキテクチャ
状態(state)を話題にする場合、その多くはサービスの状態や、ステートレスが望ましい理由といったことが多いのですが、サービスを管理するプラットフォーム自体にも状態は必要です。信頼性の高いサービスオーケストレーションの実行、分散型のシングルトン、時間的スケジューリング(cronジョブ)、冪等性、ステートフルなエラーリカバリ、キャッシュなどを行なうには、状態が必要になります。ここで挙げたすべての機能が、内部的に状態を持つことに依存しているのです。状態管理の実際はこの記事の範囲ではありませんが、状態に依存する分散プリミティブやその抽象化は関心の範囲内にあります。 バインディング 分散システムのコンポーネントは相互の通信が必要なだけではなく、最新の外部システム、あるいはレガシな外部システムとのインテグレーションも必要です。そのためには、さまざまなプロトコルを変換し、ポーリングやイベント駆動、リク
こんにちは、データプラットフォームチームでデータエンジニアをやっている滑川(@tomoyanamekawa)です。 データプラットフォームチームはデータAI部のメンバーで構成されていて、データ分析基盤を中心としたデータ活用に関するシステムに責務を持つチームです。 データAI部が出来てから3年が経ち、データ分析基盤を今の形で運用をして1年半が経過しました。 データエンジニアの採用活動の中でデータ分析基盤を紹介する必要がある一方、説明コストが高く困っていました。 そこで今回は「ソクラテス」と呼んでいる社内のデータ分析基盤について紹介します。 （データAI部ではシステム基盤に哲学者の名前をつける慣習があります。） ソクラテスの責務 Classiのデータ分析基盤ではData Lake(DL), Data Warehouse(DWH), Data Mart(DM)の3層構造を採用しており、そのETL
Cloud FunctionsのCloud Firestoreトリガーの重複発火を防ぐ、より良いアプローチ
Cloud FunctionsのCloud Firestoreトリガーの重複発火を防ぐ、より良いアプローチMonday, December 16, 2019 Cloud Functionsで、Cloud Firestoreトリガーを使う場合、「重複発火」に気をつけないといけません。 本来であれば、記述したCloud Functionsの処理は1回のトリガーで1回だけ実行されてほしいのですが…どういうわけか複数回呼び出されることがたまに起こります。 ちなみに、「少なくとも1回以上実行される可能性がある」ことと、「実行する関数自体は冪等性を担保して実装してね」とドキュメントには記載があります。 Cloud Firestore triggers#Limitations and guarantees 今回は重複発火が起こると困る例や、防ぐためのより良い方法を書いてみようと思います。 重複発火が起こ
開発部の 8luka です。 当社ISPサービスASAHIネットの個人のお客様にコンビニ払込用紙での支払方法（以下、コンビニ払いと記載します）を導入して一年ほど経ちました。 なぜ導入したのか、どう導入したのか、導入してどうなったのか、そんな話をこの件の開発を諸々担当した立場からお伝えします。 目的の話 誰が・いつ・コンビニ払い？ それでもお支払いいただけなかったら？ コンビニ払いの導入前はどうなってたの？ それをどうして変えようとしたの？ それで、導入できたの？ 実現方法の話 利用料金の計算から債権データの生成まで 払込用紙の送付 印刷リクエストの冪等性の確保 送付できない・できなかったケースの対応 再発行 入金データと消込 入金と請求の紐付けの知識のありか 滞納対応 効果の話 採用情報 目的の話 誰が・いつ・コンビニ払い？ 個人のお客様（以降「お客様」と表記します）には、ASAHIネット
もちろんスポットインスタンスは価格が変動しますので、常に 70% 削減であることは約束されませんが、とても魅力的な価格ではないでしょうか？ また、当該インスタンスにおいては執筆時点では 70% 削減となっていますが、インスタンスタイプによっては最大 90% 削減もあり得ます。 スポットインスタンスの価格って荒ぶるときあるやん？ 「大量にスポットインスタンスがリクエストされると、オンデマンド料金より高くなることありますよね？」 いいえ、それは古い認識ですのでココで知識をアップデートしておきましょう。 re:Invent 2017 の会期中にリリースされたアップデートにより、スポットインスタンス価格は緩やかな変動となるように改善されています。 また、現在ではスポットインスタンスの価格が、オンデマンド価格の 90% を超えることはありません。 Amazon EC2 は、需要と供給に基づいて定期的
React 19に入る(予定の)新機能のまとめ
こんにちは、株式会社TERASSでコードを書いている坊主、shuji-koikeです。 次期Reactの新機能が話題になっていますが、日本語の情報がまだあまりないようだったので拙い記事ですがまとめてみました。 The Next Major Version of React Reactの開発チームが過去数年間に渡ってreact@canaryチャンネルで開発を進めてきた新機能をreact@latestとしてリリースする準備が整ったようです。 そしてそれらの新機能をreactの次期メージャーバージョンとなるReact 19としてリリースする準備には入ったものの、ドキュメントの整備など正式なリリースまでにはまだ時間がかかるようです。 元記事とは順番が逆ですが、ここからreact@latest、そしていずれreact@19としてリリースされる予定の新機能の一部を要点をまとめて紹介していきます。 Re
AWS Dev Day 2022 Japan に「サーバーレスは操作的意味論の夢を見るか？」というタイトルで登壇してきました - チェシャ猫の消滅定理
こんにちは、チェシャ猫です。 先日開催された AWS Dev Day 2022 Japan で、サーバーレスコンピューティングの形式化について発表してきました。公募 CFP 枠です。 www.youtube.com github.com ちなみに会場は観葉植物が生い茂る Amazon 品川オフィスで、講演者向けには個室の楽屋が用意されており（滞在時間は講演直前の 15 分程度ですが）、全体的にとてもゴージャスな感じでした。配信設備も本格的でしたが、話す側としては照明が眩しくてやりづらかったです。 講演概要 AWS Lambda を初めとするサーバーレスコンピューティング基盤には、 複数の関数が同時に実行され共有リソースにアクセスしうる、本質的に並行システムである Warm Start により関数インスタンスが内部状態を残したまま再利用されうる 一つのリクエストに対して複数回の実行が行われう
こんにちは！はのめぐみです。キッチハイクというサービスでデザイナーをしています。 2019年9月19日に開催された React.js meetup #9 にて、デザインシステムをテーマに登壇しました。トークタイムとパネルディスカッションの2部構成で、私はイベント前半部分のトークを担当させていただきました。この記事は、そのフォローアップを含んだ紹介記事です。 スライド資料は全編公開しています 登壇テーマはデザインシステムを持たない組織の取り組み今回の React.js meetup では「デザインシステム」がイベントテーマでした。デザインシステムを持たない組織として、ふたつのテーマを軸にお話しました。 デザインシステムとは一般的には、ユーザーに一貫した体験を届けるために必要なものをすべて含んだ存在と言われています。 デザインシステムを支えるものは様々です。「原則」「形状」「実装」の3つに分類
インターン参加記 ～GPUクラスタ管理者への道～ - NTT Communications Engineers' Blog
はじめに こんにちは！イノベーションセンターテクノロジー部門 GPU-K8s Projectに二週間、インターン参加させていただいた石本直也と申します。 大学院では、WebAssemblyに関するObservabilityについて研究をしています。 今回の職場体験型インターンシップでは「モダンなICTインフラを支える技術の検証・開発（クラウド, コンテナ or データ基盤領域）」をテーマとして以下のことに取り組みました。 GPU ServerのWorker Nodeとしての設定(cuda,containerd,NVIDIA Container Toolkit) K8sクラスタへのGPU Worker Node追加 Ansibleでのセッティングの自動化 参考：職場体験型インターンシップとは？ ドコモが仕掛ける数多くの事業の中から厳選したポストにて、実務を体験していただきます。 業務体験を通
LLMを活用したサービスを社内外でリリース・運用した経験のある3社のエンジニアが登壇し、実運用を経たからこそ見えた課題やその解決策、運用を見据えた設計・実装の知見などについて語る「LLM in Practice -3社の実例から見るLLM活用サービスを運用した課題と学び -」。ここで株式会社HRBrainの鈴木氏が登壇。ChatGPTを活用してコードの行数を400行から54行に圧縮した事例を紹介します。 本セッションの概要 鈴木悠大氏（以下、鈴木）：鈴木です。よろしくお願いします。オフラインはそんなに人がいなくて、オンラインにいっぱいいるので超不安です。思ったより聞いている人がいるんだろうなと思いながら話すのが不安です。 HRBrainの鈴木です。大学では経営工学を学んでいて、コードは今も昔もたくさん書いています。HRBrainでは、今はプロダクトチームのテックリードとプラットフォームチー
３週間で出来たEvent SourcingでCQRSなアーキテクチャ上でのHBaseのupgrade - Chatwork Creator's Note
プロジェクトのリーダーである、cw-sakamotoがこの超重要プロジェクトを終え、軽い燃え尽き症候群になっているので、代わりにcw-tomitaが代筆しております。 マラソンガチ勢(ベストタイム３時間１７分)であるcw-sakamotoによって、Carbon X(50マイルでの世界記録を出したランナーが履いていたランニングシューズの名前)と名付けられた、このHBase upgradeプロジェクト、 dogsorcaravan.com その名に恥じない、プロジェクト開始から終了まで３週間という短納期で完遂することができました。今回はこのプロジェクトに関して書きました。 tl;dr Event SourcingでCQRSなシステムの上で動いてるHBaseのversion upをblue-green形式で実施した。 計画から実行まで３週間程度で完了するというスピード感で、大きな事故もなく凄く上
Amazon Web Services ブログ AWS CDK による AWS Lambda コードの管理 システムの規模が大きくなるにつれ、インフラストラクチャの状態管理は困難になります。このような場合に AWS CloudFormation などを用いて、インフラ定義をコードで管理する（Infrastructure as Code, IaC）ことは有用です。一方、アプリケーションコードの管理は IaC から外れ、独立して管理されることが多々あります。特に AWS Lambda はシステムの様々な箇所で利用されるため、一般的なアプリケーションコードに比べて散逸しがちで管理が困難です。これにはチームが異なる、ライフサイクルが異なる、などいくつか理由が考えられますが、インフラストラクチャ用コードとアプリケーションコードを統一して管理できるツールセットが不足していたという要因もあります。 本記
5分で理解するAWS CDK - Qiita
はじめに 本記事はAWS CDKについてキャッチアップすることを目的に、AWS CDKの概念や、ウォークスルーとしてAWSが公開しているWORKSHOPについて記載しています。 AWS Cloud Development Kit (AWS CDK) （以下、CDK）はTypeScript及びPythonなどのプログラミング言語を使用して、AWSリソースを定義し、Terraformの様にInfrastructure as Code（以降、IaC）を実現する手段として、クラウドインフラのリソースをプロビジョニングすることができます。 TerraformはGo言語で書かれた公式のAWS SDKを用いて、Terraform実行時にAWSのAPIを呼び出して、環境を構築しています。 Terraformは1つのプロバイダーに依存することなく、他のプロバイダーのクラウドインフラを扱えることから、汎用性だ
suzuri.jp ふとしたきっかけでこの「冪等性ロングスリーブTシャツ」を買い、好んで着ている。 エンジニア向けイベントに関連するX（Twitter）での会話の中で発見したものだったので、基本的には「冪等性（べきとうせい）」が通じるエンジニア向けイベントにしか着ていかないつもりだった。しかし、あまり長袖Tシャツを持っていないので、気候に合う日には「まあいいか」と思って着て外出している。 昨日はたまたま、東京都薬用植物園（東京都小平市）まで出向き、開催中の「ケシのパネル展」（4/22～5/15）を見に行った。ものがものだけに、話しかけられない雰囲気にしたいなと思って、わざと冪等性Tシャツを着た。天候的にもちょうどよかった。 それなのに、西武拝島線で最寄りである東大和市駅まであと一駅というところで、発車直前に列車に飛び込んできたお姉さんに「この電車、本川越まで行きますか？」と尋ねられてしまっ
CI/CDの巨大パイプライン、デプロイを高速化するには？ 〜 インフラにおけるScrewdriver.cdカスタマイズ事例
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ヤフーで社内向けCaaS（Kubernetes）環境を提供している岸本です。 アプリケーションを継続的にリリースするためには、CI/CDは欠かせない物となっており、ヤフーでもCI/CDを用いたデプロイを行っております。 社内ではCI/CDツールとして、ヤフーとVerizon Mediaが共同開発しているScrewdriver.cdを利用し、アプリケーションのビルドやテスト（Continuous Integration/継続的インテグレーション、Continuous Delivery/継続的デリバリー）に限らず、さまざまな環境へのリリース（Continuous Deployment/継続的デプロイ）も行っています。 今回
表面的な部分に惑わされない - 半空洞男女関係
自分は去年にgolangを始めたのだが、だいぶ面白かった。golangそのものは登場してからすぐ試したりはしていたが、 := といった構文や、型を後ろにつけるスタイル、classがなくstructでよしなにやっていくスタイルなどがなんだか気持ち悪いな、と感じてやめてしまったのを覚えている。あの時もう少しgolangをやっていたらよかったかも、と感じていた。今回も同じような気持ちになった気がしたのでブログが書きたくなった。 TIL: componentDidCatch TypeScriptでReactを書いていて、エラー処理を知りたいなと思って調べていたら、 componentDidCatch というものを知った。これと getDerivedStateFromError をうまく使えばError Boundaryといって、子Componentのエラーをキャッチして、そのComponentの代
署名付き URL を活用して Cloud Storage に画像ファイルを直接アップロードするアーキテクチャを設計する | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 5 月 29 日に Google Cloud blog に投稿されたものの抄訳です。 昨今のクラウドの普及によって、クラウド上にデプロイしたアプリケーションをエンドユーザーに広く提供することが一般的になってきました。それと同時に、不特定多数のエンドユーザーがクラウド上のリソースに直接アクセスすることを念頭に置くことによって、柔軟にクラウドの利点を活かしたシステムアーキテクチャを設計できるようになります。 本稿では、主にエンドユーザーに対してコンテンツを配信するサービスを提供している方に向けて、クラウド上のリソースを理解し、その強みを最大限活用することによって、従来の課題をスマートに解決し、サーバの開発や運用にかかるコストを削減する方法を、具体的なアーキテクチャの設計を通してご紹介します。全体を通して、エンドユーザーが署名付き URL を使って直接 Clo
この記事は Retty Advent Calendar 2022 Part1 の14日目の記事です。昨日は今井さんの『ストーリーポイント定規を作ってみた』でした。 今年も Part2 があるのでこちらもよろしくお願いします。自分は Part2 の16日にも記事を書きます。 はじめに aqua について チュートリアル 1. aqua のインストール 2. ツールの追加 2.1 Registry とは 2.2 aqua.yaml の生成 2.3 aqua generate によるツールの追加 3. ツールのインストールと実行 aqua のここが便利！ バージョンの指定、切り替えが簡単にできる バージョン切り替え時の挙動について バージョンの指定について aqua generate -s の利用 aqua.yaml による設定の共有ができる 設定ファイルの読み込みについて Renovate に
先日、以下エントリを書きました。 S3バケットにファイルがアップロードされたのを検知し、それをトリガーに別の処理を走らせる方法として、S3イベント通知機能とEventBridge(CloudWatch Events)と2つの方法があり、それぞれの処理漏れ率を比べてみたエントリです。 処理漏れ率は、1万個のファイルをアップロードして比べたところ、どちらも0%でした。そこで今回はさらにファイル数を増やして 100万個のファイル で検証してみました。 検証方法 前回と同じです。同一S3バケットに対して2つの処理系統を用意します。 S3バケット → S3イベント通知 → SNSトピック S3バケット → CloudTrailオブジェクトレベル認証 → EventBridge → （上記処理で使っているのとは別の）SNSトピック このS3バケットに対して、オブジェクトを100万個作成します。 SNS
こちらはエムスリー Advent Calendar 2023の15日目の記事です。 デジスマチームの田口です。 去年のアドベントカレンダーでイベント駆動アーキテクチャの記事を書きましたが、ありがたいことにデジスマ診療のサービスとしての成長も著しく、開発も一層活発になっています。 去年と比較してどれくらいスケールしたかはCTOでありデジスマPdMでもある山崎さんがpmconf 2023で発表した資料にもあるので、興味がある方は是非ご覧ください。 speakerdeck.com 本記事では去年の記事でも少し触れた「冪等性」について、デジスマチームでの考え方・実装についてまとめます。 なぜ冪等性が重要か Idempotency-Key ヘッダ デジスマでの実装 おわりに We are hiring!! なぜ冪等性が重要か デジスマ診療（以降デジスマ）はQRコードによるチェックインや自動後払い、オ
はじめに さくらのクラウドには、組み合わせると便利に使えるツールがたくさんあります。この記事では、Ansible, Pulumi, Prometheusを組み合わせて、構成管理を省力化するテクニックを紹介します。これらは業務で実際に利用しているツールやフローです。 さくらのクラウドについて 簡単にさくらのクラウドの紹介をします。 データの転送料が無料です。AWSなどを使っている人には驚かれることが多いです。 コントロールパネルが直観的に操作できると思います。 最小構成の料金が1,980円(1コア1GBサーバ+20GB SSD)です。さくらのVPSなどと比べると中規模以上のシステムを組む方が利用されるのかなと思います。 ネットワーク関連サービスが豊富で、例えばこんなのがあります。 さくらのVPS/さくらの専用サーバ/AWSとの接続 GSLB, L4/L7ロードバランサー セキュアモバイルコネ
B2C、B2B プロダクトマネジメントの違い（および思考の罠） / B2C, B2B PM and reduction fallacy
Hosted Redash(app.redash.io) から Self-Hosted Redash(GKE) への移行 - CADDi ENGINEER Tech Blog
こんにちは。Platform チームの飯迫 (@minato128)です。 CADDi ではこれまで Hosted Redash(app.redash.io) を利用していたのですが、残念ながら 2021/11/30 に End of Life になるので、10 月末に Self-Hosted Redash 環境を構築して移行しました。今回はそのときやったことを紹介します。 移行の流れ 新しい Redash 環境を v10 で構築する 公式の移行ツールを利用してデータ移行する 監視を追加する 新しい Redash 環境を v10 で構築する まず、移行ツールは移行先として v10 を前提としているので、新しい環境は v10 である必要があります。ちなみに、v10 は 10/2 にリリースされた現時点の最新版です。 v10 であればどんな方法で構築しても問題ないのですが、今回は社内用 GKE
CloudNativeがここまで進化するとインスタンスの仮想化技術をベースとしたシステムなど使いたくなくなってしまいます。 私は新たにシステムを構築する際、必ずServerless Firstの考え方で設計をしていきます。 その中でAWS Lambda、Amazon DynamoDBを中心にMicroservicesの設計をしていくのですが、 ACIDの部分をどう対処するかが一番悩むところです。 今回はServeice間のTransactionに関する話を自分なりに整理していきたいと思います。 図1 Saga Design Pattern Sagaは複数のサービスにまたがるトランザクションを実装するためのマイクロサービスアーキテクチャパターンです。 複数のマイクロサービス間でデータ一貫性を実現するもので、Sagaには２つのパターンがあります。 1. Choreography-based S
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZOZOTOWNのインハウス広告運用を支援するデータと仕組みの話 - ZOZO TECH BLOG
滑らかなDevOpsを実現するE2Eテストの構築と運用
entを使った省エネバックエンド開発 | メルカリエンジニアリング
PayPayはなぜマイクロサービスアーキテクチャを採用したのか？ 決済プラットフォームの構成と狙いを解説
29. 技術選定の審美眼(2) w/ twada | fukabori.fm
今年のOSS活動振り返り @ 2019
Classiのデータ分析基盤であるソクラテスの紹介 - Classi開発者ブログ
コンビニ払いを導入して1年ほど経ちました - 朝日ネット 技術者ブログ
コスト削減に期待！ECS on EC2 でスポットインスタンスの利用を考える | DevelopersIO
デザインシステムを持たない組織のこれまでの取り組みとこれからを考える｜はのめぐみ
文法を知らぬまま、ChatGPTとの会話で作り上げたコード コード行数を13.5パーセント圧縮させた、やりとりの流れ
AWS CDK による AWS Lambda コードの管理 | Amazon Web Services
「冪等性Tシャツ」から生まれてしまった会話 - 海波パソコン
CLI バージョンマネージャー aqua のススメ - Retty Tech Blog
S3イベント通知 vs EventBridge 処理漏れ率を比べてみた2 | DevelopersIO
Idempotency-Keyヘッダによるマイクロサービスの冪等性の担保 - エムスリーテックブログ
さくらのクラウド向けツールを使いこなして構成管理を省力化 | さくらのナレッジ
バッチ処理と冪等性 / 20191218_merpay_techtalk
Serverless Microservices - Saga Transaction - Qiita