パフォーマンスに苦労している並列処理システムを改善するために Stackdriver Traceを導入して動作の可視化を行った結果、 ボトルネックの存在が判明してパフォーマンスを改善できた事例について紹介します。 この事例でStackdriver Traceを選定した過程や OpenTelemetry へコントリビュートした経緯についても共有します。 また、新規開発のGraphQLサーバへ導入して REST APIサーバと通信をまたいだ可視化を行った事例についても紹介します。
分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study
パフォーマンスに苦労している並列処理システムを改善するために Stackdriver Traceを導入して動作の可視化を行った結果、 ボトルネックの存在が判明してパフォーマンスを改善できた事例について紹介します。 この事例でStackdriver Traceを選定した過程や OpenTelemetry へコントリビュートした経緯についても共有します。 また、新規開発のGraphQLサーバへ導入して REST APIサーバと通信をまたいだ可視化を行った事例についても紹介します。
ここがすごいぞyugabyteDB！～OSS版CloudSpanner～ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。インフラエンジニアの gumamon です！ 近年、Kubernetes等の登場により、アプリケーションのスケールアウトはとても簡単になりました。対して、データベース(DB)のスケールアウトは依然として困難です。 「RDBMS」⇒ データの一貫性は保てるが、スケールアウトが難しい 「NoSQL」⇒ データの一貫性を保てないが、スケールアウトが容易 DBのスケールアウトを考えるとこの２択に行きつく、というのが今までの常識だったかと思いますが、 『どっちも！』が出来てしまう第３の選択肢が登場しました。 データの一貫性を保て、且つスケールアウト容易な『NewSQL』！ 最近、NewSQLの一つである yugabyteDB の検証をする機会がありましたので、アーキテクチャと検証結果を紹介します。 目次 目次 ここがすごいぞ yugabyteDB！ yugabyteDBのアーキテクチャ
オブザーバビリティ（可観測性）とは何か？を学べる「Distributed Systems Observability」を読んだ - kakakakakku blog
2019年頃から「オブザーバビリティ (Observability)」もしくは「可観測性」という言葉をよく聞くようになった（本記事では「オブザーバビリティ」という表記に統一する）．「マイクロサービス」と同じように「バズワード」の側面があり「オブザーバビリティとは何か？」という質問に対して様々な回答が考えられると思う． 今回は「オブザーバビリティ」の理解を深めるために「Distributed Systems Observability」を読んだ．本書は O'Reilly Media で読むこともできるけど，Humio のサイトから無料でダウンロードすることもできる（メールアドレス登録は必要）．著者は Cindy Sridharan となり，肩書は「Distributed Systems Engineer」と書いてあった． www.humio.com 目次 本書には「オブザーバビリティ」をテー
Observabilityをはじめよう！(前編) 〜Observabilityの背景と構成要素〜 | さくらのナレッジ
はじめに 仲亀と申します。さくらインターネットでエバンジェリストやインフラエンジニアをしています。エンジニアとしてはシステムの監視まわりの仕事をしています。最近は、今回もご紹介するPrometheusとかGrafana Lokiとか、あの辺が結構好きで触っています。 この記事では、監視について興味をお持ちの皆さんに向けて「Observabilityをはじめよう！」ということで、Observabilityの概念や、それが必要となる背景を少し説明した上で、Observabilityを実現するための要素となる、MetricsやLogsやTracesなどをどこから始めていけばいいんだろう、といったところをご紹介していこうと思います。 この記事のゴールとしては、皆さんに「Observability完全に理解した」と言っていただけたらいいかなと思っています。しかし、この記事を読んだだけですぐに皆さんの
[レポート]DynamoDBデータモデリング (CMY304) #reinvent | DevelopersIO
DynamoDBのデータモデリングって、よくわからなくないですか？正規化してはいけないとか、一つのテーブルで全データを扱うんだとか聞きますが、具体的にどうしたらよいのか… という疑問に正面から答えてくれるセッションにre:Invent中に遭遇しました！具体的なアプリケーション例を挙げて、そこでのデータモデリング方法を詳細に解説してくれます。DynamoDBデータモデリング初心者の方は是非ご一読ください！ ※「DynamoDBとは」といった前段の説明が不要な方はここからどうぞ セッションタイトル CMY304 - Data modeling with Amazon DynamoDB セッション概要 DynamoDBであなたのデータをモデリングするには伝統的なRDSでモデリングする場合と異なるアプローチが必要です。 Alex DeBrieはDynamoDBを使ったアプリケーションをいくつか実装
![[レポート]DynamoDBデータモデリング (CMY304) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/675bce0a60ea4951fd0f9587e0b829b31fbf1fb6/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F10%2F1200x630_reinvent2019.jpg)
クラウドネイティブで変わる「NewSQL」の意味――地球規模でデータ分散を可能にする合意プロトコルの仕組みと課題
クラウドネイティブで変わる「NewSQL」の意味――地球規模でデータ分散を可能にする合意プロトコルの仕組みと課題：クラウドネイティブ時代のデータベース（終） クラウドネイティブ時代に求められるデータベースの3要件を満たすべく開発が進められているNewSQLの基本概念と、データの可用性を高める仕組みを解説する。 本連載第2回では、クラウドネイティブ化で高速化したアプリケーション開発と同様に、データベースもアジリティを獲得するためにKubernetesを利用する手法を紹介した。第3回では、クラウド事業者の障害も超えた可用性を獲得するために、マルチクラウドでデータベースを管理する手法を紹介した。 クラウドネイティブでもう一つ重要とされるスケーラビリティ、いわゆる水平方向の拡張性はこれまで部分的にしか言及してきていない。これは長い歴史を持つRDBMS（リレーショナルデータベースマネジメントシステム
HSEとは何か
Heterogeneous-Memory Storage Engineについて解説します これは2020年6月6日に行われた カーネル/VM探検隊 online part1での発表資料です 参考文献 Heterogeneous-Memory Storage Engine: https://www.micron.com/hse Don't stack your log on my log: https://www.usenix.org/node/187064 電源を切っても消えないメモリとの付き合い方: https://speakerdeck.com/fadis/dian-yuan-woqie-tutemoxiao-enaimemoritofalsefu-kihe-ifang この資料のサンプルコード: https://github.com/Fadis/hse_demo カーネル/VM探検隊
PartiQL :: PartiQL
PartiQL's extensions to SQL are easy to understand, treat nested data as first class citizens and compose seamlessly with each other and SQL. This enables intuitive filtering, joining and aggregation on the combination of structured, semistructured and nested datasets. PartiQL enables unified query access across multiple data stores and data formats by separating the syntax and semantics of a quer
はじめに 分散合意アルゴリズム Raft とは 分散合意アルゴリズムとは Raft の特徴 Raft が満たす性質 Election Safety Leader Append-Only Log Matching Leader Completeness State Machine Safety TLA+ とは TLA+ による Raft の形式的仕様 TLA+ による Raft の検証方法 TLA+ Toolbox のインストール 新規 Spec の作成 Model の作成と実行 補足: コマンドラインでの検証 Raft の拡張について Leadership Transfer Membership Change Log Compaction Client Interaction おわりに Raft 理解度を調べるクイズ 参考資料 Raft に関する資料 TLA+ に関する資料 はじめに この
Deep Dive: NewSQL Databases
Overview One of my colleagues, @margo_hdb, recently posted a great article Database Architectures & Use Cases - Explained here on dev.to. In response a user asked for a deeper dive on NewSQL databases, so I thought I would put one together. The term NewSQL was coined in 2011 by 451 Group analyst Matthew Aslett. Wikipedia defines the term below: “ NewSQL is a class of relational database management
Rust大好きっ子のためのデータベース考
経緯 趣味プロジェクトとしてRustをサーバーサイドに採用したWebアプリケーションをぼんやり考えています。その過程で、データベースのチョイスについてかなり悩んだので、一度ここでまとめておきます。 前提 データベースに入れるデータは ・ユーザーデータ（名前、メールアドレスなど） ・アイテムデータ（ユーザーが登録するもの。アイテム名、更新時間など） といったごく一般的なものを考えます。 サーバーサイドのフレームワークは、actix-web…で考えていましたが、最終的には非同期ランタイムとしてtokioを使うaxumにしました（理由は後述）。 また、データ量やアクセス頻度については仮定をおきません。巨大なデータを扱うということになれば、おそらくその時点でかなり候補が絞られることになるかと思いますが、今回は運用面でのパフォーマンスの差については扱わないものとします。 特に今回は「趣味」なので、趣
Linuxディストリビューション「Ubuntu」を提供するCanonicalは2020年10月15日、同社が開発している軽量版Kubernetesの「MicroK8s」に高可用性(HA)クラスター構築機能を追加したと発表しました。これまでシングルノードに特化していたMicroK8sでも、可用性の高い複数ノードのクラスター構築が可能になりました。 Introducing HA MicroK8s, the ultra-reliable, minimal Kubernetes | Ubuntu https://ubuntu.com/blog/introducing-ha-microk8s-the-ultra-reliable-minimal-kubernetes MicroK8s - Zero-ops Kubernetes for developers, edge and IoT https:/
GitHub - superfly/litefs: FUSE-based file system for replicating SQLite databases across a cluster of machines
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
マイクロソフト、NoSQLデータベース「Extensible-Storage-Engine」をオープンソースで公開。25年以上、ExchangeやActive Directoryなどで利用
マイクロソフト、NoSQLデータベース「Extensible-Storage-Engine」をオープンソースで公開。25年以上、ExchangeやActive Directoryなどで利用 マイクロソフトは、Windows NT 3.51に初めて搭載されて以来、何度もコードを書き換えられてExchange 4.0やActive Directoryのバックエンドなど、さまざまなマイクロソフト製品に組み込まれ、文字通り何百万台ものマシンで稼働してきたNoSQLデータベースエンジン「Extensible-Storage-Engine」のソースコードを公開しました。 Extensible-Storage-EngineはISAMベースのデータベースエンジン。 トランザクションに対応した更新処理と検索による一貫性を備え、また一貫性を保持するためのクラッシュリカバリ機能も搭載。ライトアヘッド処理とスナッ
分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか？それぞれの特徴をまとめてみた
X(旧Twitter)の仕様変更などを受けて、BlueskyやMastodonなどの分散型SNSに注目が集まっています。そこで、分散型SNSプロトコルの代表的存在である「AT Protocol」「ActivityPub」「Nostr」の特徴をまとめてみました。 Docs | AT Protocol https://atproto.com/docs ActivityPub https://www.w3.org/TR/2018/REC-activitypub-20180123/ GitHub - nostr-protocol/nostr: a truly censorship-resistant alternative to Twitter that has a chance of working https://github.com/nostr-protocol/nostr Nostrの仕組
分散アプリケーションの異常の原因を即時に診断するための手法の構想 / Causality Tracing in Distributed Applications
分散アプリケーションの異常の原因を即時に診断するための手法の構想 / Causality Tracing in Distributed Applications
詳説 データベース
データベースを選択し、使用し、管理するには、その内部構造を理解することが不可欠です。しかし、今日ではたくさんの分散型データベースやツールが存在するため、それぞれが何を提供しているのか、どのように異なるのかを理解することは困難です。 本書はデータベースとストレージエンジンの内部で利用されている概念を解説します。ストレージエンジンでは、ストレージの分類、Bツリーベースのストレージエンジンとイミュータブルなログ構造化ストレージエンジンの違いと事例を紹介します。ストレージの構成要素については、ページキャッシュ、バッファプール、ログ先行書き込みなどの補助的なデータ構造を使って、効率的なストレージを構築するためのデータベースファイルの構成を説明します。分散型システムでは、ノードとプロセスがどのように接続され、複雑な通信パターンを構築するのかを段階的に学びます。 データベースそれぞれで大きな違いがあるス
大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）
大規模データ活用向けストレージレイヤソフトのこれまでとこれから （NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05） NTTデータ システム技術本部 OSSプロフェッショナルサービス 吉田 耕陽, 福久 琢也 Read less
配信サーバー「VODST」 - DMM inside
｜DMM inside
近年、エッジコンピューティングという言葉をよく目にするようになりました。 エッジコンピューティングの「エッジ」とは、どこの／何のエッジ（端）なのでしょう？実はこれは、「クラウド」に対するエッジを指しています。ではエッジコンピューティングの「コンピューティング」とは何でしょうか？エッジコンピューティングは、ネットワークの中にコンピュータを埋め込みたい、という動機からスタートしています。 エッジコンピューティングの理解のためには、クラウドやネットワークの知識が少しだけ必要です。また、エッジコンピューティングはすっかりバズワード化しているため、全体像を少しだけ俯瞰的に眺めてみる必要もあります。 本資料では、エッジコンピューティングという考え方がなぜ登場してきたか、またエッジコンピューティングで何を実現することを目指しているのか、について解説していきます。 そして、それらの話を通じて、エッジコンピ
Denoの分散ホスティング「Deno Deploy」ベータ2公開。FiIe System API追加、クラッシュレポートなど
Denoの分散ホスティング「Deno Deploy」ベータ2公開。FiIe System API追加、クラッシュレポートなど Node.jsの作者であるライアン・ダール（Ryan Dahl）氏が新たに立ち上げた企業「Deno Company」は、サーバサイドでJavaScript/TypeScriptを実行するためのオープンソースのフレームワーク「Deno」と、その分散ホスティングである「Deno Deploy」を提供しています。 Denoは、ライアン・ダール氏がNode.jsを開発した経験を活かし、より優れたサーバサイドのJavaScriptランタイムとして新たに開発しているものです。V8 JavaScriptエンジンをベースにしており、JavaScriptだけでなく、TypeScriptとWebAssembly（WASM）にも対応します。 Deno Deployは、その名前の通りDen
アプリ開発者、DB 管理者視点での Cloud Spanner 活用方法 | 第 10 回 Google Cloud INSIDE Games & Apps Online
Kubernetesを分散ストレージのプラットフォームにする「Rook」、成熟したソフトウェアに到達したとしてCNCFがインキュベーションからの卒業を発表
Kubernetesを分散ストレージのプラットフォームにする「Rook」、成熟したソフトウェアに到達したとしてCNCFがインキュベーションからの卒業を発表 Kubernetesなどのソフトウェア開発をホストしている団体「Cloud Native Computing Foundation」（CNCF）は、Kubernetesを分散ストレージのプラットフォームにする「Rook」が、十分に成熟したソフトウェアに到達したとして、インキュベーション段階からの卒業を発表しました。 [NEWS] @CloudNativeFdn Announces @rook_io Graduation https://t.co/47DmD0LK2x pic.twitter.com/zsk7YQiQ57 — CNCF (@CloudNativeFdn) October 7, 2020 RookはKubernetesにさま
「Offersエージェント」では、業界で活躍するプロフェッショナルがあなたの転職を徹底サポート。CxO経験者を含む現役エンジニア・デザイナー・プロダクトマネージャーが在籍し、職種に特化した専門的なアドバイスをご提供・非公開求人の紹介も可能です。 →【かんたん30秒】無料登録で転職相談する 開発スピードを向上させるFirebase ーー：早速ですが、まずは村本様とFirebaseの関わりについてお伺いしてよろしいでしょうか。 村本：もともと、いくつかの会社でアプリエンジニアとして働いており、現在は独立して複数の企業の技術顧問を勤めています。特にFirebaseのコンサルティングに力を入れていますね。 日本最大のコミュニティグループである Firebase Japan User Groupを立ち上げ、オーガナイザーとしても活動しています。 ーー：既存のプラットフォームで開発するのと比べて、Fi
Linux Foundation Launches Open Source Valkey Community
6 MIN READ Linux Foundation Launches Open Source Valkey Community The Linux Foundation | 28 March 2024 Community maintainers, contributors, and users will continue collaborative development of an open source, in-memory data store under the new Valkey name. SAN FRANCISCO – MARCH 28, 2024 – Today, the Linux Foundation announced its intent to form Valkey, an open source alternative to the Redis in-me
本記事は、『Software Design 2019年8月号』の第2特集「ゲームを題材に学ぶ 内部構造から理解するMySQL」をWeb掲載用に再編集したものです。 本記事のテーマを、より基本的なところから丁寧に解説した『SQLの苦手を克服する本 データの操作がイメージできれば誰でもできる』が2019年8月26日に発売されました。本記事と併せてご活用ください。 「NoSQLはRDBMSより高速」は本当か？ NoSQLが登場したころ（あるいは、今でも）、「NoSQLはRDBMSに比べて20倍高速」などというホワイトペーパーが出たりすることがあり、「20倍」という表現が独り歩きすることがよくありました。この倍率については、レコード長やページサイズ、その他もろもろのチューニング項目をどうするかで、いかようにも変化しますからほぼ意味がないうえ、実際のシステムでそれほどの差が出ることはありませ
細かすぎるけど伝わってほしい脆弱性診断手法ドキュメント #始めに #本書は、ISOG-J WG1の新技術に対する診断手法分科会によってまとめられたさまざまな技術に関する脆弱性診断手法ドキュメントです。 クロスサイトスクリプティングやSQL Injectionなどの著名な脆弱性は診断手法や対策なども浸透し、日本語で読める良質なドキュメントが複数あります。 本ドキュメントでは、これらの脆弱性ではなく、一般に診断が困難であったり特有の確認方法が必要となるような脆弱性についてターゲットを絞って記載しています。 脆弱性診断員はもとより開発者の方々も、本ドキュメントを参考に、自身のアプリケーションに脆弱性が紛れ込んでいないか確認していただければ幸いです。 執筆者一覧 (敬称略、順不同) #三井物産セキュアディレクション株式会社 廣田 一貴三井物産セキュアディレクション株式会社 山本 健太三井物産セキュ
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -導入編- - inductor's blog
はじめに こんにちは。inductorです。 今日のエントリーはタイトルの通りです。 BorgはGoogleが持つアプリケーション実行基盤で、Google CloudにおいてはGKEのマスターノードやGoogle App Engineなどが実際に動くインフラとしても使われています。 また、話題のKubernetesの元になったGoogle Insideなプロジェクトとしても有名かとおもいます。 ツイッターで誰かが「Borgの論文を誰か日本語で解説してほしい」と言っていたのを見かけたのを見かけたので、論文を読んで実際に中身を紐解いてみたいなと思いました。 元論文はこちらです ai.google 何を書くのか 自分は実はBorgの論文をきちんと読み込んだことはないため、時間を掛けて何回かに分けてやってみようと思っています。 実は、Borgの解説自体は他の方々もやっているようで、僕が改めてやる意
昨年のre:Invent 2019で発表されたAmazon Builder's Libraryを一通り読んでみました。通勤電車で読んでいたのですが、途中で冬休みに突入してしまい少し時間がかかってしまいました。途中で日本語にも対応していることに気付いたのですが、折角なので全て英語で読んでみました。 aws.amazon.com Amazonにおける大規模分散システムの開発で得られたノウハウが公開されているのですが、昨今マイクロサービスの普及もあり、Amazonのような規模でなくとも分散システムに関するノウハウが重要になりつつあります。もちろんAWSのインフラや規模感に依存する部分も多々見られるものの、大規模な分散システムを運用した上で得られる知見というのは得難いものですし、一般論として参考になる部分も多く、とても有用なコンテンツだと思います。 全体を通して共通して述べられていたのは以下のよう
Why I Stopped Using Redux
Redux was a revolutionary technology in the React ecosystem. It enabled us to have a global store with immutable data and fixed the issue of prop-drilling in our component tree. For sharing immutable data across an application, it continues to be an excellent tool that scales really well. But why do we need a global store in the first place? Are our frontend applications really that complex or are
サーバレスでApache Cassandraを提供する「Amazon Keyspaces for Apache Cassandra」正式リリース。事実上無制限スケール、使った分だけ課金
サーバレスでApache Cassandraを提供する「Amazon Keyspaces for Apache Cassandra」正式リリース。事実上無制限スケール、使った分だけ課金 Amazon Web Servicesは、代表的なNoSQLデータベースの1つであるApache Cassandraをマネージドサービスとして提供する「Amazon Keyspaces for Apache Cassandra」を正式版としてリリースしたと発表しました。 New #AWSLaunches! Amazon Keyspaces (for Apache Cassandra) is now generally available AWS IQ waives fees until June 30, 2020 Amazon Aurora with PostgreSQL Compatibility for
「マイクロサービスとメッセージングのなぜ [概要編]」はこちらです。 レッドハットでインテグレーションのためのミドルウェア製品のテクニカルサポートを担当している山下です。 概要編ではメッセージングの良い面ばかりに焦点を当ててきましたが、今回の疑問編ではメッセージングを検討し始めたときに疑問に思ったり困りがちなことを説明したいと思います。概要編とは異なり、細かな技術的内容も含まれますので、その時々で必要な部分や興味ある部分だけ読んでいただければと思います。 (ところで、当初は前回を前編、そして今回を後編にして終わらせようと思っていたのですが、今回もあまりに長くなってしまったので、構成を変えたのでした。 このため当初の前編は概要編と名前を変更しています。) ではまず主に疑問とされることを確認して、その後に対処法を見ていきましょう。 メッセージングを利用することによる主な疑問 対処方法 Q1:
![マイクロサービスとメッセージングのなぜ [疑問編] - 赤帽エンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f80853750b1c5f85bbe4ae4c26691362ff89c530/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftyamashi-oss%2F20191208%2F20191208182318.jpg)
Powering the world's most advanced and fastest feature store; Hopsworks RonDB as a managed version provides advanced technology with a user friendly interface. You can launch a cluster in less than a minute. Scales to hundreds of million of operations per second. There are no other existing managed databases available today that can do this.
テーブル内に格納されているメールアドレスのデータを使って、1日ごと、1週間ごとに全ユーザーに対してメールを送信したいというバッチがあったとしましょう。 とある1人のユーザーのメールアドレスを調べること自体はQuery操作で可能ですが、バッチ処理の性質上それを全ユーザーに対してやると考えると、実質的にはテーブル全Scanと同等の処理が要求されてしまいます。 システムを利用しているユーザーから登録情報の参照・変更を随時受け付けるたびに、このテーブルへのCRUD処理が行われます。そのため、このテーブルへの全Scanはユーザー体験を損なう可能性が高いです。 解決策の模索 「とあるテーブルに対してバッチで大量アクセスするのを防ぎたい」という要件に対して、考えられるアプローチを挙げてみます。 リードレプリカの作成 コピーテーブルの作成 リードレプリカの作成 RDSやAuroraの場合は、同じデータを持
Rayとは RayはPythonにおける分散並列処理を高速かつシンプルに書けるフレームワークで, 既存のコードを並列化することも容易な設計となっています. Rayを使うことでmultiprocessingなどに比べ簡単にプロセスレベルの並列処理を記述することができます. 本記事はRayチュートリアルの内容をもとにしており, コードはPython 3.8.2, Ray 0.8.4での動作を確認しています. インストール ターミナルでpipなどからインストールできます. 使い方 基本的な用途としては覚える文法はray.init ray.remote ray.get の3つのみで, この記事では加えてray.wait ray.put も紹介します. Rayによる並列化の基本 実行に3秒かかる関数 func が二度呼び出され全体の実行に6秒かかる以下のコードについて, func の実行を並列化する
CloudflareはCDNエッジでSQLiteのマネージドサービスを提供する「Cloudflare D1」のオープンアルファを発表しました。まだ開発途上の機能がありつつも、Cloudflare D1の基本的な機能を試すことができます。 As we continue down the road to making D1 production ready, it wouldn’t be “the Cloudflare way” unless we stopped for feedback first. In the spirit of Developer Week, there is no better time to introduce the D1 open alpha! https://t.co/iT8gYJXd0q #DeveloperWeek — Cloudflare (@Clou
This is an introductory course in Distributed Systems. Distributed systems is the study of how to build a computer system where the state of the program is divided over more than one machine (or "node"). This course is in active development. At the moment, it consists of a series of short videos. The intention is to create a complete set of video lectures and then add additional content (such as m
チームのデータ基盤技術の審美眼を育てるために取り組んでいること - ann-toque’s diary
前提と想定読者 本記事の私見以外の情報に関しては、一般に公開されている資料のリンク集のようになっています。 取り組んでいる内容は、私が現在勤務している会社に関連していますが、その詳細には触れません。 以下に類する方は参考になるかもしれません。 データエンジニアやBIエンジニアのように、データ基盤を構築しようとしている方 データアナリスト、データサイエンティスト、マーケッターなど、データ基盤を利用する方々で、なぜそのシステムが選ばれているのか考えられるようになりたい方 データエンジニアリングチームをマネジメントしており、チームメンバーのスキル向上のための教材を探している方 背景 WEB業界で新卒からデータエンジニアとしてキャリアをスタートし、現在はデータストラテジスト/BIエンジニアとして活動中のやすです。 現在、私は5-10名規模のチームをマネジメントしており、チームメンバーのほとんどは2
GitHub - gogitdb/gitdb: Distributed Embeddable Database
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[セッション詳説] Amazon DynamoDBのデータモデリング #CMY304 #reinvent | DevelopersIO
Data modeling with Amazon DynamoDB 本記事はre:Invent 2019のセッション「CMY304 - Data modeling with Amazon DynamoDB」を 開発者視点で噛み砕いた レポート兼解説記事です。 本記事ではセッション内容を元とした形の感想記事ですので、スピーカーが語っていない個人的な感想が多く含まれています。もしオリジナルの内容に絞った情報を知りたい場合は公式のセッション動画およびスライドの公開をお待ちいただければと思います。 Speaker Alex DeBrie (@alexbdebrie) Serverless Inc.のEngineering Manager, AWS Data Heroの方です。 DynamoDBのことが学べる「DynamoDBGuide」および「DynamoDBBook.com」を執筆されています
![[セッション詳説] Amazon DynamoDBのデータモデリング #CMY304 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散合意アルゴリズム Raft を TLA+ で検証する - 俺の Colimit を越えてゆけ
たった60秒でKubernetes環境を構築できる「MicroK8s」にHAクラスター機能が追加
エッジ・フォグコンピューティングの成り立ちとネットワークインフラのこれから
アプリ開発者、DB 管理者視点での Cloud Spanner 活用方法 | 第 10 回 Google Cloud INSIDE Games & Apps Online
Firebaseの導入を躊躇しているのはなぜ？モバイルファーストの考え方とは | Offers Magazine
第4回 NoSQLとSQLの使いどころを知ろう | gihyo.jp
細かすぎるけど伝わってほしい脆弱性診断手法ドキュメント
Amazon Builder's Libraryを読んでみた - たけぞう瀕死ブログ
マイクロサービスとメッセージングのなぜ [疑問編] - 赤帽エンジニアブログ
RonDB - World's fastest Key-Value Store
DynamoDBはバッチ処理よりストリーム処理との相性が良いという話
RayによるPython分散並列処理入門 - Qiita
分散SQLiteをCDNエッジで提供する「Cloudflare D1」がオープンアルファとして利用可能に
Distributed Systems Course