ChatworkにおけるScrum@Scale導入への挑戦 - Chatwork Creator's Note
こんにちは、id:daiksy です。 今回はぼくがChatworkで取り組んでいるスケーリングスクラムについて書いてみようと思います。 先日開催された Chatwork DevDayでもお話したのですが、現在我々はChatworkのリアーキテクティングプロジェクトにおいて、Scrum@Scaleの導入を進めています。 www.youtube.com Scrum@Scaleとは？ Scrum@Scaleは、スクラムの作成者の1人でもあるジェフ・サザーランド氏によって考案されたスクラムをスケーリングするための考えかたです。 詳細は公式のガイドが各国語版の翻訳も含めて公開されているので、そちらをご参照ください。本稿では簡単な概要だけにとどめます。 www.scrumatscale.com 以下の図 *1 に示すように、Scrum@Scaleは単一のスクラムチームをそのままスケールすることにより
分散密ベクトル探索エンジンValdとSentence-BERTを使った類似文書検索を試す - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近、社内で情報検索論文輪読会を立ち上げました。 情報検索論文読み会のスケジュール そこでNGT-ONNGについての論文*1を紹介したところ1時間の予定のところを盛り上がりすぎて2時間超えてしまいました。 大盛り上がりのついでに、今回は情報検索論文輪読会で紹介した近似最近傍探索ライブラリNGTを内部で利用するValdを使って、類似文書検索がどのように出来るのか、現状の問題を解決できるのかを試したのでその結果を報告します。 Overview 弊社が抱える類似文書検索の課題 Sentence-BERT Valdを使った近似最近傍探索 NGT Vald Vald×Sententce-BERTで類似文書
GitHub - oceanbase/oceanbase: OceanBase is an enterprise distributed relational database with high availability, high performance, horizontal scalability, and compatibility with SQL standards.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
昨年自社(Retty)に大規模スクラムを導入した際、社内で「LeSSの国内事例は無いのか?」という質問をもらって困ったことがありました。LeSS実践者研修に参加したり、大規模スクラム本を読んだり、LeSS Studyに参加するなど学んでいる人はいたのですが、事例はなかなか出回っていませんでした。少しずつ聞いて回ったところある程度数がまとまったのでまとめて公開します。公開されている資料をベースにまとめていますが、「うちもやってるよ！」というところがあればぜひお知らせください。 Retty atama plus Cybozu ebookjapan Groove X Repro SmartHR Ubie アソビュー！ うるる ヤフー株式会社 クレジットカード事業に関わるシステム Yahoo! MAP、Yahoo! カーナビ リクルートライフスタイル Mixi (2020/3/4) Timers
クォーラムモデルを使用したAWSデータベースサービスの違い、共通点の比較 －Amazon Aurora、Amazon DocumentDB、Amazon Neptuneの比較表 － - NRIネットコムBlog
小西秀和です。 2020年度に続き2021年、2022年、2023年もJapan AWS All Certifications Engineer(旧称：APN ALL AWS Certifications Engineer)、Japan AWS Top Engineer(Services) (旧称：APN AWS Top Engineer)に選出していただきました。これも多くの方に読んでいただいたAWS認定記事に依るところが大きいと思いますが、今後はAWS認定以外の記事も書いていこうと思います。まずはデータベースに関するテーマからです。 AWSのデータベースサービスには現在、Amazon Aurora、Amazon DocumentDB、Amazon DynamoDB、Amazon ElastiCache、Amazon Keyspaces (for Apache Cassandra)、Am
AWS CloudFront Pricing and Cost Optimization Guide | CloudForecast
CloudFront is AWS own CDN (Content Delivery Network). CDNs are primarily used for caching, and many customers also use AWS CloudFront CDN as a security layer, or use it to handle network spikes. With AWS CloudFront CDN, when a user requests a webpage or an image, the request is routed to one of Amazon’s 225+ edge server locations. If the edge server already has the resource cached, it’s served to
以下イベントの発表資料です。 https://rook.connpass.com/event/202147/
コラム - グーグルのクラウドを支えるテクノロジー | 第101回 Googleの分散ビルドシステムのアーキテクチャー（パート1）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第101回 Googleの分散ビルドシステムのアーキテクチャー（パート1） (中井悦司) 2021年3月 はじめに 今回からは、2020年に公開された論文「Scalable Build Service System with Smart Scheduling Service(PDF)」を紹介します。この論文では、Google社内で利用されている「分散ビルドシステム」のアーキテクチャーが解説されています。独立したいくつかのシステムが連携する分散型のアーキテクチャーになっており、マイクロサービスアーキテクチャーの設計例としても参考になります。 Google社内のビルド環境 第20回の記事でも紹介しましたが、Google社内では、すべてのソフトウェア
排他制御の基礎の基礎
はじめに システムに存在するリソースには同時にアクセスしてはいけないものが多々あります。身近な例を挙げると、Ubuntuのパッケージ管理システムのデータベースがあります。aptコマンドの動作によってこのデータベースは更新されるのですが、同時に2つ以上のaptが動作できたとすると、データベースが破壊されてシステムが危機的状況に陥ります。 このような問題を避けるために、あるリソースに同時に1つの処理しかアクセスできなくする排他制御というしくみがあります。排他制御はOSが提供する重要な機能の一つです。 排他制御が必要なケース 排他制御は直感的ではなく非常に理解が難しいのですが、ここでは比較的理解が簡単なファイルロックというしくみを使って説明します。説明には、あるファイルの中身を読みだして、その中に書いてある数字に1を加えて終了するincというという単純なプログラムを使います。
Create distributed services with easeLunatic is a WebAssembly runtime inspired by Erlang. It provides isolated, lightweight processes for massive concurrency and fault tolerance. Easily create distributed clusters with secure connections between nodes.
Amazonのクラウドコンピューティングサービスを提供しているAmazon Web Services(AWS)が2021年3月2日に、自社のフルマネージドサービスであるAmazon Managed Blockchainで、ビットコインに次ぐ時価総額を誇る暗号資産のイーサリアムのブロックチェーンに対応する「Ethereum on Amazon Managed Blockchain」の一般提供を開始したことを発表しました。 Ethereum on Amazon Managed Blockchain の一般提供を発表 https://aws.amazon.com/jp/about-aws/whats-new/2021/03/announcing-general-availability-of-ethereum-on-amazon-managed-blockchain/ Amazon Manage
概要 分散システムにおいて同じリソースにアクセスする際にロック（排他制御）する仕組みを分散ロックといいます。 ロックを用いる背景としては主に２つあり、 目的 説明 具体例 効率 同じ作業を不必要に複数回行わないため キャッシュのOriginへのリクエストを抑制したい（Cache stampede対策） 正確性 データの不整合が起きないようにするため トランザクション Redisを分散ロックに使う場合は主に前者のケースにおいて推奨されます。 環境 Redis 6.2.0 Redisでの分散ロック Redisで分散ロックを実現する方法は主に２種類あります。 SETNXを用いる Redlockアルゴリズムを用いる それぞれのケースを説明します。 SETNXを用いた分散ロック シングルインスタンスの場合SETNXを用います。 func (c *Client) updateCache(ctx con
分散型クラウドコンピューティングプラットフォームDFINITY DFINITYとはDFINITYは、ブロックチェーンを使って分散型のクラウドコンピューティングプラットフォームを提供しようというプロジェクトです。 DFINITY Foundation | Internet Computer DFINITY上では、現在私たちが利用しているようなウェブサイトやウェブサービス、API、企業・業界システム、昨今注目を集めるDeFiサービス（分散型金融サービス）などありとあらゆるインターネットサービスが稼働することが想定されています。 DFINITYは、提供するクラウドコンピューティングプラットフォームを、安全で止められない「インターネットコンピュータ」（Internet Computer）と表現しています。初めて聞くと、直観的にイメージしにくいですが、分散型のAWS（Amazon Web Servi
RDBMSの先を行く？NewSQLを支えるアルゴリズムRaftをGoで紐解く - カミナシ エンジニアブログ
初めまして。株式会社カミナシPMの@gtongy1です。 みなさんはNewSQLをご存知ですか？ 強い整合性を持つ分散型のSQLデータベースサービスのことをNewSQLと呼びます。 RDBMSではなし得なかった分散アーキテクチャを、またNoSQLではなし得なかった強い整合性をいいとこ取りした新しいSQLデータベースサービスです。 なんかとても理想的な仕組みに見えますね。この裏にはどのような知識が詰め込まれているのでしょうか。 今回はそんなNewSQLを支える仕組みを一緒に紐解いていきましょう！ NewSQLが乗り越えた壁 どんな仕組みが動いているのか、の前にNewSQLはこのSQLデータベース界へ何を投げ込んだのでしょうか。 NewSQLには以下のような特徴があります。 SQL-Likeなクエリ言語のサポート 強い整合性 ACIDサポートのトランザクション NewSQLの有名所であるCoc
マイクロソフト、オープンソースの分散アプリケーションランタイム「Dapr 1.0」リリース。Kubernetes対応、サービス間メッセージング、ステート管理など提供
マイクロソフト、オープンソースの分散アプリケーションランタイム「Dapr 1.0」リリース。Kubernetes対応、サービス間メッセージング、ステート管理など提供 マイクロソフトは、オープンソースの分散アプリケーションランタイム「Dapr 1.0」のリリースを発表しました。 We are excited to announce the release of Dapr v1.0! Yes, production ready Dapr is finally here! Get all the details @ https://t.co/hPk8i38iHi This wouldn't have been possible without the amazing Dapr community. Thank you for all the hard work!pic.twitter.com/6
This is an introductory course in Distributed Systems. Distributed systems is the study of how to build a computer system where the state of the program is divided over more than one machine (or "node"). This course is in active development. At the moment, it consists of a series of short videos. The intention is to create a complete set of video lectures and then add additional content (such as m
CSE 138: Distributed Systems
From the beginning of this year, I started to take lecture courses of undergrad distributed systems course at UC Santa Cruz (CSE 138) by Lindsey Kuper. It consists of 23 lectures (you can see the schedule of topics from here) and recently I’ve finished all of them. I’m not a student at UCSC but due to the COVID-19 situation, all these lectures were delivered online and are available on YouTube. So
日本はキャッシュレス化が遅いと言われるが、地震があるたびに『そら中々ならんよ…』となる→キャッシュレス化が進んでいる国にも事情が
ミィミル @Fontaine_XVIII @STEALBER @okmtsn115 銀行があると強盗に襲われるから警備のコストも考えて銀行は必要最低限にしてるとか、通貨流通させるには安全に通行できる道路の整備が必要だけどそんなお金無いから僻地は問答無用でキャッシュレス、とかもありますね… 2021-02-14 12:58:46 酔いどれずんだもんの経済談義 @Raptority そりゃ電子マネーやキャッシュレスは物理的に停電やネット回線が駄目になったりしたら使えないってデメリットがあるからな。 キャッシュレスが進んだ国というのも偽札があまりにも出回りすぎて現金が信用できないって事情があったりもするから現金とどっちが優れてるかは状況次第だわな。 twitter.com/okmtsn115/stat… 2021-02-14 18:07:41
Microsoftは、分散型、スケーラブル、リアルタイムのコラボレーションWebアプリ向けのFluid Frameworkをオープンソース化
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
MicrosoftはCNCF（Cloud Native Computing Foundation）が主催するWebinarで、クラウドネイティブなシステムにおいて分散処理を実装するランタイムであるDaprを解説するセッションを実施した。CNCFのWebinarページには、CNCFにホストされている多数のプロジェクトのセッションだけではなくCNCFのメンバーによる技術解説が公開されている。今回紹介するセッションは2020年10月1日に公開されたもので、CNCFのプラチナムメンバーであるMicrosoftがコンテンツを提供したものになる。 参考：Dapr, Lego for microservices セッションのタイトルは「Dapr, Lego for Microservices」というもので、マイクロサービスを構築する際にランタイムとして機能するDaprの最新情報を紹介する内容となった。
分散ストレージCephのオーケストレータRookのデータ破壊バグを修正しました - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、Necoプロジェクトのsatです。本記事では分散ストレージCephのオーケストレータであり、Kubernetes上で動作するRookに関するものです。このRookに存在していたデータ破壊バグを我々が検出、修正した体験談、およびそこから得られたことを読者のみなさんに共有します。本記事は以前Kubernetes Meetup Tokyo #36におけるLTで述べた問題のフォローアップという位置づけです。 speakerdeck.com "解決までの流れ(詳細)"の節以外はRookやCephについて知らなくても適宜用語を説明するなどして読めるように書きました。 Rook/Ceph固有の話にも興味があるかたは以下の記事/スライドも併せてごらんください。 blog.cybozu.io speakerdeck.com 用語 Rook/Cephについて知らないかた向けに、まずは本節
We’ve scaled Kubernetes clusters to 7,500 nodes, producing a scalable infrastructure for large models like GPT-3, CLIP, and DALL·E, but also for rapid small-scale iterative research such as Scaling Laws for Neural Language Models. Scaling a single Kubernetes cluster to this size is rarely done and requires some special care, but the upside is a simple infrastructure that allows our machine learnin
CockroachDB から覗く形式手法の世界 #JTF2021w / July Tech Festa 2021 winter
July Tech Festa 2021 winter で使用したスライドです。 バグのない分散システムの設計は果たして可能でしょうか？ この問いに対する一つの答えとして、CockroachDB では形式手法ツール TLA+ を用いて分散トランザクションの正しさを担保しています。 形式手法はシステムの挙動を数学的に解析する技法で、「ノードが特定のタイミングで故障した場合にのみ発生するバグ」といった再現困難な問題を確実に検出することができます。 本講演では、CockroachDB の事例を通して、形式手法が実世界で活用されている様子をお伝えします。 イベント概要：https://techfesta.connpass.com/event/193966/ ブログ記事：https://ccvanishing.hateblo.jp/entry/2021/01/24/185819 録画：https:/
GitHub - ballista-compute/ballista: Distributed compute platform implemented in Rust, and powered by Apache Arrow.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
有料で配信されている学術論文を無料で閲覧できる海賊版サイト「Sci-Hub」が、自身のドメイン管理を分散型ネームシステムの「Handshake」に移行したと報じられています。Sci-Hubは裁判所のドメイン利用差止め命令によりドメインを何度も変更してきた背景があり、今回の分散型DNSへの移行はそうした問題を恒久的に解決するための動きとみられます。 Pirated Academic Database Sci-Hub Is Now on the ‘Uncensorable Web’ | Nasdaq https://www.nasdaq.com/articles/pirated-academic-database-sci-hub-is-now-on-the-uncensorable-web-2021-01-11 Tutorial 1: What is Handshake and HNS htt
デジタルアイデンティティ ～自己主権型/分散型アイデンティティ～
1 目次 エグゼクティブサマリ..........................................................................................................2 1. デジタル時代の新しいアイデンティティ管理...............................................................3 2. 自己主権型/分散型アイデンティティとは何か.............................................................5 2-1. 自己主権型アイデンティティとは...........................................................................5 2-2.
Kinesis Data Analytics不要？Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド
時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO
計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ ある時点のデータを高速に抽出するようなクエリに最適化されている マグネティックストア データを長期間保存するためのストレージ 分析クエリをサポートするように最適化されている 各ストレージにはデータの保持期間が設定でき、設定したデータ保持期間とレコードのタイムスタンプに応じてレコードの保存先がメモリストア → マグネティックストアと遷移し、マグネティックストアのデータ保持期間を超過したレコードは削除されます。 現在はメモリストアとマグネティックストアの2種類でストレージが構成されてい
おはようございます☀😃 不動産系サラリーマンをしながら行政書士登録も受けた仕事人間の近藤です！ 本日は、〝収入源の分散〟について、書かせて頂こうと思います。 いつも書かせて頂いている様に、僕は、サラリーマンをしながら行政書士としても開業しています。 （とはいえ、行政書士の仕事をする上での営業活動をしていませんので、行政書士としての収入は、ほぼありません。） よく、投資の格言として、『卵を一つのカゴに盛ってはならない』という事が言われます。 （卵を資産に見立てていると思いますが。） カゴを落とした時にすべての卵（資産）が割れてしまう（資産を失ってしまう）という意味で、リスク分散の重要性を示したものです。 僕は、現在、それほど大きな投資は行っていません。 ただ、最近は、上記の格言と同じく、自分自身の収入源（仕事や収益を生む物）をいくつか持てば、例えどれかがダメになっても、他の事で収入をカバー
分散型ID ラーニングパス
Intro 分散型IDに関する情報がウェブ上に溢れており、片っ端から読んではいるけれど、なかなか理解が深まらないということもあるかと思います。私も苦労しました。（今もしています笑） 分散型IDに関する規格は、以下の図からわかるように、たくさん存在し、互いに依存したり、関係し合っています。 from Verifiable Credentials Specification Map そこで、この順番で読めば理解が深まるのではないか、というラーニングパスを作ってみました。 ※ まずはVer01(2020-12-10)。徐々にアップデートしていきます。 前提知識 JSON：開発者フレンドリーなデータフォーマット JSON-LD：データに関係性を持たせることができるデータフォーマット。データ間の関係性を可視化するセマンティックウェブなどを起点に始まった。規格が不安定かつ最新情報が反映されていないため
最初から最後まで、遊びっぱなし。 でも、「使えるコード」が書けるようになります。 【本書の特長】 <<遊び感覚でプログラミングとアルゴリズムをおぼえよう！>> ・イチからPythonのプログラミングとアルゴリズムがわかる ・ゲームをつくりながら基本を理解できる ・パズル問題で実践的なコードの書き方が身につく ・環境構築不要のGoogle Colaboratoryですぐ始められる ・パズル問題の解答はPythonに加え、JavaScriptとRubyのコードも提供 【内容紹介】 楽しくなきゃ、プログラミングじゃない！ プログラミングを学ぶとき、 言語の文法などを勉強するのは退屈なものです。 何かつくりたいものがあり、 それを自分の手でつくることが 達成感となり、楽しさにつながります。 本書でも一般的なプログラミングで 必要な要素がひと通り登場しますが、 簡単なゲームをつくりながら基本をおぼえ
こんにちは。コンサル部のYui(@MayForBlue)です。 今回は、EC2のAuto Scaling グループを作成する方法をご紹介します。 Auto Scaling とは Amazon EC2 Auto Scaling によって、アプリケーションの負荷を処理するために適切な数の Amazon EC2 インスタンスを利用できるように準備することができます。Auto Scaling グループと呼ばれる EC2 インスタンスの集合を作成します。各 Auto Scaling グループ内のインスタンスの最小数を指定することができ、Amazon EC2 Auto Scaling のグループはこのサイズよりも小さくなることはありません。各 Auto Scaling グループ内のインスタンスの最大数を指定することができ、Amazon EC2 Auto Scaling のグループはこのサイズよりも大き
![[初心者向け]EC2 Auto Scaling グループを作成する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/bede2890e86b4906b777253ed659fb2dc79aeed0/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ec2-auto-scaling.png)
You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e
お久しぶりです、かとじゅん(@j5ik2o)です。テックブログを書くのは何年ぶりか…。 サービスが停止したり応答性が低下すると、お叱りや逆に励ましをいただきますが、エンジニアとして設計レベルからそういった問題に対処するにはどうするか、日々精進しているところですmm。この記事はそういう論点で注目されている「リアクティブ原則」についてまとめてみたいと思います。 それなりのボリュームになってしまったので、時間があるときに読んでいただければと思います。 さて、Linux Foundation内の新たなトップレベルプロジェクトであるReactive Foundationが主催する、Reactive Summit 2020が11月10日にオンラインで開催されたので参加しました。 www.reactivesummit.org 参加されていたスピーカーはLightbendをはじめ、Netflix, Fac
複数のプログラムを順番に処理していく同期処理システムでは、どこかひとつの処理に時間がかかると後続の処理がまるごと遅れてしまいます。そんな同期処理に対し、ある処理の完了を待たずに次の処理を実行できるのが非同期処理。重たい処理によるボトルネックを回避できるため、ウェブサイトの応答速度改善などに役立てられています。クラウドストレージサービスのDropboxで開発が進められていた大規模な非同期処理フレームワークについて、同社のエンジニアであるArun Sai Krishnan氏が解説を行っています。 How we designed Dropbox’s ATF - an async task framework - Dropbox https://dropbox.tech/infrastructure/asynchronous-task-scheduling-at-dropbox これまでDropb
Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。後半は実際の機械学習の方法について。関連資料1、関連資料2 リソースとコストの最適化、そして、機械学習ジョブの実行方法 服部圭悟氏（以下、服部）：では続いて、「リソースとコストをどう最適化するか？」と「機械学習ジョブをどう実行するか？」を同時に説明したいと思います。 やりたいこととしては、可能なかぎりコストを抑えて、でも安定した計算機クラスタを作りたい。安かろう悪かろうじゃダメってことですね。 それからスケーリ
Introduction AWSが提供するDWHサービス、Amazon Redshift。 全世界での採用企業は数万社を超えており、弊社も国内において多くのお客様に導入のご支援をさせて頂きました。 RedshiftはAWSエコシステムとの親和性が高く、AWSを既にご利用のお客様は導入の敷居が低いDWHサービスとなっております。 しかし、適切なテーブル設計を行わなければパフォーマンスを全く発揮できません。 不適切なテーブル設計をしてしまったが故、「バッチ処理が当初想定していた時間で終わらない」等、弊社にご相談頂いたお客様も数多くいらっしゃいます。 では、Redshiftを扱うにあたってどのようなテーブル設計を行えば良いのか。 本記事では、パフォーマンスの向上に繋がるテーブル設計のポイントを3つ、ご紹介致します。 1. ソートキー（SortKey） ソートキー（SortKey）は、テーブルのデ
1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模スクラム(LeSS)に取り組んでいる国内事例一覧 - tuneの日記
無料の分散型フォルダー同期ツール「Syncthing」v1.15.0が公開／不正なリレープロトコルメッセージを送るとクラッシュする脆弱性を修正
プロダクション向けRook/Cephクラスタ構築への道
Lunatic: an Erlang-inspired runtime for WebAssembly
AWSがAmazon Managed Blockchainでイーサリアムに正式対応
Redisを使った分散ロック (SETNX, Redlock) - Carpe Diem
分散型クラウドコンピューティングプラットフォームDFINITY
Distributed Systems Course
Grafanaが分散トレースシステムGrafana Tempoを発表
Microsoftがリードするモダンな分散システム用ランタイムDaprとは？
Scaling Kubernetes to 7,500 nodes
海賊版論文サイト「Sci-Hub」が分散型ネームシステム「Handshake」に移行
収入源の〝分散〟 - 不動産×行政書書士Blog
プログラマを育てる脳トレパズル 遊んでおぼえるPythonプログラミング＆アルゴリズム | 翔泳社
[初心者向け]EC2 Auto Scaling グループを作成する | DevelopersIO
リアクティブは難しいが役に立つ - Chatwork Creator's Note
Dropboxが新開発した「非同期処理フレームワーク」はどのように構築されているのか？
分散学習にはHorovodを使う 文献から学ぶクラウド機械学習のベストプラクティス
パフォーマンスに影響！Redshiftのテーブル設計時に最低限意識すべきポイント3選