Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postg... | Hacker News
Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postgres, SQLite and Lambda.Basically, it worked like this: - All of our data lived in compressed SQLite DBs on S3. - Upon receiving a query, Postgres would use a custom foreign data wrapper we built. - This FDW would forward the query to a web service. - This web service would start one lambda per SQLite file. Each lambda
Slides from a talk given at Nutanix on Mar 21, 2018Read less
Yoshimasa Niwa on Twitter: "圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE"
圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE
ABCI上でpytorch distributed data parallelによるマルチノード学習 - Qiita
なんの記事? pytorchのDistributedDataParallelについての日本語記事があまりにもなかったため，素人がまとめました． 並列処理がわからない人による，わからない人のための，とりあえず使えればいいや的なDDPの解説です． 基本的にABCIでの実行を前提に書かれていますが，それ以外の環境の人たちにも参考になれば幸いです． はじめに おなじみの機械学習フレームワークであるpytorch．気軽にDataParallelで並列処理の学習もできます． ですがfacebookなどの一流の機械学習エンジニアたちはDistributedDataParallelなるものを使った実装がちらほらみられます． そこでpytorchの解説記事を読むわけですが，これがびっくりするほどわからない． というわけで，ABCI上でのDistributedDataParallel(以下DDP)の使い方を自
データ分散アルゴリズムASURAの実装
最近、 仕事がピリっとしないからか、 趣味で分散ストレージでも作ってみようかなぁと思って色々と思考を巡らしている。 分散ストレージには大きく分けて２つの実装がある（と思う）。 １つは、どのデータがどこにあるかなどのメタデータを持つメタデータサーバを 保持し、そのメタデータサーバを参照・更新しながらレプリケーションや、ピースの分散を行うというタイプのもの。 もしこれをやるのであれば、メタデータはTiKVを使おうかなと考えていた。 TiKVはRustで実装された分散KVSだが、 レプリケーションを行う単位をRaftグループとして、これを複数持つMulti-Raftという構成をとっている。 外にはプレースメントドライバというプロセスがデータや負荷の分散具合を監視し、 必要に応じてマイグレーションを行っているらしい。 Raftを使っていれば、マイグレーションは簡単だろうと想像する。 もう１つは、そ
YDBYDB is a versatile open source Distributed SQL Database that combines high availability and scalability with strong consistency and ACID transactions. It accommodates transactional (OLTP), analytical (OLAP), and streaming workloads simultaneously.
Distributed transaction patterns for microservices compared | Red Hat Developer
As a consulting architect at Red Hat, I've had the privilege of working on legions of customer projects. Every customer brings their own challenges but I've found some commonalities. One thing most customers want to know is how to coordinate writes to more than one system of record. Answering this question typically involves a long explanation of dual writes, distributed transactions, modern alter
Under the hood: Amazon Elastic Container Service and AWS Fargate increase task launch rates | Amazon Web Services
Containers Under the hood: Amazon Elastic Container Service and AWS Fargate increase task launch rates Since 2015, hundreds of thousands of developers have chosen Amazon Elastic Container Service (Amazon ECS) as their orchestration service for cluster management. Developers trust Amazon ECS with the lifecycle of their mission-critical applications, from initial deployment to rolling out new versio
This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t
社内でアジャイル開発を議論するSlackチャンネル #tech_agile に見かけた良記事のまとめです。 ノウハウ・知見 フィーチャーファクトリーにならないように注意 有名なMVP図の解説 デュアルトラックアジャイルの実践 フィーチャーフラグの分類 ユニコーン企業の秘密をベースとしたスケーリングの考え方 落合博満に学ぶ 技術負債に立ち向かう前の話 TDDの考察 スクラムチームを生産的にするパターンランゲージ プロダクトバックログの整理の秘訣 30分で分かった気になるチームトポロジー 他社事例 メルカリCAMPシステム LIFULL GitLabで学んだ最高の働き方 atama+ LeSS事例 Regional Scrum Gathering Tokyo 2022 スライドまとめ 後日公開された動画 いい感じのチームを作る考え方 ChatworkのScrum@Scale事例 永和システムで
“超”大規模データを扱うからこそ直面した事象。HDFS Erasure Codingの不具合を解消するまで
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY2021 アフターインタビュー」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「大規模なHDFS Erasure Codingにおける技術的課題」です。 LINEのData Platform室では、LINEのさまざまなサービスのデータをApache HDFS（以下、HDFS）に格納しています。HDFSクラスターに保存されているデータ量は、合計で数百ペタバイトと極めて膨大
いろんなアイデンティティ管理系製品やサービスの実験の記録をしていきます。 後は、関連するニュースなどを徒然と。 こんにちは、富士榮です。 なんだかんだでuPortを触ったり現Azure Active Directory Verifiable Credentialsの前身を触ったり、最近だと数カ所で実証実験プロジェクトを立ち上げたり、MS主催のDecentralized Identity Hackathonで入賞してみたり、と分散型IDに関わり始めて5年くらい経っていたりしますので、現時点で分かったことをメモしておこうかと思います。（往々にして数年後に見返すとう〜ん、となるやつだけど気にしないことにする） ※そういう意味では2019年の#didconでその時点でわかっていることをある程度まとめて発表してからおよそ3年も経つんですね・・・ また機会があればdidconでも開催してじっくりお話さ
GitHub - wasmerio/ate: Distributed immutable data store with strong encryption and authentication
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Regional Scrum Gathering Tokyo 2022 Room C 14:00-14:45
Consider SQLite
If you were creating a web app from scratch today, what database would you use? Probably the most frequent answer I see to this is Postgres, although there are a wide range of common answers: MySQL, MariaDB, Microsoft SQL Server, MongoDB, etc. Today I want you to consider: what if SQLite would do just fine? For those who are unfamiliar, SQLite is a implementation of SQL as a library — this means t
高性能分散SQLエンジン「Trino」最速ガイド - NTT Communications Engineers' Blog
こんにちは。なんの因果かNTTコミュニケーションズのエバンジェリストをやっている西塚です。 この記事は、NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープンソースソフトウェア)の1つです。 SQL-on-Anything: Hadoopだけでなく従来のRDBMS(リレーショナルデータベース)やNoSQLまで、標準SQL(ANSI SQL)に準拠したアクセスをワンストップに提供 並列処理でビッグデータに対して容易にスケールアップ しかも高速(hiveの数十倍) Netflix, LinkedIn, Salesforce, Shopif
Qiitaにも記事があります https://qiita.com/_kensh/items/2351096e6c3bf431ff6f サーバーレスでよく利用される Amazon DynamoDBですが、設計方針はRDBMSと違うとよく言われます。 アクセスパターンに従った、DynamoDBならではの設計の仕方を一緒に学んでみませんか？
Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB のテーブル DynamoDB におけるテーブルはRDBMSにおけるテーブルと概念が異なります。 テーブルを作成する際に、Primary Key を指定する必要があります。 Primary Key はテーブルの各項目を一意に識別するために使います。Primary Key は、Partition Key および Sort Key で構成されます。(Sort KeyがなくPartition Keyのみの場合もあります) Item は R
[Kubernetes] PodのAZ分散を実現するPod Topology Spread ConstraintsとDescheduler
本記事は、PodのAZ分散を実現するPod Topology Spread ConstraintsとDeschedulerについて紹介します。 また、それぞれの課題とその解決方法について書きます。 Kubernetesについて基本的な用語がわかる方であれば読める内容になっているかと思います。 Pod Topology Spread Constraintsとは？ Pod Topology Spread Constraintsを使うことで、Region・Zone・Nodeなどの単位でPodを分散して配置することが可能になります。 例えば、1つのZoneにNodeが2台とPodが1台ずつ配置されているとします。 AZ障害が発生し、Nodeがダウンすると1つのZoneにPodが集中していた場合のサービス影響は大きくなります。 しかし、2台のPodが異なるZoneに配置されていた場合、サービス影響は
![[Kubernetes] PodのAZ分散を実現するPod Topology Spread ConstraintsとDescheduler](https://cdn-ak-scissors.b.st-hatena.com/image/square/8120678b0a17ab97fba65dd87180b2f5bb706a5a/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--jZi9n47W--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BKubernetes%25255D%252520Pod%2525E3%252581%2525AEAZ%2525E5%252588%252586%2525E6%252595%2525A3%2525E3%252582%252592%2525E5%2525AE%25259F%2525E7%25258F%2525BE%2525E3%252581%252599%2525E3%252582%25258BPod%252520Topology%252520Spread%252520Constraints...%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aksudate%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzk4MTI4OGNiOGYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
HDFSのブロックデータ転送の暗号化 HDFSの実データに相当するブロックデータの転送に対する暗号化はRPC暗号化とはさらに別のパラメータで管理されています。 hdfs-siteの dfs.encrypt.data.transfer を true に、 dfs.encrypt.data.transfer.cipher.suites を AES/CTR/NoPadding にそれぞれ指定することで有効化します。 この設定を無停止で反映するにあたっては、転送の暗号化設定の反映済/未反映を判別する dfs.trustedchannel.resolver.class によるノードの動的な管理、場合によっては拡張による独自実装が必要となります。 HDFSクライアントおよびNameNode・DataNode間で dfs.encrypt.data.transfer の真偽が一致していない場合はブロックデ
この記事は新野淳一氏のブログ「Publickey」に掲載された「JetBrainsが軽量なコードエディタ「Fleet」発表。エディタとバックエンドの分散処理、多言語対応、共同作業対応など」（2021年11月30日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 プログラミング言語の「Kotlin」や、統合開発ツール「IntelliJ IDEA」などの開発元であるJetBrainsは、同社が新規に開発した軽量なコードエディタの「Fleet」を発表しました。 Fleetは瞬時に起動する高速で軽量なコードエディタを中心に、別途実行されるIntelliJコード処理エンジンを搭載しています。 LanguageServerを用いたプロジェクトおよびコンテキスト対応のコード補完の他に、定義と使用箇所への移動コード品質チェック、クイックフィックスなどの機能を IntelliJベース
GitHub - aws/clock-bound: Used to generate and compare bounded timestamps.
ClockBound allows you to generate and compare bounded timestamps that include accumulated error as reported from the local chronyd process. On every request, ClockBound uses two pieces of information: the current time and the associated absolute error range, which is also known as the clock error bound. This means that the “true” time of a ClockBound timestamp is within a set range. Using ClockBou
［速報］Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21
［速報］Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21 Googleは、Google Cloudの能力をオンプレミスやエッジロケーションにまで拡大して提供する「Google Distribute Cloud」として、 「Google Distribute Cloud Edge」と「Google Distributed Cloud Hosted」を発表しました。 日本時間で13日未明に開幕する同社のオンラインイベント「Google Cloud Next '21」で詳細が説明される予定です。 Google Distributed Cloud Hostedは、オンプレミスのデータセンターに置いたサーバ上でGoogle Cloudが提供しているデータベースや機械学習、コンテナ管
我らがCloudflare社が、先日のブログで"Web3"なるものに言及してた。しかも3記事も続けざまに。 不勉強な身としては、ざっと読んだだけではふわっとしか理解できなかったので、もう少しちゃんと理解したいなーと思った。 というわけで、概要を訳しつつあれこれ調べてみたというメモです。 これは単に自分の視野が狭かったことに気付いたんですが、そもそも"Web3"という単語やそれを表すトレンドみたいなものは、2018年くらいのブロックチェーンな頃から既にあったんですね。 そういうわけなので、知ってる人にとっては何をいまさら？って話かもしれんし、それをこのタイミングでCloudflareが言及したことに、特別な意味を感じるのかも？とか。 Web 3.0とは Web3 — A vision for a decentralized web まずこの最初の記事をざっくり。 Web3とは、Web 3.0
This post is also available in 简体中文, 繁體中文, 日本語, and 한국어. By reading this, you are a participant of the web. It's amazing that we can write this blog and have it appear to you without operating a server or writing a line of code. In general, the web of today empowers us to participate more than we could at any point in the past. Last year, we mentioned the next phase of the Internet would be always
Scrum@Scaleの基本と実装 - Chatworkの実践に学ぶ「スケールするスクラム」の導入戦略｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Scrum@Scaleの基本と実装 - Chatworkの実践に学ぶ「スケールするスクラム」の導入戦略 スクラムのスケーリング手法であるScrum@Scale（スクラムアットスケール）の基本的な概念、そして企業内での実践例を粕谷大輔（daiksy）さんが解説します。実践例では、Scrum@Scaleにおいて「だれが」「なにをやるのか」を、1週間のタイムスケジュールとともに解説します。 2001年にアジャイルソフトウェア開発宣言 が発表されてから20年。日本のソフトウェア開発の現場でもアジャイルはずいぶん一般的に扱われるようになってきました。そのうちの手法の１つであるスクラムについても、導入事例を多く見聞きします。 スクラムは原則的に少人数のチームに適用されることを前提としている手法ですが、さまざまな現場で扱われるようになるにつれ、規模の大きなチームへと拡張されるニーズも高まってきました。現
EngineeringPartitioning GitHub’s relational databases to handle scaleIn 2019, to meet GitHub's growth and availability challenges, we set a plan in motion to improve our tooling and ability to partition relational databases. More than 10 years ago, GitHub.com started out like many other web applications of that time—built on Ruby on Rails, with a single MySQL database to store most of its data. Ov
分散（Variance）／標準偏差（SD：Standard Deviation）とは？：AI・機械学習の用語辞典 用語「分散」「標準偏差」について説明。いずれもデータの広がり具合を表す統計量。分散は、各データに対して「平均値との差」（＝偏差）の二乗値を計算し、その総和をデータ数で割った値（＝平均値）を表す。標準偏差は、分散に対する平方根の値を表す。 連載目次 用語解説 数学／統計学／機械学習における分散（variance）とは、データ（観測値）がどれくらい広がっているか、より厳密には「データが平均値からどれくらい離れているか」（＝バラツキ具合）を表す統計量である。分散は、各データに対して「（全データから計算した）平均値との差」（＝「偏差：deviation」と呼ぶ）の二乗値を計算し、その二乗値の総和をデータ数で割ること（つまり全二乗値の平均値）で求まる（数式は後述）。 標準偏差（SD：St
はじめに この記事では、7月にリリースした、さくらのクラウドで使える機能の1つである「エンハンスドデータベース(TiDB)」というサービスについて紹介します。サービスの紹介に加えて、その裏で使っているTiDBという分散データベースの技術についても簡単に触れようかなと思っています。 分散データベース / NewSQLについて NewSQLとは さて、皆さんは「分散データベース」とか、あるいは「NewSQL」とか、そういった単語を耳にすることがあるでしょうか？ということでまずはこのお話をしたいと思います。 NewSQLと呼ばれているものはどういったものかといいますと、SQLをインターフェースとするという特徴を持っていて、データベース(例えばMySQLやPostgreSQLなど)と同じように強い整合性を持ち、トランザクションをサポートしていて、かつ分散データベース(分散型のリレーショナルデータベ
https://fortee.jp/iosdc-japan-2021/proposal/1b05a1c0-91ef-401a-b3f3-36f0e57a6a25
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの大岩です。 ヤフーが提供するYahoo!ショッピングやPayPayモールでは1年に1度大規模セールを行っています。 去年（2020/10/17～11/15）の対象期間は、超PayPay祭の開催に合わせて過去最大級の大規模セールとなっていました。特にセール最終日はグランドフィナーレと呼ばれ、ポイント還元率が年間を通して最大となる1年で最もお得な日となっていました。 集客の予測値は通常セールの数倍が見込まれており、セールの高負荷を乗り切るために、セール高負荷専用の対策チームが組まれ、そこを中心として高負荷対策を進めることになりました。 本記事では、大規模セールの高負荷に対して実際にどのような負荷対策を行ったかをサー
Denoの分散ホスティング「Deno Deploy」ベータ2公開。FiIe System API追加、クラッシュレポートなど
Denoの分散ホスティング「Deno Deploy」ベータ2公開。FiIe System API追加、クラッシュレポートなど Node.jsの作者であるライアン・ダール（Ryan Dahl）氏が新たに立ち上げた企業「Deno Company」は、サーバサイドでJavaScript/TypeScriptを実行するためのオープンソースのフレームワーク「Deno」と、その分散ホスティングである「Deno Deploy」を提供しています。 Denoは、ライアン・ダール氏がNode.jsを開発した経験を活かし、より優れたサーバサイドのJavaScriptランタイムとして新たに開発しているものです。V8 JavaScriptエンジンをベースにしており、JavaScriptだけでなく、TypeScriptとWebAssembly（WASM）にも対応します。 Deno Deployは、その名前の通りDen
2021/7/16にCloud Native Database Meetup#1の発表資料です。
Connect thousands of apps and integrations for all your Atlassian products
GitHub - hashicorp/cap: A collection of authentication Go packages related to OIDC, JWKs, Distributed Claims, LDAP
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
No more DSLs: Implement and deploy a distributed system with a single program
No more DSLs: Implement and deploy a distributed system with a single program If you want to write a distributed system, then instead of writing a thousand different programs and configuration files in many different DSLs, you can use an approach I call "single-program systems", and write just one program. In this article, I describe how we do this at $DAYJOB, and I show some example programs. The
「機械学習とビジネスを橋渡しするものこそ評価指標であり, "全てのビジネスは条件付期待値の最大化問題として書ける"」という話の問題点と代替案 - ill-identified diary
概要 はじめに I. 条件付き期待値が全てか? i 条件付き「期待値」だけでよいのか? ii 条件付き期待値の条件とはなにか? メディアミックスモデルを例に 外挿と選択バイアス 補足: 条件付き期待値の条件付けに関して II. 機械学習の性能評価 ≠ ビジネスモデル なのか? 分類モデルと確率の推定 確率推定の評価はできるのか III. こういう話の教科書・参考書はないのか? まとめ 参考文献 概要 『機械学習とビジネスを橋渡しするものこそ評価指標であり, ”全てのビジネスは条件付期待値の最大化問題として書ける”仮説についての一考察 - 株式会社ホクソエムのブログ』というブログ記事に対する私の昨日の twitter での連続投稿の話を書き改め, 説明不足な部分を補った. 昨日と同様に, (I) 条件付き期待値だけでよいか, (II) ビジネスモデルと機械学習の性能評価は一致しないのか, (
詳説 データベース
データベースを選択し、使用し、管理するには、その内部構造を理解することが不可欠です。しかし、今日ではたくさんの分散型データベースやツールが存在するため、それぞれが何を提供しているのか、どのように異なるのかを理解することは困難です。 本書はデータベースとストレージエンジンの内部で利用されている概念を解説します。ストレージエンジンでは、ストレージの分類、Bツリーベースのストレージエンジンとイミュータブルなログ構造化ストレージエンジンの違いと事例を紹介します。ストレージの構成要素については、ページキャッシュ、バッファプール、ログ先行書き込みなどの補助的なデータ構造を使って、効率的なストレージを構築するためのデータベースファイルの構成を説明します。分散型システムでは、ノードとプロセスがどのように接続され、複雑な通信パターンを構築するのかを段階的に学びます。 データベースそれぞれで大きな違いがあるス
Kubernetesの主要なリソースの一つにServiceリソースがあります。ServiceリソースとはKubernetes上のPodへクラスタの外からアクセスするために使うもの、という理解をしている人が多いかもしれません。確かにそのような役割を担っているのですが、実際にはクラスタ内部に閉じた通信にも利用されていますし、実はもっといろいろな機能を持っています。 端的に説明すれば、Serviceとは「ロードバランサとDNSサーバを設定するためのリソース」です。意外に聞こえますか？ もし意外に思えたなら、ぜひこのまま読み進めてみてください。 インターナルなロードバランサを制御する Kubernetesにはクラスタ内部に閉じた通信を制御するロードバランサが内蔵されています。Kubernetesを利用するということは、ほぼ例外なくこのロードバランサを利用しているのですが、あまり意識せずに利用されて
2021/6/11 #InfraStudy 2nd Season
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud arch patterns
YDB — an open source Distributed SQL Database
Scaling containers on AWS in 2022
2022年1〜3月に社内で共有したアジャイル開発関連の記事 - tuneの日記
分散型IDに関する10の所感（2022年2月版）
Scrum@Scaleの理論と実装 / RSGT2022
DynamoDB の基礎と設計 / DynamoDB Design Practice
DynamoDB の設計について考えてみる。 - Qiita
よりセキュアなHadoopの作り方 〜 ApacheCon Asia 2021登壇報告
Kotlin開発元が軽量なコードエディタ「Fleet」発表 エディタとバックエンドの分散処理や共同作業に対応
CloudflareのWeb3の記事を読んで、ざっくり調べたメモ - console.lealog();
Web3 — A vision for a decentralized web
Partitioning GitHub’s relational databases to handle scale
分散（Variance）／標準偏差（SD：Standard Deviation）とは？
今すぐ使える分散DB「エンハンスドデータベース(TiDB)」のご紹介 | さくらのナレッジ
大規模なアプリのマルチモジュール構成の実践
超PayPay祭による高負荷にヤフーはどのように立ち向かったか
#CloudNativeDB NewSQLへの誘い
Compass | Developer Experience Platform
あなたの知らないKubernetesのServiceの仕組み | IIJ Engineers Blog
Cloud Native時代のデータベース