Amazon ECS increases applications resiliency to unpredictable load spikes
Today, Amazon Elastic Container Service (Amazon ECS) enhanced tasks scheduling to make customers’ applications even more resilient to unpredictable load spikes. Now, Amazon ECS will first start a healthy replacement for each unhealthy task, that failed to pass a container or load balancer health check, before terminating it. This enhancement increases the resilience of customers’ applications with
12-3章では確率変数の期待値について、12-5章では確率変数の分散について学びました。この章では、2つの確率変数の和、差、共分散、相関係数について学びます。 ■2つの確率変数の期待値 2つの確率変数とYの和、差の期待値は、次に示すように、それぞれの期待値、の和、差に等しくなります。
社内でアジャイル開発を議論するSlackチャンネル #tech_agile に見かけた良記事のまとめです。 ノウハウ・知見 フィーチャーファクトリーにならないように注意 有名なMVP図の解説 デュアルトラックアジャイルの実践 フィーチャーフラグの分類 ユニコーン企業の秘密をベースとしたスケーリングの考え方 落合博満に学ぶ 技術負債に立ち向かう前の話 TDDの考察 スクラムチームを生産的にするパターンランゲージ プロダクトバックログの整理の秘訣 30分で分かった気になるチームトポロジー 他社事例 メルカリCAMPシステム LIFULL GitLabで学んだ最高の働き方 atama+ LeSS事例 Regional Scrum Gathering Tokyo 2022 スライドまとめ 後日公開された動画 いい感じのチームを作る考え方 ChatworkのScrum@Scale事例 永和システムで
GitHub - ballista-compute/ballista: Distributed compute platform implemented in Rust, and powered by Apache Arrow.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - richardartoul/tsdb-layer: Time Series and FoundationDB. Millions of writes/s and 10x compression in under 2,000 lines of Go.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWS Lambda functions now scale 12 times faster when handling high-volume requests | Amazon Web Services
AWS News Blog AWS Lambda functions now scale 12 times faster when handling high-volume requests Now AWS Lambda scales up to 12 times faster. Each synchronously invoked Lambda function now scales by 1,000 concurrent executions every 10 seconds until the aggregate concurrency across all functions reaches the account’s concurrency limit. In addition, each function within an account now scales indepen
ABCI上でpytorch distributed data parallelによるマルチノード学習 - Qiita
なんの記事? pytorchのDistributedDataParallelについての日本語記事があまりにもなかったため，素人がまとめました． 並列処理がわからない人による，わからない人のための，とりあえず使えればいいや的なDDPの解説です． 基本的にABCIでの実行を前提に書かれていますが，それ以外の環境の人たちにも参考になれば幸いです． はじめに おなじみの機械学習フレームワークであるpytorch．気軽にDataParallelで並列処理の学習もできます． ですがfacebookなどの一流の機械学習エンジニアたちはDistributedDataParallelなるものを使った実装がちらほらみられます． そこでpytorchの解説記事を読むわけですが，これがびっくりするほどわからない． というわけで，ABCI上でのDistributedDataParallel(以下DDP)の使い方を自
Example: Time-based Auto Scaling on Amazon ECS + AWS Fargate
Time-based-auto-scaling-on-fargate.md Set parameters $ export ECS_CLUSTER_NAME={YOUR_ECS_CLUSTER_NAME} $ export ECS_SERVICE_NAME={YOUR_ECS_SERVICE_NAME} RegisterScalableTarget $ aws application-autoscaling register-scalable-target --service-namespace ecs \ --scalable-dimension ecs:service:DesiredCount \ --resource-id service/${ECS_CLUSTER_NAME}/${ECS_SERVICE_NAME} \ --min-capacity 1 \ --max-capaci
How Drop used the Amazon EMR runtime for Apache Spark to halve costs and get results 5.4 times faster | Amazon Web Services
AWS Big Data Blog How Drop used the Amazon EMR runtime for Apache Spark to halve costs and get results 5.4 times faster February 2022 update – When this Blog post was published in June 2020 AWS Glue V1 offered an average starting time of 10 minutes. In September 2020 Glue V2 was released offering 10X faster start times. Because of this the part of this blog post that compares the starting times be
JuiceFSはHDFSやS3と互換性のあるオープンソースのPOSIX準拠なクラウド向け分散ファイルシステム（Dfs）です。クラウドアプリの構築や移行、クロスジオやクロスクラウドでのファイル共有を容易にしてくてるとの事です。 マルチクラウドやクロスクラウドなども対応のクラウド特化に設計、何千ものクライアントから読み書きが可能、データは暗号化され、圧縮されるようになっており、自動運転モデルの学習、レコメンデーションエンジン、次世代遺伝子（DNA）シーケンスなどのビッグデータの扱いに特化して構築されているそうで、数百億ファイルの管理をより簡単に、より高いパフォーマンスで行うことが可能だそうです。 先日GoogleやMSでもAIに関する声明が出されて話題になりましたが、非常に多くのデータを扱うのが当たり前の社会に移行しており、今まで以上にマルチクラウドやクロスクラウドにも対応できるJuiceFS
AWS Glue for Apache Spark が Google BigQuery へのネイティブ接続をサポートするようになりました。これにより、ユーザーは Apache Spark ライブラリ用の BigQuery コネクタをインストールしたり管理したりすることなく、BigQuery からデータを効率的に読み書きできるようになります。ユーザーは、ノーコードのドラッグアンドドロップで使用できる AWS Glue Studio の視覚的なインターフェイス内で BigQuery をソースまたはターゲットとして追加したり、AWS Glue ETL ジョブスクリプトでコネクタを直接使用したりできるようになりました。この新しいコネクタを AWS Glue の ETL (抽出、変換、ロード) 機能と組み合わせると、ETL パイプラインの作成が容易になり、ETL デベロッパーはデータパイプラインの構
コラム - グーグルのクラウドを支えるテクノロジー | 第64回 サーチエンジンのロードバランシング・アルゴリズム（パート1）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第64回 サーチエンジンのロードバランシング・アルゴリズム（パート1） (中井悦司) 2019年8月 はじめに 今回からは、2019年に公開された論文「Cache-aware load balancing of data center applications」を元にして、サーチエンジンのロードバランシングに関するアルゴリズムを紹介します。検索対象の単語ごとに担当するサーバーを分けて、サーバー内部のキャッシュのヒット率を高めるというシンプルなアイデアですが、複数の単語を含む検索文に適用するには、すこしばかり数学的な考え方が必要になります。今回は、具体的なアルゴリズムを説明する準備として、システム全体のアーキテクチャーを整理しておきます。 サーチ
GitHub - jointwt/twtxt: 📕 twtxt is a Self-Hosted, Twitter™-like Decentralised microBlogging platform. No ads, no tracking, your content, your data!
📕 twtxt is a Self-Hosted, Twitter™-like Decentralised micro-Blogging platform. No ads, no tracking, your content, your data! Technically twtxt is a multi-user twtxt client in the form of a web app and api. It supports multiple users and also hosts user feeds directly and provides a familiar "social" experience with minimal user profiles. It also supports "rich" text by utilising Markdown as well
Connect thousands of apps and integrations for all your Atlassian products
こんにちは。コンサル部のYui(@MayForBlue)です。 今回は、EC2のAuto Scaling グループを作成する方法をご紹介します。 Auto Scaling とは Amazon EC2 Auto Scaling によって、アプリケーションの負荷を処理するために適切な数の Amazon EC2 インスタンスを利用できるように準備することができます。Auto Scaling グループと呼ばれる EC2 インスタンスの集合を作成します。各 Auto Scaling グループ内のインスタンスの最小数を指定することができ、Amazon EC2 Auto Scaling のグループはこのサイズよりも小さくなることはありません。各 Auto Scaling グループ内のインスタンスの最大数を指定することができ、Amazon EC2 Auto Scaling のグループはこのサイズよりも大き
![[初心者向け]EC2 Auto Scaling グループを作成する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/bede2890e86b4906b777253ed659fb2dc79aeed0/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-ec2-auto-scaling.png)
[Apache Kafka] Kafka StreamsでStream処理をしてみる [node.js] | DevelopersIO
Apache Kafkaとは Apache Kafkaとは、Linkedinが開発した分散メッセージキューで、 データストリーミング用のプラットフォームです。 メッセージキューとは、システム間でデータのハブととして機能し、 対象データを一時的に保持してくコンポーネントです。 キューをはさむことでシステム間を疎結合にし、通信を非同期化することができます。 AWSでいえば、sqsやkinesisが同様のサービスにあたります。 Apache Kafkaはスケーラビリティや大量データの扱いに長けており、耐障害性もあるスグレモノです。 本稿ではApache Kakfaとnode.js用モジュールのkafka-nodeとkafka-streamsをつかって node.jsからkafkaへアクセスしてみます。 Amazon Kinesisとの比較 以前はAWSフルマネージド(kinesis)かどうか、と
![[Apache Kafka] Kafka StreamsでStream処理をしてみる [node.js] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b07b7c6bbbd77094a43e44f45030ff3684657c12/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F07%2Fapache-kafka.png)
Remote Work Statistics
Remote Work Statistics Statistics about remote work from 2498 companies working remotely in 3200 cities across 131 countries. Most countries Meet the TOP 10 distributed companies with employees coming from most countries.
Dive deep into security management: The Data on EKS Platform | Amazon Web Services
AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In
Elasticsearchが広く普及した理由の1つは、数ノードの小規模なクラスターから数百ノードの大規模なクラスターへの拡張性が優れていることです。その中心にあるのが、クラスターコーディネーションサブシステムです。Elasticsearchバージョン7は、新たなクラスターコーディネーションサブシステムを備えており、これまでのバージョンと比べて多くの利点があります。この記事では、バージョン7においてこの新しいサブシステムに加えられた改善点について紹介し、その使い方、今回の変更がバージョン6からのアップグレードに与える影響、誤ってデータをリスクにさらしてしまうことを防ぐ新たな機能について説明します。そして最後に、新しいサブシステムの仕組みを説明する理論の概要を提示します。 クラスターコーディネーションとは Elasticsearchクラスターを使用すると、多数のノードの連携を必要とするさまざま
mvSQLite is the open-source, SQLite-compatible distributed database. We decoupled SQLite's storage layer onto FoundationDB to offer massive yet "bottomless" scalability, point-in-time reads, and the strictest level of consistency. On the surfaceThere are already so many nice "multi-machine" SQLite flavors: rqlite, dqlite, and Litestream. However I believe what mvSQLite offers is unique: it is not
Slides from a talk given at Nutanix on Mar 21, 2018Read less
Summary statistics such as the mean and variance are easily maintained for large, distributed data streams, but order statistics (i.e., sample quantiles) can only be approximately summarized. There is extensive literature on maintaining quantile sketches where the emphasis has been on bounding the rank error of the sketch while using little memory. Unfortunately, rank error guarantees do not precl
GitHub - bastion-rs/bastion: Highly-available Distributed Fault-tolerant Runtime
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Architecting for Reliable Scalability | Amazon Web Services
AWS Architecture Blog Architecting for Reliable Scalability Cloud solutions architects should ideally “build today with tomorrow in mind,” meaning their solutions need to cater to current scale requirements as well as the anticipated growth of the solution. This growth can be either the organic growth of a solution or it could be related to a merger and acquisition type of scenario, where its size
Toward the end of last year, I had the good fortune of publishing a reference guide on using OpenCensus for distributed tracing. In it, I covered distributed tracing fundamentals, like traces, spans, and context propagation, and demonstrated using OpenCensus to instrument a simple pair of frontend/backend services written in Go. Since then, the OpenCensus and OpenTracing projects have merged into
Understanding laws of scalability and the effects on a distributed system
A reactive system primarily focuses on responsiveness, elasticity, message-driven, and resiliency as its core features. Elasticity is one of the main components in the reactive manifesto. An elastic system has the ability to scale up or scale down when there is an increase/decrease in demand while remaining responsive. Scenarios where a system needs to improve the throughput or needs to handle mor
Home
Optimism CollectiveBuild a world that benefits all, owned by none. Start buildingBridge Build together, Benefit togetherThe Superchain is a vision of a composable, unified network of blockchains that can support internet-level activity, powered by the MIT-licensed open source OP Stack. Start building
統計での分散には、”nで割る分散”と”n-1で割る分散”の二種類があります。 “nで割る分散”は、一般的な分散です。 “n-1で割る分散”を不偏分散と呼びます。 この記事では、 一般的な分散と不偏分散では何が違うのか。 どうして、不偏分散はn-1で割る必要があるのか。 分散と不偏分散の使い分け方 ついて説明していきます。 不偏分散と標本分散の違いは？n-1で割る理由 まずは、標本分散と普遍分散の違いについて。 標本分散：データのバラツキを表すために用いられる 不偏分散：標本から母集団の分散を推定するために用いられる そして分散には母分散と標本分散があります。 “標本分散”と”不偏分散”の違いを理解するためには、まず、母集団と標本の性質について知る必要があります。 不偏分散を理解するのに必要な母集団と標本とは？ 母集団と標本の意味は以下のようです。 母集団は“知りたい対象のすべて”を指します
Getting started with Pytorch 2.0 and Hugging Face Transformers
Getting started with Pytorch 2.0 and Hugging Face Transformers On December 2, 2022, the PyTorch Team announced PyTorch 2.0 at the PyTorch Conference, focused on better performance, being faster, more pythonic, and staying as dynamic as before. This blog post explains how to get started with PyTorch 2.0 and Hugging Face Transformers today. It will cover how to fine-tune a BERT model for Text Classi
Delta: A highly available, strongly consistent storage service using chain replication
Delta: A highly available, strongly consistent storage service using chain replication Over the years, Meta has invested in a number of storage service offerings that cater to different use cases and workload characteristics. Along the way, we’ve aimed to reduce and converge the systems in the storage space. At the same time, having a dedicated solution for critical package workload makes everyone
Kubernetes is Our Generation's Multics Let's start this post off with a bold claim: Kubernetes is Multics! That is, it's a serious, respectable, but overly complex system that will eventually replaced by something simpler: the Unix of distributed operating systems. (It's arguable whether Kubernetes deserves to be called a distributed OS, but let's leave that aside for now.) This is the same claim,
Apache Helix - Near-Realtime Rsync Replicated File System
A cluster management framework for partitioned and replicated distributed resources Quick Demo This demo starts 3 instances with id’s as localhost_12001, localhost_12002, localhost_12003 Each instance stores its files under /tmp/<id>/filestore localhost_12001 is designated as the master, and localhost_12002 and localhost_12003 are the slaves Files written to the master are replicated to the slaves
PigPaxos: Devouring the communication bottlenecks in distributed consensus
On distributed systems broadly defined and other curiosities. The opinions on this site are my own. This is our most recent work, started and led by Aleksey Charapko. (This is a joint post with him.) You can get the paper at arxiv.org. The paper is currently under submission to a journal. The story One day I challenged Aleksey to give me a ballpark number on how much he thinks we can scale Paxos v
The lightweight, easy-to-use, distributed relational database built on SQLite Keep your data safe with zero hassle What is rqlite? rqlite is a distributed relational database that combines the simplicity of SQLite with the robustness of a fault-tolerant, highly available cluster. It's developer-friendly, its operation is straightforward, and its design ensures reliability with minimal complexity.
Automate Amazon RDS for PostgreSQL horizontal scaling and system integration with Amazon EventBridge and AWS Lambda | Amazon Web Services
AWS Database Blog Automate Amazon RDS for PostgreSQL horizontal scaling and system integration with Amazon EventBridge and AWS Lambda You may have a workload where you want to automate scaling, such as a reporting application with unpredictable increases in queries, or an application with database utilization increasing at predictable times like end-of-month reporting. Scaling a database to approp
Mergeable replicated data types – Part I | the morning paper
the morning paper a random walk through Computer Science research, by Adrian Colyer Made delightfully fast by strattic Mergeable replicated data types Kaki et al., OOPSLA’19 This paper was published at OOPSLA, but perhaps it’s amongst the distributed systems community that I expect there to be the greatest interest. Mergeable Replicated Data Types (MRDTs) are in the same spirit as CRDTs but with t
BigLake: Unify data lakes & data warehouses | Google Cloud
BigLake is a storage engine that provides a unified interface for analytics and AI engines to query multiformat, multicloud, and multimodal data in a secure, governed, and performant manner. Build a single-copy AI lakehouse designed to reduce management of and need for custom data infrastructure.
Metastability is a stable state of a dynamical system other than the system’s state of least energy. – Wikipedia Distributed systems often fail spectacularly and unpredictably. They are a cause for a headache and sleepless on-call nights for way too many engineers. And this is despite lots of efforts to understand the failures, and all the tools and “best practices” we have to contain and/or preve
Lightning Talk_モノレポにおけるgitブランチ運用との戦い | Lightning Talk_LT会レポート
こんにちは。Another works CTOのソルです。 最近リポジトリーの数が増えてきて、graphqlやgrpcといったリポジトリー間でのスキーマ共有をすることが増えてきたので、リポジトリーがバラバラに分かれていることに辛みを感じで、 モノレポに変えたので、その話をできればと思います。 なぜモノレポにしたのか？ Another worksでは、いまリポジトリーの数としては10以上あって、そのほとんどが完全に分離しているサービスではなく、マイクロサービスとして依存していたり、フロントエンドをユーザーの種類によって分離しているなど、ほとんどのリポジトリーが弊社サービスの「複業クラウド」を構成するものでした。 弊社にはまだエンジニアが私含めて5人しかおらず、その中でリポジトリーが分かれすぎているため、リリースが塩漬けになるといった問題が発生していました。 また、graphqlやgrpcのほ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
15-6. 2変数の期待値と分散 | 統計学の時間 | 統計WEB
2022年1〜3月に社内で共有したアジャイル開発関連の記事 - tuneの日記
HDFSやS3と互換性のあるオープンソースのクラウド向け分散ファイルシステム・「JuiceFS」
AWS Glue for Apache Spark が Google BigQuery 向けネイティブ接続を発表
Compass | Developer Experience Platform
[初心者向け]EC2 Auto Scaling グループを作成する | DevelopersIO
新世代Elasticsearchクラスターコーディネーション
Turning SQLite into a distributed database
Cloud arch patterns
DDSketch: A fast and fully-mergeable quantile sketch with relative-error guarantees
Distributed Tracing with OpenTelemetry in Go
不偏分散とは？n-1で割る理由を簡単にわかりやすくエクセルの関数を解説！｜いちばんやさしい、医療統計
Summer Blog Backlog: Distributed Systems
rqlite
Metastable Failures in Distributed Systems – Aleksey Charapko
https://d1.awsstatic.com/webinars/jp/pdf/services/20170809_AWS-BlackBelt-DynamoDB.pdf