It is often surprising how little is known about how databases operate at a surface level, considering they store almost all of the states in our applications. Yet, it's foundational to the overall success of most systems. So today, I will explain the two most important topics when working with RDBMSs indexes and transactions. So, without fully getting into the weeds on database-specific quirks, I
SRE for single-tiered software applications | Google Cloud Blog
In cloud operations, we often hear about the benefits of microservices over monolithic architecture. Indeed, microservices help manage hardware being abstracted away and push developers towards resilient, distributed designs. However, many enterprises still have monolithic architectures which they need to maintain. For this post, we’ll use Wikipedia’s definition of a monolith: “A single-tiered sof
https://blog.tensorflow.org/2020/07/tensorflow-2-meets-object-detection-api.html https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhKis9ECId8eIwn_p0SVMBt3a1vfvKOcOZXy6zK0fWoyzXnzQTguKc2CV__6oI1Pwg22NjWsErpDKqjwQdzjilvmqwWkXPj2ncglphh6mAhpoZ_QXQiDwxnwo-GjKEP0fEOb3uBlNlh9sc/s1600/tensorflow2objectdetection.png July 10, 2020 — Posted by Vivek Rathod and Jonathan Huang, Google Research At the
GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
| Demo | Discord | X | FastChat is an open platform for training, serving, and evaluating large language model based chatbots. FastChat powers Chatbot Arena (https://chat.lmsys.org/), serving over 10 million chat requests for 70+ LLMs. Chatbot Arena has collected over 500K human votes from side-by-side LLM battles to compile an online LLM Elo leaderboard. FastChat's core features include: The trai
『週刊少年ジャンプ』（集英社）で連載され、累計発行部数3000万部を超える萩原一至原作の漫画『BASTARD!! －暗黒の破壊神－』がシリーズアニメ化！ 2022年6月30日（木）、Netflixにて全世界配信開始！！ The manga "BASTARD!!!" by Kazushi Hagiwara, serialized in "Weekly Shonen Jump" (Shueisha), has sold over 30 million copies in total. -The series will be adapted into an anime! The series will be distributed worldwide on Netflix on Thursday June 30, 2022． ★Netflix配信ページ / Netflix Official
Interesting Programming Languages an opinionated collection of programming languages. Created: Feb 19, 2020 by Pradeep Gowda Updated: May 17, 2024 Tagged: programming-language An opinionated collection of programming languages. This is a list of what I consider interesting. Requests to add to this list are welcome, but there is no guarantee I’ll include them. As you can see many mainstream program
There are millions of github repos and filtering them is an insane amount of work. It takes huge time, efforts and a lot more. We have done this for you. In this article we’ll share a curated list of 100+ widely-known, recommended and most popular repositories and open source github projects for Machine Learning and Deep Learning. So without further ado, Let’s see all the hubs created by experts a
Operating Lambda: Anti-patterns in event-driven architectures – Part 3 | Amazon Web Services
AWS Compute Blog Operating Lambda: Anti-patterns in event-driven architectures – Part 3 In the Operating Lambda series, I cover important topics for developers, architects, and systems administrators who are managing AWS Lambda-based applications. This three-part section discusses event-driven architectures and how these relate to Lambda-based applications. Part 1 covers the benefits of the event-
Rationale The entire premise behind GitOps is to use Git as the source of truth for infrastructure and application configuration, taking advantage of Git workflows, while at the same time, having automation that realizes the configurations described in Git repositories (GitOps operators when we are deploying to Kubernetes). That said, both infrastructure configuration and application configuration
分散Erlangシステムを楽しむには複数のPCがあるといいのですが、それだと準備が大変で敷居を高く感じるかもしれません。 Dockerを使えば一つのPC上に複数の仮想ホストを簡単に立ち上げられます。それらを別々のPCに見立てれば、気軽に遊べるのではないでしょうか。 やりたいこと Dockerで仮想Linuxマシンを三つ起動してそれらを別々のPCと見立てる それぞれの仮想Linuxマシンでノードを起動する すべてのノードを接続 後は自由に遊ぶ ノードとは 分散Erlangのドキュメントによると A distributed Erlang system consists of a number of Erlang runtime systems communicating with each other. Each such runtime system is called a node. 分散
Best Practices - Networking - Amazon Elastic Container Service
Modern applications are typically built out of multiple distributed components that communicate with each other. For example, a mobile or web application might communicate with an API endpoint, and the API might be powered by multiple microservices that communicate over the internet. This guide presents the best practices for building a network where the components of your application can communic
Git Credential Manager Core: Building a universal authentication experience
SecurityGit Credential Manager Core: Building a universal authentication experienceAuthentication is a critical component to your daily development. When working in open source, you need to prove that you have rights to update a branch with git push. Additionally… Authentication is a critical component to your daily development. When working in open source, you need to prove that you have rights t
こんにちは、R&Dチームの齋藤（@aznhe21）です。 新オフィスは広くて快適です。 さて、本日4/8(金)にRust 1.60がリリースされました。 この記事ではRust 1.60での変更点を詳しく紹介します。 4/8は釈迦の誕生を祝う花まつりの日 ピックアップ コンパイル時間を計測できるようになった 機能（features）で名前空間付き・弱依存がサポートされた コード網羅率を計測できるようになった [u8]を文字列としてエスケープできるようになった 安定化されたAPIのドキュメント Arc::new_cyclic パニック サンプル Rc::new_cyclic パニック サンプル slice::EscapeAscii <[u8]>::escape_ascii サンプル u8::escape_ascii サンプル Vec::spare_capacity_mut サンプル Maybe
Merpay Advent Calendar 2020 の11日目は、メルペイ Solutions Team の apstndb がお送りします。 色々な場所で既に書かれている通り、メルペイはサービス開始当初から主要なデータベースとして Google Cloud Platform(GCP) の DBaaS である Cloud Spanner を使っています。 この記事ではメルペイにおける Cloud Spanner の実行計画の活用のために取り組んだことについて紹介します。 Cloud Spanner の特性である外部一貫性による強い一貫性保証、レプリケーションによる高い可用性、水平分散による高いスケーラビリティ、リレーショナルデータモデルによるスキーマ、フルマネージドなことによる低い運用負荷などは多くの業界にとってメリットがあるものですが、金融サービスであるメルペイも例外ではありません。
Google Cloud mitigated largest DDoS attack, peaking above 398 million rps | Google Cloud Blog
Over the last few years, Google's DDoS Response Team has observed the trend that distributed denial-of-service (DDoS) attacks are increasing exponentially in size. Last year, we blocked the largest DDoS attack recorded at the time. This August, we stopped an even larger DDoS attack — 7½ times larger — that also used new techniques to try to disrupt websites and Internet services. This new series o
The GNU Name System
The GNU Name System Abstract This document contains the GNU Name System (GNS) technical specification.¶ Status of This Memo This Internet-Draft is submitted in full conformance with the provisions of BCP 78 and BCP 79.¶ Internet-Drafts are working documents of the Internet Engineering Task Force (IETF). Note that other groups may also distribute working documents as Internet-Drafts. The list of cu
マイクロソフト、コンテナをサーバレスで実行する「Azure Container Apps」発表。KEDAとDaprを採用。Ignite 2021
マイクロソフト、コンテナをサーバレスで実行する「Azure Container Apps」発表。KEDAとDaprを採用。Ignite 2021 Azure Container Appsは、コンテナとしてパッケージングされたアプリケーションを、何らかのイベントをトリガーにして実行します。アプリケーションは負荷に応じてスケールし、イベントがなくなればインスタンス数はゼロになる、いわゆるサーバレスな実行環境を実現するサービスです。 下記は「Introducing Azure Container Apps: a serverless container service for running modern apps at scale」からの引用です。 Azure Container Apps enables executing application code packaged in any c
https://martinfowler.com/articles/202107-what-doing-now.html 数か月前、私は講演活動から退くことを記事にしました。執筆活動は続けているのかと疑問に思った方もいるでしょう。その記事の中では執筆中であると書きましたが、最近取り組んでいることについて、もう少しお話したほうがいいのではないかと考えました。 これまでの執筆活動と違うのは、本になるような大きなテーマには取り組んでいないことです。『リファクタリング』の第2版を完成させてからは、ほとんどの期間をこのウェブサイトに費やしてきました。数年間ずっと悩んでいたソースコードブランチ管理のパターンの記事にも数か月かかりました。それが終わってからは、放置したままだった2つの大きなテーマであるフロントエンドアーキテクチャとイベントに改めて取り組んでみようと考えました。しばらくの間、フロントエンド
The problem with using a UUID primary key in MySQL — PlanetScale
Universally Unique Identifiers, also known as UUIDs, are designed to allow developers to generate unique IDs in a way that guarantees uniqueness without knowledge of other systems. These are especially useful in a distributed architecture, where you have a number of systems and databases responsible for creating records. You might think that using UUIDs as a primary key in a database is a great id
Cloud observability made for devs Use logs, metrics and distributed tracing to detect, diagnose and resolve issues before they impact your users.
The Aurora MySQL replication features are key to the high availability and performance of your cluster. Aurora makes it easy to create or resize clusters with up to 15 Aurora Replicas. All the replicas work from the same underlying data. If some database instances go offline, others remain available to continue processing queries or to take over as the writer if needed. Aurora automatically spread
僕は、人生のかなりの時間と労力と情熱を文書処理に費やしました。なので、文書処理のことを書いたり話したりしたことはあります。ですが、文書処理の実際のプロジェクトやソフトウェアの話をしたことはありません。守秘義務の問題もありますし、仮に守秘義務に引っかからなくても進行中のプロジェクトについて口にすることはありません。 しかしながら、10年20年も昔の話なら、もはや誰にも迷惑はかからないし、気にする人もいないでしょう。技術的なアイディアで具体性があるものは特許になっているし、抽象的一般的な方法論は、むしろパブリックにすべきものでしょう。 僕がそのテの話をしなかった一番の理由はメンドクサイからです。そして、懐旧談に意味があるとは思えないからです。ごく最近、ふとしたキッカケから、個人的体験を縷々述べることに意味はないが、10年20年前に考えたりやったりしたことを書き残しておくことはまんざら無駄でもな
Software Architecture is Overrated, Clear and Simple Design is Underrated
I had my fair share in designing and building large systems. I've taken part in rewriting Uber's distributed payment systems, designing and shipping Skype on Xbox One and open-sourcing RIBs, Uber's mobile architecture framework. All of these systems had thorough designs, going through multiple iterations and had lots of whiteboarding and discussion. The designs then boiled down to a design documen
Building Netflix’s Distributed Tracing Infrastructure
“@Netflixhelps Why doesn’t Tiger King play on my phone?” — a Netflix member via Twitter This is an example of a question our on-call engineers need to answer to help resolve a member issue — which is difficult when troubleshooting distributed systems. Investigating a video streaming failure consists of inspecting all aspects of a member account. In our previous blog post we introduced Edgar, our t
Storybook 6.2
Storybook is the industry standard UI development workshop for components and pages. It's used by Netflix, Slack, Target, Shopify, Stripe, and thousands of teams around the world. As a modern frontend developer, you’re in a constant cat-and-mouse game to stay on top of ecosystem changes. Every Storybook release contains hundreds of adaptations to try to make that easier for you, whether you’re upg
TL;DRWarpStream is an Apache Kafka® protocol compatible data streaming platform built directly on top of S3. It's delivered as a single, stateless Go binary so there are no local disks to manage, no brokers to rebalance, and no ZooKeeper to operate. WarpStream is 5-10x cheaper than Kafka in the cloud because data streams directly to and from S3 instead of using inter-zone networking, which can be
Even Amazon can't make sense of serverless or microservices
May 4, 2023 Even Amazon can't make sense of serverless or microservices The Prime Video team at Amazon has published a rather remarkable case study on their decision to dump their serverless, microservices architecture and replace it with a monolith instead. This move saved them a staggering 90%(!!) on operating costs, and simplified the system too. What a win! But beyond celebrating their good se
Cameron Balahan 31 July 2023 When you start a new project in Go, you might begin by cloning an existing project. That way, you can start with something that already works, making incremental changes instead of starting from scratch. For a long time now, we have heard from Go developers that getting started is often the hardest part. New developers coming from other languages expect guidance on a d
機械学習のライブラリ・プラットフォームをいくつか試した所感まとめ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、開発エンジニアの amdaba_sk（ペンネーム未定）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「開（か）発の未（み）来に先（せん）手をうつプロジェクト（通称：かみせんプロジェクト）」というプロジェクトがあります。 この記事はかみせんプロジェクト2019年度下期成果報告ブログの一つです。 前回の成果報告では「機械学習プロジェクトの進め方」について検証した結果のまとめをしました。今回は「じゃあ実際に機械学習をやることになったら、どんなライブラリ、サービスを使えばいいの？」といったところの検証結果をまとめようと思います。 対象読者は前回と違って、機械学習に興味のあるエンジニアの方です。 なお今までの記事はかみせんカテゴリからどうぞ。 tech-blog.rakus.co.jp
Post-Incident Review on the Atlassian April 2022 outage - Atlassian Engineering
This PIR is available in the following languages:日本語 | 简体中文 | 繁體中文 | Deutsch | English | Español | Français | Italiano | 한국어 | Polski | Português | русский. Letter from our co-founders & co-CEOs We want to acknowledge the outage that disrupted service for customers earlier this month. We understand that our products are mission critical to your business, and we don't take that responsibility light
本記事ではRustでOpentelemetryをはじめることを目標に以下の点について書きます。 OpenTelemetryの概要RustのapplicationにOpenTelemetryを導入する方法前半は公式docを読みながら登場人物を整理し、後半は実際にdocker-compose上でそれらを動かします。 またRustではtracing-opentelemetry crateを利用します。 tracingについては別の記事で基本的な仕組みについて書いたのでopentelemetry固有の処理について述べます。 sample code traceの設定については、別の記事に詳しい説明を書きました。 OpenTelemetryとは最初にOpenTelemetryについての現時点での自分の理解は以下です。 OpenTelemetryとは文脈により以下のいずれかを指す CNFNのprojec
MySQL 8.0.22 の新機能で DNS SRV レコードのサポートというのがあったので試してみた。 https://dev.mysql.com/doc/refman/8.0/en/connecting-using-dns-srv.html MySQLサーバー3台 (a.example.com, b.example.com, c.example.com)とそれに接続するためのクライアントの計4台を docker-compose で作成する。 Dockerfile FROM ubuntu RUN apt update RUN apt install -y mysql-client libmysqlclient-dev gcc unbound bind9-dnsutils RUN rm -f /etc/unbound/unbound.conf.d/root-auto-trust-ancho
Debugging Incidents in Google’s Distributed Systems - ACM Queue
June 6, 2020 Volume 18, issue 2 PDF Debugging Incidents in Google's Distributed Systems How experts debug production issues in complex distributed systems Charisma Chan and Beth Cooper Google has published two books about SRE (Site Reliability Engineering) principles, best practices, and practical applications.1,2 In the heat of the moment when handling a production incident, however, a team's act
Firefoxにプライバシーを保護しつつブラウザ使用状況を集めるシステム「Oblivious HTTP(OHTTP)」と「Distributed Aggregation Protocol(DAP)」が導入される予定
Mozillaがプライバシーを保護しつつブラウザ使用状況を収集するためにプライバシー保護技術「Oblivious HTTP(OHTTP)」と「Distributed Aggregation Protocol(DAP)」をFirefoxに導入することを発表しました。同時に、OHTTPとDAPを実装するためにテクノロジー企業「Fastly」やInternet Security Research Group(ISRG)傘下の「Divvi Up」と協力することも発表されています。 Built for Privacy: Partnering to Deploy Oblivious HTTP and Prio in Firefox https://blog.mozilla.org/en/products/firefox/partnership-ohttp-prio/ Firefox and Fastl
チャタリングをソフト的に解消しよう
メカニカルキーボードにはチャタリングが付き物と言われます。kkonnnakkkannjiなどと入力されてしまうあれです。その原因はスイッチの不良や劣化にあるので、問題のスイッチ自体を交換すれば修理可能ではあります。けれども、自作キーボードたるもの、せっかくファームウェアをいじり放題なのですから、出来ることならソフト的な解決を図ろう！というお話です。 ちょっと長めなので結論だけ聞きたい人は以下目次の3をクリックしてください。 Table of Contents チャタリングの原因 QMKのデバウンスについて調べる人はあまりいないかもしれません。というのも、状態の良好なスイッチを使っているキーボードであればデフォルトのデバウンス処理で何ら問題が出ないからです。 筆者はこれまで2桁台のキーボードを組み立てて来ましたが、チャタリング／バウンスに悩まされることは稀です。しかし稀ながら何台かは確実にあ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 阿里巴巴集団（アリババグループ）のクラウド事業を担当するアリババクラウドは、同社のアルゴリズムプラットフォーム「Alink」の「中核コード」をGitHub上で公開したと発表した。同社によると、アップロードしたさまざまなアルゴリズムライブラリーは、バッチ処理とストリーム処理の双方をサポートするという。これらライブラリーは、オンラインでの製品レコメンデーションや、スマート顧客サービスといった機械学習（ML）のタスクに必要不可欠なものとなっている。 アリババクラウドによるとこれらのコードは、開発者やデータアナリストが統計解析やML、リアルタイム予測、パーソナライズドレコメンデーション、異常検知といったソフトウェア機能を構築する際に活用できると
tl;dr Today, we are open-sourcing a long-awaited GUI for Metaflow. The Metaflow GUI allows data scientists to monitor their workflows in real-time, track experiments, and see detailed logs and results for every executed task. The GUI can be extended with plugins, allowing the community to build integrations to other systems, custom visualizations, and embed upcoming features of Metaflow directly i
※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud は、コンテナ化されたワークロードを実行するための最適な場所になるという使命を担ってきました。それは 2014 年に始まり、Google の内部クラスタ管理システムである Borg を元に、Google は Kubernetes を発明し、世界初のマネージド Kubernetes サービスである Google Kubernetes Engine（GKE）を導入しました。GKE は、現在利用できる最もスケーラブルな、業界をリードする Kubernetes サービスです1。2019 年には、当社はコンテナとサーバーレスの利点を組み合わせた初のサーバーレス プラットフォームである Cloud Run をリリースしました。現在 Cloud Run は、ク
There are lots of posts trying to show how simple it is to get started with Kubernetes. But many of these posts use complicated Kubernetes jargon for that, so even those with some prior server-side knowledge might be bewildered. Let me try something different here. Instead of explaining one unfamiliar matter (how to run a web service in Kubernetes?) with another (you just need a manifest, with thr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Relational Databases Explained
TensorFlow 2 meets the Object Detection API
アニメ『BASTARD‼－暗黒の破壊神－』本PV ｜Eng sub
Interesting Programming Languages
100+ Best GitHub Repositories For Machine Learning
A Guide to Secrets Management with GitOps and Kubernetes
Dockerを使ってElixirの分散システムを気軽に楽しむ - Qiita
Rust 1.60を早めに深掘り - OPTiM TECH BLOG
Cloud Spanner の実行計画の活用に関する取り組み | メルカリエンジニアリング
最近何をやっているのか - Martin Fowler's Bliki (ja)
Baselime - Observability and Error-tracking Platform
Replication with Amazon Aurora MySQL - Amazon Aurora
文書処理：20年前の課題は今でも課題 - 檜山正幸のキマイラ飼育記 (はてなBlog)
Kafka is dead, long live Kafka
Experimenting with project templates - The Go Programming Language
🔭 RustでOpenTelemetryをはじめよう | Happy developing
MySQL 8.0.22 DNS SRV レコードサポート - tmtms のメモ
https://hypercore-protocol.org/
アリババ、MLアルゴリズムプラットフォームをGitHubで公開
Open-Sourcing a Monitoring GUI for Metaflow
コンテナ プラットフォームの新たな進化について | Google Cloud 公式ブログ
How Kubernetes Reinvented Virtual Machines (in a good sense)