Highlights from Git 2.38
EngineeringOpen SourceHighlights from Git 2.38Another new release of Git is here! Take a look at some of our highlights on what's new in Git 2.38. The open source Git project just released Git 2.38, with features and bug fixes from over 92 contributors, 24 of them new. We last caught up with you on the latest in Git back when 2.37 was released. To celebrate this most recent release, here’s GitHub’
This blog post discusses a feature available now in Compose v2.20.0 and in our Docker Desktop 4.22 release. The docker command line supports many flags to fine-tune your container, and it’s difficult to remember them all when replicating an environment. Doing so is even harder when your application is not a single container but a combination of many containers with various dependency relationships
Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models - Cerebras
Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models Cerebras open sources seven GPT-3 models from 111 million to 13 billion parameters. Trained using the Chinchilla formula, these models set new benchmarks for accuracy and compute efficiency. Abstract State-of-the-art language models are extremely challenging to train; they require huge compute budgets, complex distributed com
How an Élite University Research Center Concealed Its Relationship with Jeffrey Epstein
How an Élite University Research Center Concealed Its Relationship with Jeffrey Epstein New documents show that the M.I.T. Media Lab was aware of Epstein’s status as a convicted sex offender, and that Epstein directed contributions to the lab far exceeding the amounts M.I.T. has publicly admitted. Update: On Saturday, less than a day after the publication of this story, Joi Ito, the director of th
こんにちは、R&Dチームの齋藤（@aznhe21）です。 さて、本日、日本時間8/28(金)、Rust 1.46がリリースされました。 この記事ではRust 1.46での変更点を詳しく紹介します。 なお、この記事は公式リリースノートをベースに、意訳・編集・追記をしています。 8/28は日本テレビが民法で初めてテレビ放映をした日 ピックアップ 定数文脈で一部の制御構文が使えるようになった パニックメッセージに関数呼び出し元の情報を出せるようになった 変更点リスト 言語 コンパイラ ライブラリ 安定化されたAPI Option::zip サンプル vec::Drain::as_slice サンプル Cargo 互換性メモ 関連リンク さいごに ライセンス表記 ピックアップ 個人的に注目する変更点を「ピックアップ」としてまとめました。 全ての変更点を網羅したリストは変更点リストをご覧ください。
中央集権IDから分散IDに至るまで、歴史は繰り返す
前回の記事で見たように、現在の分散識別子（Decentralized Identifier、DID）の機能の多くを、あるいはDIDを超えるものを20年前に実現していたXRI（eXtensible Resource Identifier）であるが、一般的に使われるのにはあまりにも早すぎた。筆者が知っている実用事例としては、米軍関係のABACシステム*および野村総合研究所における研究開発システムくらいのものであった。 *ABAC（Attribute Based Access Control）：属性ベースアクセス制御。役割ベースアクセス制御 （RBAC）を一般化したもので、米軍が開発した。2020年ごろからAmazon Web Services（AWS）など民生用でも少しずつ採用されるようになってきた。 「自己主権」「自主独立」を体現するOpenIDの思想 一方、XRIと並行して立ち上がったのが
by Damir Svrtan and Sergii Makagon As the production of Netflix Originals grows each year, so does our need to build apps that enable efficiency throughout the entire creative process. Our wider Studio Engineering Organization has built numerous apps that help content progress from pitch (aka screenplay) to playback: ranging from script content acquisition, deal negotiations and vendor management
複数サービス間でのデータの整合性維持に向けたSagaの実装 - NTT Communications Engineers' Blog
マイクロサービスアーキテクチャにおいては、個々が独立に選定したデータベースを持つ複数のサービスにまたがって、データの整合性を維持する必要があります。 そのための方法として、Sagaパターンと呼ばれる設計方法がありますが、Sagaでは分離性が欠如しておりLost Update等の異常が発生しかねません。 そこで本記事では、Sagaの分離性を高めるための実装におけるTipsを解説します。 目次 目次 はじめに 複数サービス間での整合性維持における課題 Sagaパターン Sagaを構成するトランザクション Sagaによって実現される安全性 原子性（Atomicity） 整合性（Consistency） 分離性（Isolation） 永続性（Durability） 異常を防止/軽減する実装 分離性の欠如が引き起こす異常 分離性の欠如への対策 Semantic Lock Commutative Up
15分スプリントの具体的な実践例をYoutubeにあげました。今後なにかの参考になれば幸いです。 www.youtube.com リンク先でチャプター毎にわかれているので、みてみたいところだけかいつまんでみるか、2倍速くらいで見るのをオススメします。 Twitterで実況してくれていた方達のツイートまとめはこちらになります。 togetter.com 動画内で利用していたスライドはこちらになります。 こちらの放送をしたのは、もともとは次のイベントとしてやっていました。 15分スプリントを2年間やったけど質問ある? - connpass やってみてどうだったか この放送をやる経緯自体は 15分スプリントを2年間やったけど質問ある? #15min_sprint at 2020-10-14 21:30 - うさぎ組 にかいたとおりで、おもいのほかたくさんの人にご参加いただけてうれしかったです。
Header ImageHow Replit trains Large Language Models (LLMs) using Databricks, Hugging Face, and MosaicML IntroductionLarge Language Models, like OpenAI's GPT-4 or Google's PaLM, have taken the world of artificial intelligence by storm. Yet most companies don't currently have the ability to train these models, and are completely reliant on only a handful of large tech firms as providers of the techn
Posted by the TensorFlow Team Earlier this year, we announced TensorFlow 2.0 in alpha at the TensorFlow Dev Summit. Today, we’re delighted to announce that the final release of TensorFlow 2.0 is now available! Learn how to install it here. TensorFlow 2.0 is driven by the community telling us they want an easy-to-use platform that is both flexible and powerful, and which supports deployment to any
For many years I used the Julia programming language for transforming, cleaning, analyzing, and visualizing data, doing statistics, and performing simulations. I published a handful of open-source packages for things like signed distance fields, nearest-neighbor search, and Turing patterns (among others), made visual explanations of Julia concepts like broadcasting and arrays, and used Julia to ma
January 14, 2024 Multi-tenancy is what’s hard about scaling web services Computers have gotten so ridiculously fast that there is scarcely any organization in the world that can overwhelm a web-based information system running on a single server. All the complexity and sophistication required to run web services today stem from multi-tenancy. From having a single system serve millions of users at
『科学的根拠に基づく最高の勉強法』が根拠とする論文から言えることを言っているのかちょっとだけ調べてみた｜ふろむだ@分裂勘違い君劇場
『科学的根拠に基づく最高の勉強法』という本はamazonで評価が高く、「星の評価が５つと半端ない」と絶賛しておられる方もいらっしゃいます。 しかし、それを言うなら、キャロル・デュエックさんの成長マインドセットの本だって、アメリカのamazonで2万1138人に評価されて☆4.6という半端ない高評価ですが、その科学的信憑性については、この記事に書いたとおりです。 『科学的根拠に基づく最高の勉強法』のすべての主張を逐一検証するのは時間がかかりすぎるので、この本の「CHAPTER1 科学的に効果が高くない勉強法」の最初のセクションである「科学的に効果が高くない勉強法１ 繰り返し読む(再読)」の「繰り返し読む(再読)のは他の勉強法と比較すると効果が低い」という主張について見てみましょう。 この本がその根拠の一つとして挙げているRawsonらの2005年の論文の中には、以下の３つの条件で行った実験に
Go のコードで文字列の変換をする関数があり、これが Google スプレッドシート上の関数としても利用できれば検証[1]に便利かもしれないと思いました。 Google スプレッドシートでは Apps Script の関数をセル上で実行できるので、Go のコードを Wasm にビルドして JavaScript から呼び出すことができれば良いのではないかと考え、実際に試してみることにしました。 動作環境 Go 1.22.2 Apps Script の設定 Chrome V8 ランタイムを有効にする その他 macOS の pbcopy コマンド[2]を利用した手順を記載していますが、Linux 環境でも pbcopy を他の手段に置き換えることで同様に動作しました。 事前調査 Go を Wasm にビルドして GAS で動かす事例は見当たりませんでしたが、Rust を Wasm にビルドして
An introduction to WebAssembly for JavaScript Developers
If you transmit a number whereas an integer encoded on 64 bits is expected you will get an exception: let run = async () => { try { let bytecode = await fetch("add/add.wasm"); let wasm = await WebAssembly.instantiateStreaming(bytecode); console.log(wasm.instance.exports.addInt64(1,2)); } catch(e) { console.error(e); } }; > run().then(); TypeError: wasm function signature contains illegal type Call
ページ内に存在する広告を自動ブロックして高速動作を可能にしたウェブブラウザ「Brave」が、2021年1月19日に「バージョン1.19」をリリースし、中央集権的な通信プロトコル「HTTP」からの脱却を掲げる分散型ファイルシステム「IPFS」を統合したと発表しました。Braveは、IPFSを統合した初のブラウザとなります。 Brave Integrates IPFS https://brave.com/brave-integrates-ipfs/ IPFS in Brave - Native Access to the Distributed Web https://blog.ipfs.io/2021-01-19-ipfs-in-brave/ Brave browser takes step toward enabling a decentralized web - The Verge ht
Andreas Andreakis, Ioannis Papapanagiotou OverviewChange-Data-Capture (CDC) allows capturing committed changes from a database in real-time and propagating those changes to downstream consumers [1][2]. CDC is becoming increasingly popular for use cases that require keeping multiple heterogeneous datastores in sync (like MySQL and ElasticSearch) and addresses challenges that exist with traditional
Build a CQRS event store with Amazon DynamoDB | Amazon Web Services
AWS Database Blog Build a CQRS event store with Amazon DynamoDB The command query responsibility segregation (CQRS) pattern, derived from the principle of command-query separation, has been popularized by the domain-driven design community. CQRS architectures that use event sourcing save generated events in an append-only log called an event store. By using event sourcing, you can, among other ben
こんにちは、R&Dチームの齋藤（@aznhe21）です。 さて、本日、日本時間2/12(金)、Rust 1.50がリリースされました。 この記事ではRust 1.50での変更点を詳しく紹介します。 2/12はダーウィンの日 *1 *2 ピックアップ Rust財団が誕生 ディレクトリ内容を変更した際のbuild.rsの再実行 boolの値でOptionを返す関数 値域を制限する関数 配列を同じ値で埋める関数 安定化されたAPIのドキュメント bool::then サンプル btree_map::Entry::or_insert_with_key サンプル f32::clamp パニック サンプル f64::clamp パニック サンプル hash_map::Entry::or_insert_with_key サンプル Ord::clamp パニック サンプル RefCell::take パニ
How we built Pingora, the proxy that connects Cloudflare to the Internet
How we built Pingora, the proxy that connects Cloudflare to the Internet09/14/2022 This post is also available in 简体中文 and 繁體中文. IntroductionToday we are excited to talk about Pingora, a new HTTP proxy we’ve built in-house using Rust that serves over 1 trillion requests a day, boosts our performance, and enables many new features for Cloudflare customers, all while requiring only a third of the CP
Distributed systems provide a particular challenge to program. They often require us to have multiple copies of data, which need to keep synchronized. Yet we cannot rely on processing nodes working reliably, and network delays can easily lead to inconsistencies. Despite this, many organizations rely on a range of core distributed software handling data storage, messaging, system management, and co
Today, we are announcing a change to Akka’s license model so that Akka can be a thriving project for many decades. I created Akka 13 years ago out of love for programming, distributed systems, learning new things, and open source. It’s been a fantastic journey so far (read about Akka’s inception and early days here). Today, Akka is exceptionally reliable, scalable, and performant. It is the runtim
Cloudflare Workers and micro-frontends: made for one another
Cloudflare Workers and micro-frontends: made for one another10/20/2022 This post is also available in 简体中文 and 繁體中文. To help developers build better web applications we researched and devised a fragments architecture to build micro-frontends using Cloudflare Workers that is lightning fast, cost-effective to develop and operate, and scales to the needs of the largest enterprise teams without compro
Despite considering myself a cryptographer, I have not found myself particularly drawn to “crypto.” I don’t think I’ve ever actually said the words “get off my lawn,” but I’m much more likely to click on Pepperidge Farm Remembers flavored memes about how “crypto” used to mean “cryptography” than I am the latest NFT drop. Also – cards on the table here – I don’t share the same generational exciteme
How Netflix Scales its API with GraphQL Federation (Part 2)
In our previous post and QConPlus talk, we discussed GraphQL Federation as a solution for distributing our GraphQL schema and implementation. In this post, we shift our attention to what is needed to run a federated GraphQL platform successfully — from our journey implementing it to lessons learned. Our Journey so FarOver the past year, we’ve implemented the core infrastructure pieces necessary fo
We're excited to announce that Zed is now an open source project. The code for Zed itself is available under a copyleft license to ensure any improvements will benefit the entire community (GPL for the editor, AGPL for server-side components). GPUI, the UI framework that powers Zed, is distributed under the Apache 2 license, so that you can use it to build high-performance desktop applications and
さくらインターネット
FPGA ベース・ハードウェアNTPサーバ（Stratum1）特設実験サイト 概要 さくらインターネットで開発した FPGA ベース・ハードウェア NTP サーバ（Stratum1）の情報公開を行っています。 さくらインターネットでは、2020 年 3 月 17 日から2021 年 3 月 31 日までの間、単体で約10ギガビット／秒（約 1300万 リクエスト／秒）の高負荷に耐え、Stratum 1 NTP サーバーとして働く専用デジタル回路を内製設計し、FPGA 上で動作させて提供する実験を実施しました。( プレスリリースページ ) 当ページでは当時の実験の雰囲気をお伝えするとともに、開発したFPGA-NTP サーバの技術情報を公開しております。 技術解説 当試験を通して示したいコンセプト 昨今のデータセンターサービス事業においては、既製品のハードウェア（サーバー及びネットワークスイッ
我らがCloudflare社が、先日のブログで"Web3"なるものに言及してた。しかも3記事も続けざまに。 不勉強な身としては、ざっと読んだだけではふわっとしか理解できなかったので、もう少しちゃんと理解したいなーと思った。 というわけで、概要を訳しつつあれこれ調べてみたというメモです。 これは単に自分の視野が狭かったことに気付いたんですが、そもそも"Web3"という単語やそれを表すトレンドみたいなものは、2018年くらいのブロックチェーンな頃から既にあったんですね。 そういうわけなので、知ってる人にとっては何をいまさら？って話かもしれんし、それをこのタイミングでCloudflareが言及したことに、特別な意味を感じるのかも？とか。 Web 3.0とは Web3 — A vision for a decentralized web まずこの最初の記事をざっくり。 Web3とは、Web 3.0
Abstract: In recent years, academic research and investigative reports have brought to light several cases of computational propaganda (i.e. orchestrated attempts to manipulate public opinion or the outcome of elections via social media), as well as proof that filter algorithms amplify right-wing conservative content on Japanese social media. Piecing together the scattered pieces of a puzzle, this
こんにちは。サイバーエージェントの長谷川（@makocchi）です。 「5分でわかる！Kubernetes/CloudNative Topics」連載の第5回は、最近のNewSQL事情について紹介します。 この記事ではNewSQLとは何かについて説明した後、NewSQLソフトウェアであるTiDB、YugabyteDB、CockroachDBを実際のKubernetes環境で動かす方法について紹介します。 NewSQLとは NewSQLとはNoSQL（Not Only SQL）の拡張性を持ちつつ、データベースソフトウェアでサポートされているACIDトランザクション処理が可能なソフトウェアです。NewSQLというワードの普及を後押ししたのが、Googleが2012年に発表した「Spanner: Google’s Globally-Distributed Database」という論文です。こ
Cloudflare、分散したCDNエッジ間でも強い一貫性を提供する「Durable Objects」正式リリース。ステートフルな分散アプリが容易に
Cloudflare、分散したCDNエッジ間でも強い一貫性を提供する「Durable Objects」正式リリース。ステートフルな分散アプリが容易に Cloudflareは、分散したCDNエッジ間でも強い一貫性を維持するオブジェクトを提供する「Durable Objects」の正式リリースを発表しました。 Today, we’re announcing that Durable Objects are generally available and production-ready for you to use! https://t.co/zSUc5w7Cn4 #FullStackWeek — Cloudflare (@Cloudflare) November 15, 2021 Cloudflareは、世界中に分散されたCDNエッジにJavaScriptのコードを配置し実行できる「Clou
AWS、プライマリDBとして使える耐久性を備えたインメモリデータベース「Amazon MemoryDB for Redis」発表
AWS、プライマリDBとして使える耐久性を備えたインメモリデータベース「Amazon MemoryDB for Redis」発表 AWSは、プライマリデータベースとしての使用に耐える耐久性を備えたRedis互換のインメモリデータベース「Amazon MemoryDB for Redis」を発表しました。 Say later to latency. With Amazon MemoryDB for Redis, tap into flexible Redis data structures and achieve microsecond read latency and single-digit millisecond write latency—all while durably storing mission-critical data. https://t.co/o4AcmBlDCV
Simplifying serverless best practices with AWS Lambda Powertools for TypeScript | Amazon Web Services
AWS Compute Blog Simplifying serverless best practices with AWS Lambda Powertools for TypeScript This blog post is written by Sara Gerion, Senior Solutions Architect. Development teams must have a shared understanding of the workloads they own and their expected behaviors to deliver business value fast and with confidence. The AWS Well-Architected Framework and its Serverless Lens provide architec
Relay-style GraphQL
🇰🇷 한국인 (Korean) translation available (courtesy of Yujin Lim) “The future Relay-style GraphQL is already here – it’s just not evenly distributed.” – William Gibson, probably ”Relay-style GraphQL” is an opinionated way of consuming GraphQL in a React application, and probably better than whatever you’re currently doing. It follows the ideas pioneered by Meta’s open-source GraphQL library, Relay.
世界中で感染が拡大している新型コロナウイルス(SARS-CoV-2)を分散コンピューティングで解析するプロジェクトが「Folding＠home」や「BOINC」などのプラットフォーム上で行われています。プロジェクトに参加することで自分のコンピューターの余った計算リソースを寄付することができるので、実際にプロジェクトに参加して新型コロナウイルスの解析に協力してみました。 Folding@home – Fighting disease with a world wide distributed super computer. https://foldingathome.org/ BOINC https://boinc.berkeley.edu/index.php Rosetta@home https://boinc.bakerlab.org/ Unraid | Help Take the Fi
Every byte explained and reproduced QUIC is a secure UDP-based stream protocol that forms the basis of HTTP/3. In this demonstration a client connects to a server, negotiates a QUIC connection with TLS encryption, sends "ping", receives "pong", then terminates the connection. Click below to begin exploring. The connection begins with the client generating a private/public keypair for key exchange.
圏論は数学の一分野です。これを学ぶのには「数学書」を手に取るのが王道なのですが、残念ながらこれは大部分のプログラマに理解できる言葉では書かれていません。「定義・命題・証明」の積み重ねで書かれています1。ここで大半のScalaプログラマは苦い顔をすると思います。もう少し分かりやすいScalaプログラマ向けの圏論入門がないかと探してみると「Haskell」向けの記事が大量に引っかかるでしょう。ここで多くのScalaプログラマは心を折られてしまいます。「圏論」はまだScalaプログラマには早すぎたんだと・・・ 本記事ではそんなあなたに贈る3つの文献をご紹介したいと思います。 (本記事は自分のブログからの転載記事です。) はじめに 本記事は圏論に興味があるScalaプログラマを対象にしています。特にプログラマにとって実用的な圏論の知識をScalaを通して身につけたい方にオススメします。 プログラマ
SSH keys stolen by stream of malicious PyPI and npm packages
A stream of malicious npm and PyPi packages have been found stealing a wide range of sensitive data from software developers on the platforms. The campaign started on September 12, 2023, and was first discovered by Sonatype, whose analysts unearthed 14 malicious packages on npm. Phylum reports that after a brief operational hiatus on September 16 and 17, the attack has resumed and expanded to the
The GNU Name System
The GNU Name System Abstract This document provides the GNU Name System (GNS) technical specification. GNS is a decentralized and censorship-resistant domain name resolution protocol that provides a privacy-enhancing alternative to the Domain Name System (DNS) protocols.¶ This document defines the normative wire format of resource records, resolution processes, cryptographic routines, and security
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker Compose Modularity with `include` | Docker
Rust 1.46を早めに深掘り - OPTiM TECH BLOG
Ready for changes with Hexagonal Architecture
15分スプリントの具体的な進め方について動画で話した #15min_sprint - うさぎ組
Replit — How to train your own Large Language Models
TensorFlow 2.0 is now available!
Why I no longer recommend Julia
Multi-tenancy is what’s hard about scaling web services
Go を Wasm にビルドして Google Apps Script で動かす
広告ブロック機能搭載ブラウザ「Brave」が分散型システム「IPFS」を統合
DBLog: A Generic Change-Data-Capture Framework
Rust 1.50を早めに深掘り - OPTiM TECH BLOG
Catalog of Patterns of Distributed Systems
Why We Are Changing the License for Akka | @lightbend
My first impressions of web3
Zed is now open source - Zed Blog
CloudflareのWeb3の記事を読んで、ざっくり調べたメモ - console.lealog();
Japan’s Shift to the Right: Computational Propaganda, Abe Shinzō’s LDP, and Internet Right-Wingers (Netto Uyo) - The Asia-Pacific Journal: Japan Focus
入門NewSQL 〜Kubernetes上で手軽に使えるNewSQLを動かしてみよう | gihyo.jp
新型コロナウイルスの解析を自分のPCの計算リソースを使って手助けできる「Folding@home」「BOINC」レビュー
The Illustrated QUIC Connection: Every Byte Explained
Scalaプログラマが圏論を学ぶためのオススメ文献 - 3選 - Qiita