RWKVについて解説
本記事では、RWKVとよばれるモデルのアーキテクチャについて詳しく説明します。 はじめに 自然言語処理の分野において、Transformer[1]の登場以前に一般的に使用されてきたRNN[2]はいくつかの課題を抱えており、その課題を克服する新たな手法として、RNNとは完全に異なるアプローチを取るTransformerが登場しました。しかし、Transformerにも解決すべき問題が存在しています。そこで、これらのアプローチを結びつけて進化させていく必要が出てきました。 まず、RNNの利点と欠点を見てみましょう。RNNは、文章の長さにほとんど制約がなく、計算コストも比較的小さいという利点があります。しかし、以前の入力を正確に記憶することが難しく（長期依存性を捉えられない）、学習を高速化することも難しい（学習並列化が困難）という欠点も存在します。 一方、Transformerは長期依存性を捉え
背景 leaf.elの日本語情報は比較的充実していると思いますが、やはり多少の背後情報が必要です。Emacsの設定はどのファイルで行なうのか、マクロとは、バイトコンパイルとは、、、 leafが設定の簡略化をしてくれるとはいえ、基本的なEmacsのしくみについて知っておく必要があります。 この記事では初期状態のEmacsからleaf.elの導入と利用までを解説します。この記事を読んだ後なら、下記のleafの記事をスムーズに読むことができ、Emacsの動作をあなたの好きなようにカスタマイズできるようになると思います。 公式ドキュメント: conao3/leaf.el プレリリース記事: use-packageからの移行のすゝめ - leaf.elでバージョン安全なinit.elを書く リリース記事: [正式リリース]leaf.elで雑然としたEmacs設定ファイル「init.el」をクリーンに
Note to Readers: On December 1, 2020, the Libra Association was renamed to Diem Association. This white paper, originally published by the Libra Association in June 2019 and then re-issued as a stand-alone update in April 2020, replaces previous versions published by the Association. Supporting technical papers published by the Libra Association in June 2019, have either been edited or retired. Fe
カナダSpacedrive Technologyは、Windows、macOS、Linuxに対応するファイル・エクスプローラー「Spacedrive」のアルファ版を10月6日に公開した。SpacedriveはGNUアフェロ一般公衆ライセンスで公開しているオープンソース・ソフトウェア。 SpacedriveはWindows、macOS、LinuxのGUI画面で使用できるファイル・エクスプローラー。それぞれのOSが標準で備えるファイル・エクスプローラーは、ファイルを保存してある場所によってフォルダを分け、階層を作ってファイルを管理するが、Spacedriveは保存してある場所に関係なく、ファイルを一括で管理できる。クライアントPCのストレージやUSB接続のストレージ、ネットワーク接続のファイルサーバー、クラウドのファイル共有サービスなど、さまざまな場所に保存してあるファイルを、1つの仮想的な巨
ブロックチェーンやいわゆる「Web3.0（Web3）」、はたまたジャック・ドーシー氏が提唱する「Web5」まで、非中央集権をうたう様々な概念が乱立している。そのいずれにおいても重要な機能として語られることが多いのが、ユーザー自らIDや属性を管理できる分散ID （Decentralized Identity）であり、その主要要素とされる分散識別子（Decentralized Identifier、DID）である。 政府や大手企業に頼らず誰もが自身のIDを持てるという自己主権（Self-Sovereigen）IDとともに語られることが多いDIDだが、ブロックチェーンの登場とともに突然出てきたわけではない。その背景には少なくとも20年にわたる歴史がある。本稿ではその歴史をたどることにより、DIDの何が新しいか、また、DIDに何が欠けているか、そして今後の展望を考察する。 DIDとは何か DIDは
It is often surprising how little is known about how databases operate at a surface level, considering they store almost all of the states in our applications. Yet, it's foundational to the overall success of most systems. So today, I will explain the two most important topics when working with RDBMSs indexes and transactions. So, without fully getting into the weeds on database-specific quirks, I
SRE for single-tiered software applications | Google Cloud Blog
In cloud operations, we often hear about the benefits of microservices over monolithic architecture. Indeed, microservices help manage hardware being abstracted away and push developers towards resilient, distributed designs. However, many enterprises still have monolithic architectures which they need to maintain. For this post, we’ll use Wikipedia’s definition of a monolith: “A single-tiered sof
GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
| Demo | Discord | X | FastChat is an open platform for training, serving, and evaluating large language model based chatbots. FastChat powers Chatbot Arena (https://chat.lmsys.org/), serving over 10 million chat requests for 70+ LLMs. Chatbot Arena has collected over 500K human votes from side-by-side LLM battles to compile an online LLM Elo leaderboard. FastChat's core features include: The trai
https://blog.tensorflow.org/2020/07/tensorflow-2-meets-object-detection-api.html https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhKis9ECId8eIwn_p0SVMBt3a1vfvKOcOZXy6zK0fWoyzXnzQTguKc2CV__6oI1Pwg22NjWsErpDKqjwQdzjilvmqwWkXPj2ncglphh6mAhpoZ_QXQiDwxnwo-GjKEP0fEOb3uBlNlh9sc/s1600/tensorflow2objectdetection.png July 10, 2020 — Posted by Vivek Rathod and Jonathan Huang, Google Research At the
『週刊少年ジャンプ』（集英社）で連載され、累計発行部数3000万部を超える萩原一至原作の漫画『BASTARD!! －暗黒の破壊神－』がシリーズアニメ化！ 2022年6月30日（木）、Netflixにて全世界配信開始！！ The manga "BASTARD!!!" by Kazushi Hagiwara, serialized in "Weekly Shonen Jump" (Shueisha), has sold over 30 million copies in total. -The series will be adapted into an anime! The series will be distributed worldwide on Netflix on Thursday June 30, 2022． ★Netflix配信ページ / Netflix Official
An opinionated collection of programming languages. This is a list of what I consider interesting. Requests to add to this list are welcome, but there is no guarantee I’ll include them. As you can see many mainstream programming languages are misssing from this list. Alore is a language that explores optional typing in a Python-like programming language.Alpaca is a statically typed, strict/eagerly
There are millions of github repos and filtering them is an insane amount of work. It takes huge time, efforts and a lot more. We have done this for you. In this article we’ll share a curated list of 100+ widely-known, recommended and most popular repositories and open source github projects for Machine Learning and Deep Learning. So without further ado, Let’s see all the hubs created by experts a
Operating Lambda: Anti-patterns in event-driven architectures – Part 3 | Amazon Web Services
AWS Compute Blog Operating Lambda: Anti-patterns in event-driven architectures – Part 3 In the Operating Lambda series, I cover important topics for developers, architects, and systems administrators who are managing AWS Lambda-based applications. This three-part section discusses event-driven architectures and how these relate to Lambda-based applications. Part 1 covers the benefits of the event-
Rationale The entire premise behind GitOps is to use Git as the source of truth for infrastructure and application configuration, taking advantage of Git workflows, while at the same time, having automation that realizes the configurations described in Git repositories (GitOps operators when we are deploying to Kubernetes). That said, both infrastructure configuration and application configuration
Best Practices - Networking - Amazon Elastic Container Service
Modern applications are typically built out of multiple distributed components that communicate with each other. For example, a mobile or web application might communicate with an API endpoint, and the API might be powered by multiple microservices that communicate over the internet. This guide presents the best practices for building a network where the components of your application can communic
Git Credential Manager Core: Building a universal authentication experience
SecurityGit Credential Manager Core: Building a universal authentication experienceAuthentication is a critical component to your daily development. When working in open source, you need to prove that you have rights to update a branch with git push. Additionally… Authentication is a critical component to your daily development. When working in open source, you need to prove that you have rights t
こんにちは、R&Dチームの齋藤（@aznhe21）です。 新オフィスは広くて快適です。 さて、本日4/8(金)にRust 1.60がリリースされました。 この記事ではRust 1.60での変更点を詳しく紹介します。 4/8は釈迦の誕生を祝う花まつりの日 ピックアップ コンパイル時間を計測できるようになった 機能（features）で名前空間付き・弱依存がサポートされた コード網羅率を計測できるようになった [u8]を文字列としてエスケープできるようになった 安定化されたAPIのドキュメント Arc::new_cyclic パニック サンプル Rc::new_cyclic パニック サンプル slice::EscapeAscii <[u8]>::escape_ascii サンプル u8::escape_ascii サンプル Vec::spare_capacity_mut サンプル Maybe
Merpay Advent Calendar 2020 の11日目は、メルペイ Solutions Team の apstndb がお送りします。 色々な場所で既に書かれている通り、メルペイはサービス開始当初から主要なデータベースとして Google Cloud Platform(GCP) の DBaaS である Cloud Spanner を使っています。 この記事ではメルペイにおける Cloud Spanner の実行計画の活用のために取り組んだことについて紹介します。 Cloud Spanner の特性である外部一貫性による強い一貫性保証、レプリケーションによる高い可用性、水平分散による高いスケーラビリティ、リレーショナルデータモデルによるスキーマ、フルマネージドなことによる低い運用負荷などは多くの業界にとってメリットがあるものですが、金融サービスであるメルペイも例外ではありません。
Google Cloud mitigated largest DDoS attack, peaking above 398 million rps | Google Cloud Blog
Over the last few years, Google's DDoS Response Team has observed the trend that distributed denial-of-service (DDoS) attacks are increasing exponentially in size. Last year, we blocked the largest DDoS attack recorded at the time. This August, we stopped an even larger DDoS attack — 7½ times larger — that also used new techniques to try to disrupt websites and Internet services. This new series o
The GNU Name System
The GNU Name System Abstract This document contains the GNU Name System (GNS) technical specification.¶ Status of This Memo This Internet-Draft is submitted in full conformance with the provisions of BCP 78 and BCP 79.¶ Internet-Drafts are working documents of the Internet Engineering Task Force (IETF). Note that other groups may also distribute working documents as Internet-Drafts. The list of cu
マイクロソフト、コンテナをサーバレスで実行する「Azure Container Apps」発表。KEDAとDaprを採用。Ignite 2021
マイクロソフト、コンテナをサーバレスで実行する「Azure Container Apps」発表。KEDAとDaprを採用。Ignite 2021 Azure Container Appsは、コンテナとしてパッケージングされたアプリケーションを、何らかのイベントをトリガーにして実行します。アプリケーションは負荷に応じてスケールし、イベントがなくなればインスタンス数はゼロになる、いわゆるサーバレスな実行環境を実現するサービスです。 下記は「Introducing Azure Container Apps: a serverless container service for running modern apps at scale」からの引用です。 Azure Container Apps enables executing application code packaged in any c
https://martinfowler.com/articles/202107-what-doing-now.html 数か月前、私は講演活動から退くことを記事にしました。執筆活動は続けているのかと疑問に思った方もいるでしょう。その記事の中では執筆中であると書きましたが、最近取り組んでいることについて、もう少しお話したほうがいいのではないかと考えました。 これまでの執筆活動と違うのは、本になるような大きなテーマには取り組んでいないことです。『リファクタリング』の第2版を完成させてからは、ほとんどの期間をこのウェブサイトに費やしてきました。数年間ずっと悩んでいたソースコードブランチ管理のパターンの記事にも数か月かかりました。それが終わってからは、放置したままだった2つの大きなテーマであるフロントエンドアーキテクチャとイベントに改めて取り組んでみようと考えました。しばらくの間、フロントエンド
分散Erlangシステムを楽しむには複数のPCがあるといいのですが、それだと準備が大変で敷居を高く感じるかもしれません。 Dockerを使えば一つのPC上に複数の仮想ホストを簡単に立ち上げられます。それらを別々のPCに見立てれば、気軽に遊べるのではないでしょうか。 やりたいこと Dockerで仮想Linuxマシンを三つ起動してそれらを別々のPCと見立てる それぞれの仮想Linuxマシンでノードを起動する すべてのノードを接続 後は自由に遊ぶ ノードとは 分散Erlangのドキュメントによると A distributed Erlang system consists of a number of Erlang runtime systems communicating with each other. Each such runtime system is called a node. 分散
The problem with using a UUID primary key in MySQL — PlanetScale
Universally Unique Identifiers, also known as UUIDs, are designed to allow developers to generate unique IDs in a way that guarantees uniqueness without knowledge of other systems. These are especially useful in a distributed architecture, where you have a number of systems and databases responsible for creating records. You might think that using UUIDs as a primary key in a database is a great id
Cloud observability made for devs Use logs, metrics and distributed tracing to detect, diagnose and resolve issues before they impact your users.
The Aurora MySQL replication features are key to the high availability and performance of your cluster. Aurora makes it easy to create or resize clusters with up to 15 Aurora Replicas. All the replicas work from the same underlying data. If some database instances go offline, others remain available to continue processing queries or to take over as the writer if needed. Aurora automatically spread
Software Architecture is Overrated, Clear and Simple Design is Underrated
I had my fair share in designing and building large systems. I've taken part in rewriting Uber's distributed payment systems, designing and shipping Skype on Xbox One and open-sourcing RIBs, Uber's mobile architecture framework. All of these systems had thorough designs, going through multiple iterations and had lots of whiteboarding and discussion. The designs then boiled down to a design documen
僕は、人生のかなりの時間と労力と情熱を文書処理に費やしました。なので、文書処理のことを書いたり話したりしたことはあります。ですが、文書処理の実際のプロジェクトやソフトウェアの話をしたことはありません。守秘義務の問題もありますし、仮に守秘義務に引っかからなくても進行中のプロジェクトについて口にすることはありません。 しかしながら、10年20年も昔の話なら、もはや誰にも迷惑はかからないし、気にする人もいないでしょう。技術的なアイディアで具体性があるものは特許になっているし、抽象的一般的な方法論は、むしろパブリックにすべきものでしょう。 僕がそのテの話をしなかった一番の理由はメンドクサイからです。そして、懐旧談に意味があるとは思えないからです。ごく最近、ふとしたキッカケから、個人的体験を縷々述べることに意味はないが、10年20年前に考えたりやったりしたことを書き残しておくことはまんざら無駄でもな
Building Netflix’s Distributed Tracing Infrastructure
“@Netflixhelps Why doesn’t Tiger King play on my phone?” — a Netflix member via Twitter This is an example of a question our on-call engineers need to answer to help resolve a member issue — which is difficult when troubleshooting distributed systems. Investigating a video streaming failure consists of inspecting all aspects of a member account. In our previous blog post we introduced Edgar, our t
Storybook 6.2
Storybook is the industry standard UI development workshop for components and pages. It's used by Netflix, Slack, Target, Shopify, Stripe, and thousands of teams around the world. As a modern frontend developer, you’re in a constant cat-and-mouse game to stay on top of ecosystem changes. Every Storybook release contains hundreds of adaptations to try to make that easier for you, whether you’re upg
TL;DRWarpStream is an Apache Kafka® protocol compatible data streaming platform built directly on top of S3. It's delivered as a single, stateless Go binary so there are no local disks to manage, no brokers to rebalance, and no ZooKeeper to operate. WarpStream is 5-10x cheaper than Kafka in the cloud because data streams directly to and from S3 instead of using inter-zone networking, which can be
Even Amazon can't make sense of serverless or microservices
May 4, 2023 Even Amazon can't make sense of serverless or microservices The Prime Video team at Amazon has published a rather remarkable case study on their decision to dump their serverless, microservices architecture and replace it with a monolith instead. This move saved them a staggering 90%(!!) on operating costs, and simplified the system too. What a win! But beyond celebrating their good se
Cameron Balahan 31 July 2023 When you start a new project in Go, you might begin by cloning an existing project. That way, you can start with something that already works, making incremental changes instead of starting from scratch. For a long time now, we have heard from Go developers that getting started is often the hardest part. New developers coming from other languages expect guidance on a d
機械学習のライブラリ・プラットフォームをいくつか試した所感まとめ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、開発エンジニアの amdaba_sk（ペンネーム未定）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「開（か）発の未（み）来に先（せん）手をうつプロジェクト（通称：かみせんプロジェクト）」というプロジェクトがあります。 この記事はかみせんプロジェクト2019年度下期成果報告ブログの一つです。 前回の成果報告では「機械学習プロジェクトの進め方」について検証した結果のまとめをしました。今回は「じゃあ実際に機械学習をやることになったら、どんなライブラリ、サービスを使えばいいの？」といったところの検証結果をまとめようと思います。 対象読者は前回と違って、機械学習に興味のあるエンジニアの方です。 なお今までの記事はかみせんカテゴリからどうぞ。 tech-blog.rakus.co.jp
Post-Incident Review on the Atlassian April 2022 outage - Atlassian Engineering
This PIR is available in the following languages:日本語 | 简体中文 | 繁體中文 | Deutsch | English | Español | Français | Italiano | 한국어 | Polski | Português | русский. Letter from our co-founders & co-CEOs We want to acknowledge the outage that disrupted service for customers earlier this month. We understand that our products are mission critical to your business, and we don't take that responsibility light
本記事ではRustでOpentelemetryをはじめることを目標に以下の点について書きます。 OpenTelemetryの概要RustのapplicationにOpenTelemetryを導入する方法前半は公式docを読みながら登場人物を整理し、後半は実際にdocker-compose上でそれらを動かします。 またRustではtracing-opentelemetry crateを利用します。 tracingについては別の記事で基本的な仕組みについて書いたのでopentelemetry固有の処理について述べます。 sample code traceの設定については、別の記事に詳しい説明を書きました。 OpenTelemetryとは最初にOpenTelemetryについての現時点での自分の理解は以下です。 OpenTelemetryとは文脈により以下のいずれかを指す CNFNのprojec
MySQL 8.0.22 の新機能で DNS SRV レコードのサポートというのがあったので試してみた。 https://dev.mysql.com/doc/refman/8.0/en/connecting-using-dns-srv.html MySQLサーバー3台 (a.example.com, b.example.com, c.example.com)とそれに接続するためのクライアントの計4台を docker-compose で作成する。 Dockerfile FROM ubuntu RUN apt update RUN apt install -y mysql-client libmysqlclient-dev gcc unbound bind9-dnsutils RUN rm -f /etc/unbound/unbound.conf.d/root-auto-trust-ancho
Debugging Incidents in Google’s Distributed Systems - ACM Queue
June 6, 2020 Volume 18, issue 2 PDF Debugging Incidents in Google's Distributed Systems How experts debug production issues in complex distributed systems Charisma Chan and Beth Cooper Google has published two books about SRE (Site Reliability Engineering) principles, best practices, and practical applications.1,2 In the heat of the moment when handling a production incident, however, a team's act
Firefoxにプライバシーを保護しつつブラウザ使用状況を集めるシステム「Oblivious HTTP(OHTTP)」と「Distributed Aggregation Protocol(DAP)」が導入される予定
Mozillaがプライバシーを保護しつつブラウザ使用状況を収集するためにプライバシー保護技術「Oblivious HTTP(OHTTP)」と「Distributed Aggregation Protocol(DAP)」をFirefoxに導入することを発表しました。同時に、OHTTPとDAPを実装するためにテクノロジー企業「Fastly」やInternet Security Research Group(ISRG)傘下の「Divvi Up」と協力することも発表されています。 Built for Privacy: Partnering to Deploy Oblivious HTTP and Prio in Firefox https://blog.mozilla.org/en/products/firefox/partnership-ohttp-prio/ Firefox and Fastl
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Emacs入門から始めるleaf.el入門 - Qiita
White Paper | Diem Association
Windows・macOS・Linux対応のオープンソースファイルエクスプローラー「Spacedrive」α版がリリース
W3Cが分散IDの規格を標準化、そこに至るまでの歴史を振り返る
Relational Databases Explained
TensorFlow 2 meets the Object Detection API
アニメ『BASTARD‼－暗黒の破壊神－』本PV ｜Eng sub
Interesting Programming Languages
100+ Best GitHub Repositories For Machine Learning
A Guide to Secrets Management with GitOps and Kubernetes
Rust 1.60を早めに深掘り - OPTiM TECH BLOG
Cloud Spanner の実行計画の活用に関する取り組み | メルカリエンジニアリング
最近何をやっているのか - Martin Fowler's Bliki (ja)
Dockerを使ってElixirの分散システムを気軽に楽しむ - Qiita
Baselime - Observability and Error-tracking Platform
Replication with Amazon Aurora MySQL - Amazon Aurora
文書処理：20年前の課題は今でも課題 - 檜山正幸のキマイラ飼育記 (はてなBlog)
Kafka is dead, long live Kafka
Experimenting with project templates - The Go Programming Language
🔭 RustでOpenTelemetryをはじめよう | Happy developing
MySQL 8.0.22 DNS SRV レコードサポート - tmtms のメモ
https://hypercore-protocol.org/
