How Verizon and a BGP Optimizer Knocked Large Parts of the Internet Offline Today
How Verizon and a BGP Optimizer Knocked Large Parts of the Internet Offline Today06/24/2019 Massive route leak impacts major parts of the Internet, including Cloudflare What happened?Today at 10:30UTC, the Internet had a small heart attack. A small company in Northern Pennsylvania became a preferred path of many Internet routes through Verizon (AS701), a major Internet transit provider. This was t
Cloudflareでメッセージキューを提供する「Cloudflare Queues」ベータ公開。Workersのコンピュート、R2のストレージ、Queuesのキューで分散コンピューティング基盤が充実
Cloudflareでメッセージキューを提供する「Cloudflare Queues」ベータ公開。Workersのコンピュート、R2のストレージ、Queuesのキューで分散コンピューティング基盤が充実 Cloudflareは、同社のCDNネットワーク基盤上でメッセージキューを提供するサービス「Cloudflare Queues」のベータ公開を発表しました。 Message queues are a fundamental building block of cloud applications—and today the Cloudflare Queues open beta brings queues to every developer building for Region: Earth. https://t.co/QaIWdDFdMc #DeveloperWeek — Cloudf
Go 1.18 is here, and with it, the first release of the long-awaited implementation of Generics is finally ready for production usage. Generics are a frequently requested feature that has been highly contentious throughout the Go community. On the one side, vocal detractors worry about the added complexity. They fear the inescapable evolution of Go towards either a verbose and Enterprisey Java-lite
——————————————————————————————————————————————————— Redis(REmote DIrectory Server)Redisは例えば以下の特徴を持つLLOOGGを元としたインメモリの非リレーショナルのデータベースです。 String, List, Hash, Set, Sorted Setに代表される豊富なデータ型シングルスレッド処理イベント駆動処理 by aeライブラリ通常RESPプロトコルによるクライアント/サーバーモデルでリクエスト/レスポンスデータは条件を満たす場合にメモリ最適化されて保存。CPUとのトレードオフRAXを利用したメモリ利用量の最適化(Redis 4.0~)この記事では、入門から始まり、実装をより意識することで深く理解することを目標としています。 以下の説明中の(*)マークは、特にVanilla Redisでの話となり
Every so often I read an essay that I end up thinking about, and citing in conversation, over and over again. Here’s my index of all the ones of those I can remember! I’ll try to keep it up to date as I think of more. There's a lot in here! If you'd like, I can email you one essay per week, so you have more time to digest each one: Nelson Elhage, Computers can be understood. The attitude embodied
【日本初導入】 AWS Outposts ラックを徹底解説 第2回 〜AWS CDKによるInfrastructure as Code〜 - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターの福田です。 前回 に引き続き、 AWS Outposts について紹介していきます。 今回は、特に AWS CDK による AWS Outposts の Infrastructure as Code (以降 IaC) を行う方法について記載していきたいと思います。 AWS CloudFormation AWS CDK では AWS CloudFormation というサービスをバックエンドで利用しているため、まずはこの AWS CloudFormation について解説します。 AWS CloudFormation は、AWS の各種リソースを JSON/YAML 形式で記述した"テンプレート"として管理します。 これによって AWS リソースの IaC を実現してくれますが、サービスとして IaC を実現するものというよりは AWS リソース
Discussion on Hacker News This article and its topic were the subject of fairly detailed discussion on this thread here on Hacker News. Perusing through the comments should be well worth your time, albeit you might emerge completely confused by the experience. And no–tech guys do not hate each other, we just have a wide-ranging spectrum of view points. Introduction It is impossible to escape heari
Git 2.30 Released As More Projects Shift To "Main" As Their Default Branch Name - Phoronix
Show Your Support: This site is primarily supported by advertisements. Ads are what have allowed this site to be maintained on a daily basis for the past 19+ years. We do our best to ensure only clean, relevant ads are shown, when any nasty ads are detected, we work to remove them ASAP. If you would like to view the site without ads while still supporting our work, please consider our ad-free Phor
Three bottles of the world's oldest Gautier cognac from 1762 have long belonged to the Donsier family, where they have been kept since 1870. However, their 258-year history may come to an unexpected end on May 28, when the unique cognac is finally put up for auction. It is worth noting that Gauthier's company, which turned 265 years old, still exists today. One of the three surviving bottles is in
Top Announcements of AWS re:Invent 2021 | Amazon Web Services
AWS News Blog Top Announcements of AWS re:Invent 2021 Welcome to AWS re:Invent! Below are some of the most noteworthy launches from our biggest event of the year. AWS Chief Evangelist Jeff Barr and our team of AWS developer advocates from around the globe share their insights and offer helpful tips for getting started with some of their favorite new AWS releases. With so much amazing building goin
ハードウェアのタイムスタンプを使用してネットワークの待ち時間を測定する方法 | IIJ Engineers Blog
I'm a researcher at IIJ Research Laboratory working on the performance, security and reliability of distributed systems. 今回は、IIJの技術研究所にインターンシップとしてドイツから来日していたフォーゲル アーネさんの研究を紹介します。彼は博士号候補者で一緒に働いていました。研究内容は、ネットワークカードのハードウェアタイムスタンプについてです。それではご覧ください。 （以下フォーゲルさんの記事） この投稿では、ハードウェアのタイムスタンプを使用して、単純なpingコマンドよりもきめ細かくネットワークの待ち時間を測定する方法を探ります。 動機 2つのノード間のネットワークレイテンシを調べたい場合どうすればよいでしょうか？ シンプルな方法はpingを使うことでしょう： $
Messaging technologies have exploded in popularity in recent years. The broad usage of messaging as a framework, especially in distributed systems, requires a dedicated and standardized approach to security. One possible solution to the problem of standards-based secure messaging is to build on top of a family of pre-existing security technologies known as JOSE. JSON Web Message (JWM) is a draft s
更新情報： 2021年5月に TensorFlow 2.5, OpenCV 4.5.1, Debian 11 Bullseyeに合わせて更新しプログラムを動作確認した ラズパイにUSBカメラを繋ぎ、Python 3上のOpenCVを用いて映像を取り込み、リアルタイムにTensorFlowで物体検出する手順です。Tensorflow HubのサンプルとTensorFlow Lite のサンプルを改変して用いて、それぞれ以下のような検出結果を表示します。ラズパイ依存部分は無いので、インテルCPUを積んだノードパソコンとかでも以下のプログラムは実は問題無く動作します（少なくともLinux稼働していれば（などといいつつ後半２つがインテルUbuntu 20.04で動作していなくて直せていない…😭））。ARM特有の話として import cv2 をTensorFlow関連パッケージのimportより
What is CockroachDB Serverless? If you’ve created a database before, you probably had to estimate the size and number of servers to use based on the expected traffic. If you guessed too low, your database would fall over under load and cause an outage. If you guessed too high or if your traffic came in bursts, you’d waste money on servers that are just sitting idle. Could there be a better way? Se
Software security starts with the developer: Securing developer accounts with 2FA
ProductSecuritySoftware security starts with the developer: Securing developer accounts with 2FAGitHub will require all users who contribute code on GitHub.com to enable one or more forms of two-factor authentication (2FA) by the end of 2023. The software supply chain starts with the developer. Developer accounts are frequent targets for social engineering and account takeover, and protecting deve
米McDonald'sは「Google Cloud」を活用し、数千の店舗にクラウドベースのデータ分析環境を導入してAIソリューションを開発すると発表した（注1）。 両社はハードウェアやデータ、AI技術などの分野で提携し、2024年には高性能な機器とAIプラットフォーム「Vertex AI」、マネージド・データベース・ソリューションを展開する「Google Distributed Cloud」の計算資源とストレージを各店舗に配備する。 McDonald'sのエグゼクティブバイスプレジデント兼グローバルCIOを務めるブライアン・ライス氏は発表の中で、「世界中にある店舗をMcDonald'sが持つデジタルエコシステムの百万ものデータポイントに接続すれば、ツールの精度が上がり、モデルがより賢くなる上、店舗をさらに運営しやすくなる。そして最も重要なことは顧客とクルーの体験が改善することだ」と述べた。
Stable Diffusion （Diffusers）でLoRA～理論と実践～ | Shikoan's ML Blog
Stable DiffusionでのLoRAをdiffusersで試してみます。3Dモデルに対して、Unityで透過スクショを撮りLoRAで学習させるというよくあるやり方ですが、LoRAにおけるData Augmentationの有効性など興味深い点が確認できました。 はじめに 前々から気になっていたStable DiffusionのLoRAを使ってみました。3DモデルからスクショをとってLoRAで学習させるという「何番煎じだお前」って手法ですが、なかなかおもしろい結果になりました。 公式ドキュメント：https://huggingface.co/docs/diffusers/training/lora LoRAとは LoRAってよく使われる割には原著論文がそこまで解説されない気はします笑 （自分はNLPの専門家ではないので、この論文はさーっとしか読んでいませんが、 ）原著論文はこちらで、
Summary We provide a few tips for reducing the size of docker images that use Conda, reducing an example docker image to 15% of its original size. Introduction Conda is a useful tool for managing application dependencies. When combined with Docker for deployment you can have a nice workflow for reproducible application environments. If you're not careful though, you can end up with extremely large
Thoughts on software, hardware, performance, math, and similar topics A lot of ink is spent on the “monoliths vs. microservices” debate, but the real issue behind this debate is about whether distributed system architecture is worth the developer time and cost overheads. By thinking about the real operational considerations of our systems, we can get some insight into whether we actually need dist
A peek behind Colossus, Google’s file system | Google Cloud Blog
Colossus under the hood: a peek into Google’s scalable storage system You trust Google Cloud with your critical data, but did you know that Google also relies on the same underlying storage infrastructure for its other businesses as well? That’s right, the same storage system that powers Google Cloud also underpins Google’s most popular products, supporting globally available services like YouTube
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理とデータのインジェスチョンパイプラインについて紹介しました。まずはLINEで実施しているデータ処理について。 自己紹介と発表前半のアジェンダ 齋藤智之氏：LINE Data Platform室の齋藤智之です。現在私は、データプラットフォーム開発組織のシニアソフトウェアエンジニアとして、研究開発や開発プロジェクトのリードをしています。今日の発表では、データプラットフォームを開発運用する中で直面してきた課題と、その解決に向けた取り組みの一部を紹介しようと思います。 発表は前半と後半の2部に分かれて
Announcing Distributed Application Runtime (Dapr), an open source project to make it easier for every developer to build microservice applications - Microsoft Open Source Blog
Announcing Distributed Application Runtime (Dapr), an open source project to make it easier for every developer to build microservice applications Toggle share menu for: Announcing Distributed Application Runtime (Dapr), an open source project to make it easier for every developer to build microservice applications Share Share Announcing Distributed Application Runtime (Dapr), an open source proje
Cloudflare has always been a leader in deploying secure versions of insecure Internet protocols and making them available for free for anyone to use. In 2014, we launched one of the world’s first free, secure HTTPS service (Universal SSL) to go along with our existing free HTTP plan. When we launched the 1.1.1.1 DNS resolver, we also supported the new secure versions of DNS (DNS over HTTPS and DNS
Opens in a new windowOpens an external siteOpens an external site in a new window Shopify and YJIT Back in July 2020, I joined the Ruby & Rails Infrastructure (R&RI) team at Shopify. Our team focuses on making sure that Ruby as well as Ruby on Rails, central to the infrastructure behind all Shopify stores and much of the modern web, run as smoothly and efficiently as possible. As part of the R&RI
AWS Network Firewall – New Managed Firewall Service in VPC | Amazon Web Services
AWS News Blog AWS Network Firewall – New Managed Firewall Service in VPC Our customers want to have a high availability, scalable firewall service to protect their virtual networks in the cloud. Security is the number one priority of AWS, which has provided various firewall capabilities on AWS that address specific security needs, like Security Groups to protect Amazon Elastic Compute Cloud (Amazo
WEB+DB PRESS Vol.132 特集2 「iOS 16最前線」に寄稿しました #wdpress - がんばってなんか書く
おはこんハロチャオ～！あなたの目玉をエレキネット！何者なんじゃ？ id:yutailang0119 です！ これははてなエンジニアアドベントカレンダー2022 24日目の記事です。 昨日は id:yajimasan の Postfix のサンドボックス環境をローカルに作る でした。 メールサーバー、何もわからない。 今回はWEB+DB PRESSの宣伝をしつつ、執筆事情についてお話します！ WEB+DB PRESS Vol.121 特集2 「iOS 14最前線」に寄稿しました #wdpress - がんばってなんか書く WEB+DB PRESS Vol.116 特集1 「はじめてのトラブルシューティング」に寄稿しました #wdpress - がんばってなんか書く 宣伝 本日 2022/12/24 (土) 発売 WEB+DB PRESS Vol.132 に寄稿しました！ 担当は特集2「iOS
Chapter 12 - Introducing Non-Abstract Large System Design, Google SRE Book
Introducing Non-Abstract Large System Design By Salim Virji, James Youngman, Henry Robertson, Stephen Thorne, Dave Rensin, and Zoltan Egyed with Richard Bondi With responsibilities that span production operations and product engineering, SRE is in a unique position to align business case requirements and operational costs. Product engineering teams may not be aware of the maintenance cost of syste
FastorSlow.com Shutting Down March 31st, 2022 - Fast or Slow
Almost two years ago the Wordfence team launched FastOrSlow.com as an experiment in providing distributed website performance benchmarking. FastOrSlow was the first-ever free benchmarking tool to test your website performance from 18 locations around the world, using multiple headless chrome browser instances, and it returned the results within a few seconds. FastOrSlow was a really fun experiment
by Frank San Miguel on behalf of the Cosmos team IntroductionCosmos is a computing platform that combines the best aspects of microservices with asynchronous workflows and serverless functions. Its sweet spot is applications that involve resource-intensive algorithms coordinated via complex, hierarchical workflows that last anywhere from minutes to years. It supports both high throughput services
Twenty-five open-source network emulators and simulators you can use in 2023 - Open-Source Routing and Network Simulation
I surveyed the current state of the art in open-source network emulation and simulation. I also reviewed the development and support status of all the network emulators and network simulators previously featured in my blog. Of all the network emulators and network simulators I mentioned in my blog over the years, I found that eighteen of them are still active projects. I also found seven new proje
CUPID—for joyful coding
What started as lighthearted iconoclasm, poking at the bear of SOLID, has developed into something more concrete and tangible. If I do not think the SOLID principles are useful these days, then what would I replace them with? Can any set of principles hold for all software? What do we even mean by principles? I believe that there are properties or characteristics of software that make it a joy to
GitHub - pingcap/talent-plan: open source training courses about distributed database and distributed systems
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
This post is also available in Deutsch, 简体中文, 日本語, Español, Français. We’re not going to bury the lede: we’re excited to launch a major update to our D1 database, with dramatic improvements to performance and scalability. Alpha users (which includes any Workers user) can create new databases using the new storage backend right now with the following command: $ wrangler d1 create your-database --ex
使い始めて3年くらい経ちますが、改めて振り返ってみます。 こちらの記事を書いたりしていますが復習も大事なわけで。 2024/4/12に翔泳社よりApache Spark徹底入門を出版します！ その他のDatabricksコアコンポーネントの記事はこちらです。 Apache Sparkプロジェクトの歴史 SparkはDatabricksの創始者たちがUC Berkeleyにいるときに誕生しました。Sparkプロジェクトは2009年にスタートし、2010年にオープンソース化され、2013年にApacheにコードが寄贈されApache Sparkになりました。Apache Sparkのコードの75%以上がDatabricksの従業員の手によって書かれており、他の企業に比べて10倍以上の貢献をし続けています。Apache Sparkは、多数のマシンにまたがって並列でコードを実行するための、洗練され
Highlights from Git 2.33
Open SourceHighlights from Git 2.33The open source Git project just released Git 2.33, with features and bug fixes from over 74 contributors. Here's a look at some of the most interesting features and changes. The open source Git project just released Git 2.33 with features and bug fixes from over 74 contributors, 19 of them new. We last caught up with you on the latest in Git when 2.31 was releas
New fractal design will increase the efficiency of solar power plants by 20%
New fractal design will increase the efficiency of solar power plants by 20% Engineers from the US Sandia National Laboratories have designed an unusual version of the energy receiver for power plants, in which sunlight is concentrated by mirrors at one point. This will allow absorbing almost all radiation and significantly increase the efficiency of the installation. In a typical solar power plan
Making the Tokio scheduler 10x fasterOctober 13, 2019 We've been hard at work on the next major revision of Tokio, Rust's asynchronous runtime. Today, a complete rewrite of the scheduler has been submitted as a pull request. The result is huge performance and latency improvements. Some benchmarks saw a 10x speed up! It is always unclear how much these kinds of improvements impact "full stack" use
Kafka入門 第1回 「そもそもKafkaとはなにか」 - joker1007’s diary
これは社内向けに書いた、Kafkaってそもそも何やねん、ということをメンバーに解説するための記事を一部編集して公開できる様にしたものです。 第2回以降では、Kafkaを利用したアプリケーション開発のノウハウについて解説していく予定です。そちらも社内の事情を除いた形で公開していくつもりです。 そもそもKafkaとは Kafkaはイベントストリーミングプラットフォームと呼ばれるミドルウェアです。 元々はストリームバッファと呼ばれてたと思います。 公式のドキュメントには以下の様に書かれています。 Kafka combines three key capabilities so you can implement your use cases for event streaming end-to-end with a single battle-tested solution: To publis
こんにちは、R&Dチームの齋藤（@aznhe21）です。 初めてのオフィス引っ越し体験が目前でちょっとワクワクしています。 さて、本日2/25(金)にRust 1.59がリリースされました。 この記事ではRust 1.59での変更点を詳しく紹介します。 2/25は映画「未知との遭遇」が日本で公開された日 ピックアップ 定数ジェネリクスでデフォルト値を使えるようになった 分割代入ができるようになった インラインアセンブリが使えるようになった イテレータのzipがフリー関数になった Cargo.tomlでstripを指定できるようになった 安定化されたAPIのドキュメント std::thread::available_parallelism 制限 エラー サンプル Result::copied サンプル Result::cloned サンプル ops::ControlFlow::is_brea
Internet Engineering Task Force (IETF) K. Davis Request for Comments: 9562 Cisco Systems Obsoletes: 4122 B. Peabody Category: Standards Track Uncloud ISSN: 2070-1721 P. Leach University of Washington May 2024 Universally Unique IDentifiers (UUIDs) Abstract This specification defines UUIDs (Universally Unique IDentifiers) -- also known as GUIDs (Globally Unique IDentifiers) -- and a Uniform Resou
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Generics can make your Go code slower
Dive Deep Redis ~ 入門から実装の確認まで - hayashier Tech Blogs
Essays on programming I think about a lot
A Manager’s Guide to Kubernetes Adoption
The strange story of the oldest cognac in the world
JWM: a new standard for secure messaging
ラズパイとUSBカメラとTensorFlowで物体検出 - Qiita
How we built a serverless SQL database
マクドナルド、数千店舗にGoogle Cloudを導入 オペレーションを大幅改善へ
Smaller Docker images with Conda // Jim Crist-Harif
Use One Big Server - Speculative Branches
CPU使用率90%を超える高負荷がLNEのHive Metastoreで発生 Hive table formatの課題はApache Icebergで解消
Introducing time.cloudflare.com
Ruby 3.2’s YJIT is Production-Ready
The Netflix Cosmos Platform
D1: We turned it up to 11
Apache Sparkとは何か - Qiita
Making the Tokio scheduler 10x faster | Tokio - An asynchronous Rust runtime
Rust 1.59を早めに深掘り - OPTiM TECH BLOG
RFC 9562: Universally Unique IDentifiers (UUIDs)