KOBA789 です。みなさん DBMS は好きですか。私は好きです。 最近、自作 DBMS をずっと作っていて、ようやく最低限の機能ができたので公開をしました。 (とはいえコードを書いていたのは正味2日ほど。設計と勉強に2週間かかった) github.com この記事ではこれを作った目的と、そのちょっとした詳細についてご紹介します。 目的 Disk-Oriented DBMS の学習に適している Rust で書かれた実装が欲しかった、というのが理由です。 DBMS の勉強に適している実装というのは意外と多くありません。 MySQL や PostgreSQL といった有名な実装は実用的である一方でコード量は非常に多く、また細かな最適化によって教科書的なアルゴリズムと実際のコードの差が大きくなっているため、初学者にとっては構造を把握しづらくなっています。 教科書的な実装の Disk-Orie
要点 Docker for Macを使うなら、定期的にdisk imageをお掃除してあげるべし 背景 Docker for Macで開発しているとあるScalaアプリで、下記のようなエラーが出た java.io.IOException: No space left on device あっれー?そんなにdisk使ってたかなーと思って df -h コマンドを叩いたけどdiskには全然余裕がある。dockerでdisk使用量のquotaとか設定してたかな?と思ってPreferencesを開いて思い出した。 Docker for Macはイメージをbuildすると残りかすがちょっとづつ溜まっていくので、定期的にdisk imageをお掃除する必要がある。 ( docker images prune の話じゃないよ! ) Disk image? ここでいうdisk imageとはdocker i
しかし、原版の Win32 Disk Imager には、以下の問題点があった。 Google Drive との相性問題。 Google Drive クライアントアプリケーションを稼働させている Windows 環境では、Win32 Disk Imager の起動時に、エラーが発生し、正常に利用できない。 この問題は、Google Drive の仮想ドライブ機能 (G:\ 等) が有効になっている場合に発生する。 Google 社は、オープンソースの Dokan (Windows 用 FUSE ドライバ) を改造した Windows NT カーネル用デバイスドライバを用いて Google Drive の仮想ドライブを実装している。しかし、この仮想デバイスドライバと Win32 Disk Imager とは相性が悪く、Win32 Disk Imager の起動時のデバイス列挙時にエラーが発生
Win32 Disk Imager Renewal (Google Drive 相性問題解決、単一バイナリ、デジタル署名版) - by dnoboriWindowsUSBWin32APIGoogleDriveSDカード by 登 大遊, 2022/11/19, Quiita 第二投稿記事 Git リポジトリ https://github.com/dnobori/DN-Win32DiskImagerRenewal は、Windows 上での USB メモリ / SD カードイメージ書き込みツールのデファクト・スタンダードとなっている Win32 Disk Imager について、以下の点を改良した 「Win32 Disk Imager Renewal」 の デジタル署名済みの EXE 単体で動作する Win32 / x64 / ARM64 版バイナリ とソースコードを配布するためのものである
Don't miss new posts in the series! Subscribe to the blog updates and get deep technical write-ups on Cloud Native topics direct into your inbox. Well, I don't see any practical applications of the approach I'm going to describe... However, I do think that messing about with things like this is the only way to gain extra knowledge of any system internals. We are going to speak Docker and Linux her
Data encryption at rest is a must-have for any modern Internet company. Many companies, however, don't encrypt their disks, because they fear the potential performance penalty caused by encryption overhead. Encrypting data at rest is vital for Cloudflare with more than 200 data centres across the world. In this post, we will investigate the performance of disk encryption on Linux and explain how w
YouTubeDrive is a Wolfram Language (aka Mathematica) package that encodes/decodes arbitrary data to/from simple RGB videos which are automatically uploaded to/downloaded from YouTube. Since YouTube imposes no limits on the total number or length of videos users can upload, this provides an effectively infinite but extremely slow form of file storage. YouTubeDrive depends externally on FFmpeg, yout
【音楽×モノづくり dialogue】今ここでCD文化を再考する ― LOSTAGE meets Instant Disk Audio - CP1 ― ――まず、本日お二人に『CD文化を再考する』というテーマでお話いただきたいと思った理由ですが、今は時代の流れもあり多様な音楽の届け方が出てきて、その中でも自分は形にして音楽を残す届け方にすごい興味があって。それで今回、CDに焦点を当てた話をしてみたいと考えていたとき、km5株式会社の『Instant Disk Audio - CP1』と出会って、手に取ったときに自分が今まで触れてきたプレーヤーと違う感覚があって、それがすごい楽しかったんです。 こういう楽しさがある製品ってすごく素敵だなと思ったことが一つと、これまで自分はLOSTAGEというバンドの取材を何度かさせてもらってきて、今日お越しのLOSTAGEの五味岳久さんはバンドで音楽活動をし
How do I remove the first 300 million lines from a 700 GB text file on a system with 1 TB disk space total, with 300 GB available? (My system has 2 GB of memory.) The answers I found use sed, tail, head: How do I delete the first n lines of a text file using shell commands? Remove the first n lines of a large text file But I think (please correct me) I cannot use them due to the disk space being l
[名称] Quick Disk、QD、クイックディスク (参考製品名 「QD2」他) [種類] 磁気ディスク [記録方法] 磁気記録 [メディアサイズ] 78×78×3mm [記録部サイズ] 直径約72mm(実測) [容量] 128KB(片面64KB) [登場年] 1984年頃~ ひとつ、またひとつと消えていき、記憶からも薄れつつあるリムーバブルメディア。この連載では、ゆるっと集めているメディアやドライブをふわっと紹介します。 ロストメモリーズの記事一覧「Quick Disk」(クイックディスク、QD)は、ミツミ電機と日立マクセルによって開発された磁気ディスクのひとつ。ドライブをミツミ電機、メディアを日立マクセルが製造し、どちらも低コストを重視して開発されているのが特徴です。 1984年というと、ちょうど3.5インチFD(マイクロフロッピーディスク)がISOで標準規格化された頃で、普及する
AMDのRyzenシリーズにはCPUダイ直上に大容量のSRAMキャッシュを搭載し、大規模なL3キャッシュを利用できるものが存在する。この独自技術は「3D V-Cache」と命名されており、なんとこの領域をストレージデバイスとして強引に認識させたユーザーが登場した。Tom's Hardwareが報じている。 Ryzen搭載の「3D V-Cache」をまさかの“RAM Disk”化。爆速だけど理論値には程遠い CPUやSSDのクーラーのレビュワーとして活動する@GPUsAreMagic氏がX(旧Twitter)上に投稿した内容。最新世代のひとつ前にあたるZen3世代、Ryzen 7 7800X3Dを用いて行われたテストで、テストにはCrystalDiskMarkが用いられている。シーケンシャルな読み込みは約178GB、書き込みは約163GBという一般的なストレージデバイスをはるかに超えた結果が
「Disk2vhd」を使用したUEFI/GPTベースシステムのHyper-VへのP2V移行:山市良のうぃんどうず日記(173) 「P2V(Physical to Virtual)」は、Microsoft Virtual ServerやHyper-Vの登場で“仮想化によるサーバ統合を進めよう”というのが流行った時代に用いられた、物理PC/サーバを仮想マシンに変換する方法です。現在でも、物理サーバのハードウェアの老朽化に対処するため、あるいはOSのサポート終了(EOS)対策としてクラウド化するためにP2Vのニーズはよくあるようです。 山市良のうぃんどうず日記 Disk2vhdでP2Vした第2世代仮想マシンが起動しない P2V(Physical to Virtual)に対応したツールは、仮想化が普及し出だしたころ、仮想化テクノロジーを提供するベンダー各社から自社のテクノロジーに対応したツールが提
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
Not so long ago, one of our users reached out for a case of weird hardware utilization. They were using our ILP (InfluxDB Line Protocol) client to insert rows into their QuestDB database, but along with disk writes, they also observed significant disk reads. That's definitely not expected from a write-only workload, so we had to get to the bottom of this problem. Today we share this story, full of
こんにちは。明日はお休みを頂いているので、本日深夜に催されるサッカー日本代表を心おきなく応援できる森屋です。(も、もちろん、応援のための休みではありません) サッカーを、複数人が同席するVR空間上で応援できる時代が、早く来てほしいと願ってます...! さて、CentOS7を使う上で避けて通れないsystemdさんですが、この前悪い意味でとんでもないおせっかいをしてくれたので、同じ現象で困る方の助けになればと筆を取りました。 Disk付替え時に発揮されたおせっかい 仮想環境やクラウド環境では、「Diskを付け替える」というシーンがままあります。 LVMでパーティション管理していない環境等では、例えばApacheで提供されるWEBサーバのDisk容量を拡張したい場合に、 ①旧Diskより容量の大きい新Diskを用意する ②旧Diskのマウントポイント(/var/www)を使うApacheを停止
Rust LT Online #3 で発表した内容です。 「Rustでon-diskなB+Treeを作ったときの細かな話」というタイトルで、on-diskなB+Treeの基本的なアイデアを紹介しながら、Rustで実装する場合特有の難しさについて解説しています。 ▼スライド https://speakerdeck.com/koba789/rustdeon-disknab-plus-treewozuo-tutatokifalsexi-kanahua ▼Twitter https://twitter.com/KOBA789 ▼Rust.Tokyo 2021 CfP 動画の内容とは関係ないのですが、Rust.Tokyo 2021のCfPが公開されています。 締め切りまであとわずか3日ほどですが、興味のある方は応募してみるといいかもしれません。 https://twitter.com/rus
背景 みなさんは GitHub の Contribution Graph (所謂「草」) を見ていますか? 私はよく、その頃何をしていたのかの目安にしたり、作業の記録として確認したりします。しかし、このグラフに表示されるのはデフォルトブランチへのコミットのみで、長期間マージされない貢献などは表示してくれず、また、本記事のようなインフラ関連のツールのセットアップなどはそもそも貢献としてカウントされません。 そのため、継続日数などを目標にすることが難しくなっていると感じています。 作るもの そこで今回は、 InfluxDB + Telegraf で収集した Disk I/O のデータを Grafana を使って表示し、作業時間を測ってみよう!という記事です。幸いにも私はほとんどの開発を専用の VPS を利用して行っているので、何も考えずに VPS 上でシステム全体の Disk I/O を記録し
You can view a video related to this blog post here: Does UASP make the Raspberry Pi faster?. A couple weeks ago, I did some testing with my Raspberry Pi 4 and external USB SSD drives. I found a USB 3.0 SSD was ten times faster than the fastest microSD card I tested. In the comments on the video associated with that post, Brad Manske mentioned something I never even thought about. He noticed that
Ukraine: Disk-wiping Attacks Precede Russian InvasionDestructive malware deployed against targets in Ukraine and other countries in the region in the hours prior to invasion. UPDATE February 24, 2022, 13:42: This blog has been updated with details about ransomware being used as a possible decoy during some wiper attacks. UPDATE February 25, 2022, 17:00: This blog has been updated with details on h
これはSupership株式会社の 「データソリューションスタジオ プロダクト開発グループ」における社内勉強会の発表資料を外部公開向けに再編したものになります。 アジェンダ ・tmpfsとは? ・tmpfsの良いところ ・tmpfsを用いる上で考えるべき点 ・tmpfsのベンチマーク ・以上を踏まえて tmpfs が有用と思われるケース ・アプリ向けコンテンツ配信基盤が抱えていた課題とtmpfsの検討と比較 ・Dockerコンテナ環境下におけるのキャッシュストアの選択肢 ・Rails Cacheって異なるプロセスで共有できるの? tmpfsとは? tmpfsはメインメモリをファイルシステムとして扱うことができるファイルシステムの名称 ・一昔前で言うならばRAM DISKのようなもの POSIX準拠の環境では /dev/shm にマウントされている ・ちなみにmac OSにはない tmpfs
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
Disk Drill 4.0.521 Crack Keygen + Activation Code [Mac+Win] Free Disk Drill Pro 4.0.521 Activation Code Crack [Torrent] Download: Today we share with you Disk Drill Pro 4.0.521 Crack With Activation Code. It is a fast and trusted world-class data/document recovery software. This software is used to recover your deleted data regardless of the trigger. It is very easy to operate. It is one of the be
[名称] Bernoulli Disk、Bernoulli Box Cartridge (参考製品名 「FLEXIBLE DISK CARTRIDGE」) [種類] 磁気ディスク [記録方法] 磁気記録 [メディアサイズ] 209×280×18mm [記録部サイズ] 直径約198mm [容量] 10MB、20MB(フォーマット時) [登場年] 1982年頃~ ひとつ、またひとつと消えていき、記憶からも薄れつつあるリムーバブルメディア。この連載では、ゆるっと集めているメディアやドライブをふわっと紹介します。 ロストメモリーズの記事一覧 | テクノエッジ TechnoEdge 「Bernoulli Disk」は、Iomega社が開発した磁気ディスク「Bernoulli Box」用のカートリッジ。カートリッジに正式名称はないようで、書かれている名称は一般的な「FLEXIBLE DISK CART
Disk Drill Pro 4.5.616.0 Crack 2022 is a Mac/Win-specific data retrieval software that avoids accidentally deleting files on disks to recover vaults and retrieve lost information. Furthermore, it has many features to help you recover lost partitions and your data. It offers to search for missing HFS+ partitions, search for universal barriers, and rebuild HFS+ conversation files. Several recovery o
macOSを使っているとディスクイメージを使う機会が多いのではないでしょうか。殆どの場合、アプリケーションが内包されており、ドラッグ&ドロップでインストールを行います。 そんなディスクイメージの管理、詳細を確認できるのがDisk-Arbitratorです。 Disk-Arbitratorの使い方 ディスクイメージの一覧です。 情報を表示しています。通常よりも細かく、様々な情報が確認できます。 Disk-ArbitratorはmacOS標準のディスクユーティリティよりも細かく情報を確認できます。アプリケーションを配布したいと思う人は持っていると役立ちそうです。また、開けないイメージファイルがあった際にも調査で利用できそうです。 Disk-ArbitratorはmacOS用、Objective-C製のオープンソース・ソフトウェア(BSD)です。 aburgh/Disk-Arbitrator:
KDiskMark (3.0.0): https://github.com/JonMagon/KDiskMark Flexible I/O Tester (fio-3.30): https://github.com/axboe/fio -------------------------------------------------------------------------------- * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s] * KB = 1000 bytes, KiB = 1024 bytes [Read] Sequential 1 MiB (Q= 8, T= 1): 508.897 MB/s [ 497.0 IOPS] < 13840.05 us> Sequential 1 MiB (Q= 1, T
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く