コンピューターのメモリ管理を担う「仮想記憶」の仕組みとは？
コンピューターを選ぶとき、「RAMは多い方がいい」という意見を耳にしたことがあるかもしれません。RAMはコンピューターの主記憶装置として使用され、CPUが直接アクセスする高速なメモリです。そのRAMを扱う上で重要な仕組みである「仮想記憶」について、数学やIT、金融などを扱うブログ「Internal Pointers」が解説しています。 An introduction to virtual memory - Internal Pointers https://www.internalpointers.com/post/introduction-virtual-memory 現代のコンピューターは、記憶媒体として主記憶であるRAMと補助記憶装置であるHDDやSSDを備えているのが一般的です。データを大量に保存する場所としてはHDDやSSDが適していますが、CPUが直接アクセスするには読み書き速
0.はじめに 0.1 今年を振り返って この記事はFujitsu Advent Calendar 2023 の24日目の記事です。 なお、本記事は個人の意見に基づくものであり、組織を代表するものではありません。 今年もAdvent Calendarの季節となりましたね。皆様お変わりないでしょうか？ 私の方はというと、全体的に多忙ではありましたが、夏には国際学会IEEE NVMSAでの発表、秋から年末にかけて海外出張やOpen Source Summit Japanでの講演など、今年後半は怒涛のように仕事がくる状態になってました。おまけに 「Linus Torvaldsと会談せよ」 というミッションまで降ってきてしまい、正直どうなることかと思いました。人生、何が起こるかわからないものです。学生時代、英語は超苦手だったのに…。 0.2 今年の記事について さて、例年このAdvent Calen
Feature #18481: Porting YJIT to Rust (request for feedback) - Ruby master - Ruby Issue Tracking System
TL;DR: The YJIT team wants to explore using Rust to help develop YJIT. The rest of CRuby will continue to build without Rust tools and building YJIT will remain optional. We’re currently exploring the possibility of porting YJIT to Rust and working on a small proof of concept that should be ready next month. The motivation behind this is that we are facing challenges in terms of code maintainabili
A few months ago, after reading about Cloudflare doubling its intern class size, I quickly dusted off my CV and applied for an internship. Long story short: now, a couple of months later, I found myself staring into Linux kernel code and adding a pretty cool feature to gVisor, a Linux container runtime. My internship was under the Emerging Technologies and Incubation group on a project involving g
Microsoftは6月20日(米国時間)、「GitHub - microsoft/mimalloc: mimalloc is a compact general purpose allocator with excellent performance.」において、「mimalloc」と呼ばれるメモリアロケータを公開した。mimallocはjemallocやtcmallocといったメモリアロケータと互換性があり入れ替えることが可能なほか、パフォーマンスとメモリ使用量において既存の実装よりも優れた性能を実現しているという。Windowsに加えて、MacOSX、Linux、*BSDでも利用できる。 性能ベンチマーク結果 - 資料: Microsoft メモリ使用量ベンチマーク結果 - 資料: Microsoft mimallocの主な特徴として、以下が紹介されている。 高速動作。jemallo
Chromiumプロジェクト、重大度の高いセキュリティバグの約70％がメモリに由来すると発表 | スラド セキュリティ
Anonymous Coward曰く、 Chromiumプロジェクトは今週、重大度の高いセキュリティバグの約70％は、メモリの安全性に関する問題（ポインタの誤り）に由来すると発表した。これはGoogleのエンジニアが2015年以降の912の重大度の高い、もしくは重大なセキュリティバグを分析した結果から導き出させたものだという。これはユーザーのセキュリティを危険にさらすだけでなく、Chromeの修正と出荷においてコストを増大させているとしている。 同様の問題はMicrosoftも指摘している。2019年2月のセキュリティ会議で講演したMicrosoftのエンジニアは過去12年間、Microsoft製品のすべてのセキュリティアップデートの約70％がメモリの安全性が原因だったと指摘している。端的に言えば、コードベースで2つの主要なプログラミング言語であるCとC++は「安全でない」言語であるという
Become part of a community passionate about building better apps. Manual Memory Management in Go using jemalloc Dgraph Labs has been a user of the Go language since our inception in 2015. Five years and 200K lines of Go code later, we’re happy to report that we are still convinced Go was and remains the right choice. Our excitement for Go has gone beyond building systems, and has led us to even wr
開発者向けQ＆Aサイト「Stack Overflow」は2020年6月5日（米国時間）、オープンソースのシステムプログラミング言語「Rust」がなぜ人気を集めているのか、ユーザーのコメントを紹介した。同サイトのRustチャットルームと、Rustのユーザーフォーラムから集めたものだ。 Stack Overflowが2020年5月に発表した年次開発者調査「2020 Developer Survey」では開発者を中心に約6万5000人が参加した。Rustは2016年の調査以来5年連続で、最も愛されている言語のランキングで首位を獲得した。 これを受け、Stack Overflowは同言語のチャットルームとフォーラムで、ユーザーが支持する理由についてコメントを募った。今回紹介したのはそのうちの抜粋だ。多くはRustユーザーフォーラムに寄せられたもの。 Stack Overflowはユーザーの声を紹介
In this blog post, we'll explore the implementation of an upgradable read-write lock in Go. We will talk about why we needed it by giving concrete examples from the real-world use case and also discuss potential pitfalls during the blog post. Why do we need an upgradable read-write lock? In Go, even though the guidelines say to avoid locks, when building a Redis® server that should be concurrently
Samsungが業界初となる512GBのDDR5メモリを開発
Samsungが、業界初となる512GBのDDR5メモリを開発したと発表しました。このDDR5メモリはHKMG技術と8層シリコン貫通電極(TSV)構造を採用しており、データ転送速度はDDR4の2倍以上となる最大7200Mbpsを実現しています。 Samsung Develops Industry’s First HKMG-Based DDR5 Memory; Ideal for Bandwidth-Intensive Advanced Computing Applications – Samsung Global Newsroom https://news.samsung.com/global/samsung-develops-industrys-first-hkmg-based-ddr5-memory-ideal-for-bandwidth-intensive-advanced-comp
Kernel/VM探検隊はカーネルや仮想マシンなどを代表とした、低レイヤーな話題でワイワイ盛り上がるマニアックな勉強会です。齊加氏は、Linux KernelコードからCompaction機能の仕組みや工夫点を調査した結果について発表しました。 メモリの虫食い状態を緩和するデフラグメンテーション 齊加匠氏：「Deep Dive into the Linux Kernel メモリ管理におけるCompaction機能について」というタイトルで株式会社エヌ・ティ・ティ・データの齋加が発表します。 自己紹介です。所属は株式会社エヌ・ティ・ティ・データで、業務はアプリケーション開発です。OSは関係ないんですが、アプリケーション開発をしていて、主にSpringを使っています。好きなものはGolangやArch Linuxです。かねてよりメモリ管理に興味があって、Linux Kernelのメモリ管理につ
アップルはMacBook ProおよびiMacの新製品を発表した。これらで使われているのが、同社の新プロセッサー｢M3｣シリーズだ。 アップルがMacに独自開発プロセッサを使うようになって3年が経過し、M1からM3へと世代交代している。 世代を追ってプロセッサーが性能アップしていくのはマーケティング上も当然のことで、そのこと自体に驚きはない。 だがよく見ると、無印・Pro・Maxという3つのバリエーションも、実は細部を見ると過去とは少し変わった状況がある。 取材のなかから見えてきたのは、アップルの新しい半導体戦略だ。
サイバーセキュリティ研究者のチームは2019年6月11日、最新のシステムにインストールされた悪意のあるプログラムが、同じハードウェア上で実行されている他プロセスから重要なメモリデータを読み取ることができるという、DRAMに対する新しいサイドチャネル攻撃「RAMBleed攻撃」の詳細を明らかにしました。 RAMBleed https://rambleed.com/ RAMBleed: Reading Bits in Memory Without Accessing Them (PDFファイル)https://rambleed.com/docs/20190603-rambleed-web.pdf RAMBleed Attack – Flip Bits to Steal Sensitive Data from Computer Memory https://www.manageengine.co
Go’s place between C and Python in terms of abstraction and garbage collection memory management model has made it attractive to programmers looking for a fast but reasonably high level language. However, there is no free lunch. Go’s abstractions, especially with regards to allocation, come with a cost. This article will show ways to measure and reduce this cost. Measuring On posts about performan
Introduction When working with Kubernetes, Out of Memory (OOM) errors and CPU throttling are the main headaches of resource handling in cloud applications. Why is that? CPU and Memory requirements in cloud applications are ever more important, since they are tied directly to your cloud costs. With limits and requests, you can configure how your pods should allocate memory and CPU resources in orde
GitHub - knrt10/gRPC-cache: In memory Key/Value store in go using gRPC.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ついに登場した不揮発性メインメモリ。対応アプリ開発に欠かせない性能チューニングツールがインテルから［PR］ これまでのコンピュータの常識では、電源を切ったらメインメモリ上のデータは消えてしまいます。そのため、不意の停電などで消えてしまっては困る重要なデータは、必ずストレージに保存しなければなりませんでした。 この常識をくつがえし、電源を切ってもデータが消えない不揮発性のメインメモリを実現するのが、昨年から本格出荷が始まった「Intel Optane DC Persistent Memory」です。 Optane DC Persistent MemoryはDRAMと同様にDDR4スロットに挿して利用し、最大3TBまで追加できます。 そしてメインメモリの一部としてCPUから高速にデータを読み書きできるだけでなく、APIを通じてストレージのように読み書きすることも可能です。 インテルはこのOpt
This article describes memory management in Python 3.6. If you are interested in GC details, you can read my article about Garbage collection in Python. Everything in Python is an object. Some objects can hold other objects, such as lists, tuples, dicts, classes, etc. Because of dynamic Python's nature, such an approach requires a lot of small memory allocations. To speed-up memory operations and
全固体リチウム電池を応用した情報メモリ素子を開発：超低消費エネルギー化と多値記録化に初めて成功 省エネルギーコンピューティングに向けた大きな一歩
要点 全固体リチウム電池を応用したメモリ素子を開発し、超低消費エネルギー動作に成功 3つの異なる電圧を記録する3値記録メモリとしての動作を実現 開発したメモリ素子の特徴が、酸化ニッケルとリチウムの反応に起因することを確認 概要 東京工業大学 物質理工学院 応用化学系の一杉太郎教授、清水亮太助教、渡邊佑紀大学院生（修士課程2年）らは、東京大学 大学院工学系研究科 マテリアル工学専攻の渡邉聡教授らと共同で、全固体リチウム電池と類似した薄膜積層構造を持ち、超低消費エネルギーと多値記録を特徴とするメモリ素子の開発に成功しました。 コンピュータの利用拡大とともにエネルギー消費量は増大し続けており、半導体素子の消費エネルギー低減は喫緊の課題です。研究グループは、全固体リチウム電池の構造と動作メカニズムに注目し、情報を電圧として記憶する低消費エネルギーの電圧記録型メモリ素子の開発に取り組みました 本研究
GitHub - emeryberger/scalene: Scalene: a high-performance, high-precision CPU, GPU, and memory profiler for Python
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
メモとして残します。 MJPEGを入力してJPEGに切り出すプログラム ChatGPT-4 に作らせました。 USBカメラから入力された生のmjpegの映像データを標準入力から受けて、jpegの静止画に切り出してファイルに保存するプログラムをC言語で書いてください。書き出すファイル名はout%03d.jpg という感じでフレーム番号を含めてください。ソースコード内のコメントは英語で書いてください。 最初のものはffmpegやらたくさん外部のライブラリに依存するコードを出してきたので、もっとシンプルなやつにしてくれとお願いしました。できたものはこれ。[1] #include <stdio.h> #include <fcntl.h> #include <unistd.h> #define BUF_SIZE 1024 #define OUTPUT_FILENAME_PATTERN "out%03
Memzoom
Memzoom lets you view/monitor the raw memory of processes/files in your UTF-8 terminal. Memzoom is like the less command except designed for binary data with live updates. It represents non-ASCII characters using IBM Code Page 437 as a base-256 binary alphabet. It implements zooming via CTRL+MOUSEWHEEL which uses an image scaling algorithm (better than Lanczos!) that enables you to monitor large a
Monoxer・解いて憶える記憶アプリ
同じ授業を受けているはずなのに、 生徒によって結果に差が出るのはなぜでしょうか。 私たちは、授業で「わかった」ことを「できる」に変える力、 つまり『記憶定着』がその差を生んでしまっていると考えます。 しかし、記憶定着の方法は昔から変わっておらず、 かつ個人の自助努力に任せられています。 Monoxerは「理解」ではなく、 「定着」に特化した新しい教育ツールです。 Monoxerは、一人ひとりにちょうどよいレベルの問題を、 ちょうどよいタイミングで、ちょうどよい量だけ出題。 どんな生徒でも、確実に記憶定着の状態まで到達することができます。 すべての生徒を「わかった」から「できる」へ。
Goにおけるメモリ管理の可視化
はじめに この記事は@deepu105に許可を頂きVisualizing memory management in Golangという記事の翻訳したものになります。 Goのメモリ管理を図やスライドを活用して非常に分かりやすく説明されていたため、学習として翻訳しました。 以降が実際の記事の翻訳になります。 これは"メモリ管理"シリーズになります。 🚀 Demystifying memory management in modern programming languages 🚀 Visualizing memory management in JVM(Java, Kotlin, Scala, Groovy, Clojure) 🚀 Visualizing memory management in V8 Engine (JavaScript, NodeJS, Deno, WebAssemb
MemLab: An open source framework for finding JavaScript memory leaks
MemLab: An open source framework for finding JavaScript memory leaks We’ve open-sourced MemLab, a JavaScript memory testing framework that automates memory leak detection. Finding and addressing the root cause of memory leaks is important for delivering a quality user experience on web applications. MemLab has helped engineers and developers at Meta improve user experience and make significant imp
Rustで作るリアルタイムOS
はじめに 簡単なタスク管理機能と、タイマレジスタによる割り込み管理機能を持つ簡易なリアルタイムOSをRustで自作しました。 Aruduino Unoボードに搭載されるATmega328Pマイコン上で動かすことを想定していますが、https://github.com/Rahix/avr-hal でサポートされているAVRマイコンであれば、ほぼ同様の実装ができそうです。 本記事では環境構築については割愛し、実装の詳細について解説を行いたいと思います。 リアルタイムOSの設計 今回作成したリアルタイムOSは、技術書店13でサークル出展した書籍、cistLT Bookで作成したOS(https://github.com/yud0uhu/ChocottoOS)を、Rustで再実装したものになります。 書籍同様、ITRON4.0仕様に準拠するための五項目をOSの機能要件として定めました。 (a) タ
ローカルで RWKV-LoRA の日本語データセットでﾌｧｲﾝﾁｭｰﾝするメモ (3090x2 で 7B いけた. 14B はだめだった)
Google Colab で RWKV-LoRA のファインチューニングを試す ありがとうございます. こちらを参考にローカルでﾌｧｲﾝﾁｭｰﾝします! 14B はいくつか設定試しましたが CUDA out-of-memory でダメでした. 環境 Ubuntu 20.04 x299 + 256 GB CPU mem 14B もしうまく学習回る場合では, 128 GB でも行けると思われる. 3090(24GB) x 2 セットアップ まず conda あたりで環境作って, 必要モジュールインストールしておきます.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
意外と知られていない、Linuxのメモリホットプラグのインタフェースについて - Qiita
Diving into /proc/[pid]/mem
【福田昭のセミコン業界最前線】 2022年の半導体市場、不況の中Qualcomm、Broadcom、AMDが大きく躍進
【笠原一輝のユビキタス情報局】 ゴードン・ムーア氏逝去の報に考える、ムーアの法則は死んだか、今でも生きているのか？
【笠原一輝のユビキタス情報局】メモリ階層に大変革をもたらすOptane Persistent Memory - PC Watch
Microsoft、高性能メモリアロケータ「mimalloc」公開
【福田昭のセミコン業界最前線】 世界最小のメモリセルで最先端マイコンの低価格化を牽引する相変化メモリ
Manual Memory Management in Go using jemalloc - Dgraph Blog
「Rust」はなぜ人気があるのか、Stack Overflowがユーザーのコメントを紹介
【福田昭のセミコン業界最前線】 Samsung/IBM/TSMC/GFがMRAM開発の最新成果を披露
Upgradable Read Write Lock for Go
メモリのデフラグはどうやって動いてる？ Linux Kernelの「Compaction」にみる断片化解消の仕組み
アップルの｢次世代の半導体戦略｣が見える｢M3チップ｣独特の設計とは
オーバークロックメモリの基本と実際の性能、見れば全部わかるDDR4メモリ完全ガイド OCメモリの仕様や設定法を確認、高性能メモリの使いこなし方編 text by 坂本はじめ
メモリの脆弱性を利用してデータを盗み読む「RAMBleed攻撃」が発見される
いいことづくめのメモリモジュール「LPCAMM2」、Micronが投入へ
【福田昭のセミコン業界最前線】 DRAMの進化は容量か、それとも速度か。基本から振り返る
Reducing Memory Allocations in Golang
Kubernetes OOM and CPU Throttling
【笠原一輝のユビキタス情報局】 メモリも入ったASUS特別パッケージのIntel CPUは、Lunar Lakeへの道
【福田昭のセミコン業界最前線】 半導体メモリ大手の先行指標、Micronの営業損益が赤字に転落
【福田昭のセミコン業界最前線】 急速に不透明感を増す2022年の半導体市場、2桁成長が微妙に
ついに登場した不揮発性メインメモリ。対応アプリ開発に欠かせない性能チューニングツールがインテルから［PR］
Memory management in Python | Artem Golubin
Samsung、SO-DIMMの半分以下の大きさのメモリ「LPCAMM」を製品化
Mediatek、TSMCの4nmプロセス世界初採用、Armv9アーキテクチャ搭載の「Dimensity 9000」
CからZigに書き直して激遅になったと思ったら最適化オプションの変更で改善した話