Lightning Memory-Mapped Database（LMDB）について調べてみた - Qiita
はじめに これは データベース・システム系 Advent Calendar 2023 の12/23の記事である そして Nostr (2) Advent Calendar 2023 の12/2の記事である LMDBというDBMSについて調べてみた内容をつらつらと書く Discraimer 筆者はデータベースシステムの専門家ではないため、頓珍漢な記述をしている可能性あり。その点ご留意頂きたく。誤っている点があれば指摘頂ければ幸甚 一部、推測に基づいた内容あり。それらの箇所は推測に基づいている旨分かるように記述する （実装を確認するといったところまでは行えなかったため） LMDBについて調べようと思ったきっかけ nostrなる分散アプリケーションのための通信プロトコル・アーキテクチャがある 比較的自由度の高いものであるが、現状の主なアプリケーションが分散SNS（マイクロブログ）であるため、その
12年働いた中堅システムインテグレーターをやめようと決心していたSEの後藤智彦。緊急トラブルの対応現場で出会ったすご腕の先輩SEの五十嵐優一と共に徹夜でトラブル対応にあたる過程で、後藤はSEの仕事への前向きな気持ちを取り戻していく。五十嵐はそんな後藤にあるアドバイスをする……。（この物語はフィクションです） 「ぼくの場合、もっともっと勉強が必要ですね」 どの分野でナンバーワンを目指すにしろ、今のぼくの知識や技術はまだまだ不十分だ。 「IT業界は成長スピードが速い。常に勉強していないとエンジニアとしての価値がなくなる。ドッグイヤーとかマウスイヤーなんて言葉くらいは聞いたことがあるだろ」 ドッグイヤーとは、犬の1年は人間の7年分で、それくらい速いという意味だ。マウスはおそらくもっと速いのだろう……。 「IT業界の進化は本当に速いと思います。特にAIの進化には驚きました」 「そう。だから勉強して
サービスを運用している中で緩やかにメモリ使用率が上がっていく問題があり、それが解決されるまで一時的になんとかするために掲題のを作りました。 github.com 中身自体はZapierが作っていたpreoomkiller-controllerが元になっております。 github.com このコントローラーを導入すれば済む話じゃない？ってなりそうですが、こちらは「メモリ使用量」を閾値としており、更に更新も止まっていたのでせっかくなら勉強がてら作り直すかーとなった結果こうなりました。 この手のk8sに関するツールを今まで全く作ったことがなかったので、勉強に以下の本を読ませていただきました。 実践入門 Kubernetesカスタムコントローラーへの道 技術の泉シリーズ (技術の泉シリーズ（NextPublishing）) 作者:磯 賢大インプレス NextPublishingAmazon pre
フラッシュメモリーをベースにしたソリッド・ステート・ドライブ（SSD）とハードディスクドライブ（HDD）というストレージデバイスの新旧対決は、SSDがHDDを「土俵際」まで追い詰めている状況にある。SSDはここ5年でドライブ1台当たりの平均容量を約1.6倍高め、1ギガバイト（GB）当たりのコストを約46%下げて競争力を増している。パソコン（PC）、サーバー（エンタープライズ）向けストレージ市場
廃棄された中古メモリを分解して新品として販売か。かなりの量の再利用DDR4が出回っていると報じられる | ニッチなPCゲーマーの環境構築Z
廃棄された中古メモリからメモリチップを外して新品として再利用されている模様です。海外メディアのTom’s Hardwareが報じました。 廃棄されたサーバー用メモリモジュールからメモリチップを取りはずし、PC用メモリやコンシューマー向けメモリ製品に再利用されている。これらのチップは主に韓国の大手サプライヤー2社のレガシープロセスで生産されたものだ。 再利用されたチップの性能は3200MT/sに達する。こういった再利用チップの存在により、特にDDR4製品が下落傾向にある。
Rust.Tokyo 2023参加記
こんにちは。Zennでは初めまして。cordx56です。 今回は、先日開催されたRust.Tokyo 2023の参加記を書きたいと思います。よろしくお願いします。 Rust.Tokyoとは？ Rust.Tokyoとは、プログラミング言語であるRustのカンファレンスです（念の為）。そこまで多くの情報は載っていませんが、公式サイトもあります。 なぜ参加したの？ 私は今回のRust.Tokyo 2023がRust.Tokyoの初参加でした。今回はRust.Tokyoのしばらくぶりのオフライン開催だったようです。 私自身、最近何かを作る際にはRustを用いることが多くなったこと、そして今のインターン先がRust.Tokyo 2023のスポンサー企業であったこともあり、現地で参加してきました。 オフライン会場は六本木のメルカリさんのところで、とてもいい会場でした。また現地では知り合いに会うこともで
InferでLinuxカーネルのメモリ関連エラーを検出してみる - VA Linux エンジニアブログ
1. 静的コード解析 2. Infer 3. 調査環境 4. Inferのビルド 5. Inferで解析できるようにLinuxカーネルソースコードに少し修正を加える 6. LinuxカーネルソースコードをInferで検証 7. 解析結果に対する精査の一例 7.1. 真のバグの例 7.2. フォールスポジティブの例 7.3. 真のバグか判断に困るものの例 8. 結論とこれから 執筆者 : 岡部 究 1. 静的コード解析 普段の開発で品質向上させるためにどのような手法を採用されているでしょうか。おそらくユニットテストや結合テストを代表するテストを使っているのではないでしょうか。 このテスト手法は現実的ですがざっと挙げるだけでも以下の課題があります: 入力と出力をテストケースと呼ばれる例として与えるので全ての場合を網羅することは不可能 テストの網羅率を上げるにはユニットテストのような小さい単位で
この記事は中国のNLP研究者Jianlin Su氏が運営するブログ「科学空間」で掲載された解説記事の日本語訳です。 原文の掲載日は2024/3/18です。 苏剑林. (Mar. 18, 2024). 《时空之章：将Attention视为平方复杂度的RNN 》[Blog post]. Retrieved from https://kexue.fm/archives/10017 近年、線形時間の学習・推論計算量を持つRNNが、少なからずの研究者やユーザーから改めて注目され始めており、どこか「文芸復興」の様相を呈している。その代表作にRWKV、RetNet、Mambaなどが挙げられる。RNNを言語モデルとして使う際の最大の特徴は一回の生成が費やす空間・時間計算量が定数であることだ。系列全体でみると、定数の空間計算量と線形な時間計算量を持つことになる。もちろん、どんな物事にも両面性がある。Atte
以下の記事が面白かったので、簡単にまとめました。 ・GaLore: Advancing Large Model Training on Consumer-grade Hardware 1. GaLore「GaLore」は、「NVIDIA RTX 4090」などの家庭用GPU上で、Llamaなどの最大7Bパラメータを持つモデルの学習を容易にします。これは、学習プロセス中のオプティマイザの状態と勾配に従来関連付けられていたメモリ要件を大幅に削減することによって実現されます。 2. オプティマイザ状態でのメモリ効率オプティマイザ状態は、特にAdamのような適応最適化アルゴリズムでは、モデルの学習中のメモリフットプリントの重要な部分を占めます。「GaLore」は、オプティマイザによって処理される前に、勾配を低次元の部分空間に投影することでこの問題に対処します。これにより、これらの状態を保存するため
論文要約：The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits - やまもとの論文まとめサイト
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits Shuming Ma∗ Hongyu Wang∗ Lingxiao Ma Lei Wang Wenhui Wang Shaohan Huang Li Dong Ruiping Wang Jilong Xue Furu Wei⋄ arxiv.org このページの図面・表の権利は全て論文の著者らに帰属があります。 The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits この論文を一行でいうと Abstract The Era of 1-bit LLMs BitNet b1.58 LLaMA-alike Components. Result Memory and Latency Energy
容量2TBのはずが実際はたった30GB？ 詳しい人でもひっかかる、巧妙すぎる中国製“容量詐欺”USBメモリを購入＆検証した | 文春オンライン
USBメモリの大容量化に伴って、耳にするようになってきたのが、パッケージに書かれた容量と実際の容量が異なる、いわゆる「容量詐欺」です。特にAmazonなどで格安のノーブランド製品を買うと、こうした製品を引き当ててしまうケースがあるようです。 これが厄介な理由は、エクスプローラ上でも偽りの容量が表示されるため、見た目の判別が極めて困難なことです。この、PCが詳しい人でもひっかかりがちな「容量詐欺」のUSBメモリについて、今回実際に該当の製品を入手しましたので、その具体的な挙動を検証していきます。
この記事の概要 こんにちは。PharmaX でエンジニアをしている諸岡（@hakoten）です。 この記事では、薬局DX事業部のバックエンドで採用しているRuby on Railsのアプリケーションについて、Rubyバージョンを3.3にアップグレードし、YJITを有効化した結果、どのようにパフォーマンスが向上したかをご紹介します。 現在のRuby on Railsのバージョンは、「7.1.3」になります。 YJITについての簡単な説明 YJITとは、CRuby内部に組み込まれた軽量のJIT機能で、遅延コード生成を行い、必要なメソッドを部分的にコンパイルすることで高速化を図る仕組みです。 (処理系は詳しくないため、ざっくりになってしまいすみません。。) Ruby 3系列の主要な機能の一つであり、3.1で導入され、3.2で正式にサポートされ、3.3においてさらに安定化が行われています。 詳しい
Androidスマホでアプリを切り替えるとき、古いアプリを閉じたほうがいいかというと、実はパソコンとは事情が異なる。そもそもほとんどのスマホのストレージには仮想メモリーが存在しない。その代わりにAndoroidでは２つのやり方で、きめ細かくメモリーを管理している。「zRAM」とアプリの自動終了だ。 スマホのメモリーにはzRAMと呼ばれる特殊な領域がある。これはメモリー内に用意した圧縮フォルダーのようなものだ（図1）。当面必要としないデータはここに入れて圧縮し、必要なときに取り出す。 図1 Androidのスマホには「zRAM」という領域があり、必要に応じてデータを移動して圧縮する。しかし、パソコンのような仮想メモリーはない（一部の機種を除く）
ブルーアーカイブのサポート終了端末の要件「メモリ3GB」はAndroid端末のみか？理由を推察する - はやぽんログ！
人気ゲームタイトル「ブルーアーカイブ」が12月のアップデートにて特定端末のサポートを終了。いわゆる足切りを行うといったことで話題となっている。 具体的には、メモリ3GB以下の端末をのサポートを終了させるというものだ。以下、公式サイトの引用となる。 「ブルーアーカイブ」では、常に安定したサービスを継続して提供するにあたり、2023年12月下旬をもちまして、一部端末のサポートを終了させていただく予定です。 詳細については、下記にてご確認ください。 ■詳細情報 ▼サポート終了予定 2023年12月下旬 ▼対象端末 ・メモリ容量が3GB以下の端末 ・一部CPU、またはGPUの仕様が満たされていない端末 ※サポート停止後、サポート対象外の端末では、アプリストアでのインストールや更新が出来なくなります ※サポート終了時期および対象機種については、後日改めてお知らせいたします ブルーアーカイブは学園×青
はじめに Kubernetes は v1.25 で cgroup v2 サポートを GA しており、その後に cgroup v2 に関連する機能が追加されています。しかしまだ多くのディストリビューションで Kubernetes がデフォルトで cgroup v2 を使用しない設定のため、実際に利用している方は多くないと思います。PFN では2022年12月に Kubernetes バージョンを v1.25 にアップグレードするのと同じタイミングで cgroup v2 に切り替えています。 このエントリでは Kubernetes の cgroup v2 に関する機能である MemoryQoS フィーチャゲートと memory.oom.group の2つについて、機能概要と課題を共有します。なお、Kubernetes v1.28 時点での情報です。 そもそもの cgroup v2 について そ
「LPCAMM2」でオンボードメモリがなくなるかも？ Micronがプッシュする新型メモリモジュールのメリット（1/2 ページ） Micron Technologyは1月18日、新しいメモリモジュール規格「LPCAMM2」に関する記者説明会を開催した。本規格は主にノートPCで使われてきた「SO-DIMM（Small Outline DIMM）」規格を代替するべく開発されたもので、1月9日付（米国太平洋時間）で発表に正式に発表されている。 →LPCAMM2: No compromise for next-gen laptops（英語） この記事では、説明会で得られた情報をもとに、LPCAMM2がどのようなものか解説する。
実践 メモリフォレンジック
メモリフォレンジックは、揮発性情報であるメモリ上のデータを解析し、コンピュータ上でどのようなプログラムが動作し、どのような相手と通信していたかなどの情報を得ることで、不正行為やセキュリティインシデントの証拠を収集するための技術です。本書ではメモリフォレンジックの概念から始まり、オープンソースのツールVolatilityを使った高度なマルウェア解析の手法といった実践的なテクニックを学びます。マルウェアによる事故や複雑な標的型攻撃を調査し対応する技術が身に付くよう、実際の事故から得られたメモリイメージを用いています。本書を通して独自にメモリダンプを作成し、ユーザのアクティビティを調べ、ファイルレスおよびメモリベースのマルウェアの痕跡を検出するスキルを習得することができます。 訳者まえがき まえがき 第Ⅰ部 メモリフォレンジックの基礎 1章 メモリフォレンジックの意義 1.1 メモリフォレンジッ
How Photoshop solved working with files larger than can fit into memory | Blog | Chrome for Developers
Introduction (This article is also available in form of a video.) In 2021, Adobe, together with Chrome engineering, brought a version of Photoshop to the web. The software makes innovative use of WebAssembly with features like SIMD, high performance storage in the origin private file system, the P3 color space for canvas, and Web Components with Lit. In this article, we want to focus on how Adobe
現在主流のメモリの規格には「DDR5」と「DDR4」の2つがあります。 どっちを選んだら良いか迷ってませんか？ 最初に大事な事を言っておきます。 DDR5メモリを選んでも 体感できるほどの速度差はありません 現状ではDDR5とDDR4のどちらを選んでもOK。 では、具体的にDDR5とDDR4は何が違うのか、詳しく解説します。 ※本記事の内容は2023年8月時点のものです。状況が変わり次第、追記・修正を行います。 DDR5とDDR4の違い まずは基本的な事をサクッとまとめます。 互換性と物理的な違い 価格の違い 電圧の違い メモリクロックと帯域幅の違い 互換性と物理的な違い DDR4とDDR5は同じ288pinですが、内部仕様が違うため互換性はありません。 物理的にもメモリの切り欠き位置が違っているので、DDR4のマザーボードにDDR5メモリは差せないようになっています。 メモリを取り付ける
はじめに この記事はコネヒトAdvent Calendar2023の5日目の記事です。 世界中で広く使われているLinuxがどのようなメモリ割り当てアルゴリズムを使って物理メモリを管理しているのか、その仕組みには以前から興味がありました。 そこで、Linuxでメモリ割り当てアルゴリズムとして使用されている、Buddy Memory AllocationとSlab Allocationを自作しているOSに実装したのですが、日本語の記事や情報があまりなく実装するのに結構時間がかかってしまいました。（両者とも日本語版Wikipediaにすら載っていませんでした）なので、日本語の情報が少ないのならばこの機会に残しておこうと思い、この記事を書くことにしました。 本記事では、Buddy Memory Allocationに焦点を当て、その仕組みを紹介していきたいと思います。 ↓ 後編の記事です 前提
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
センチュリー、パスワードボタン付きUSBメモリ。入力ミスでデータ自動消去
「キャッシュメモリーを作れって、アメリカの大学ではそんなことを言うんですか？」
メモリ使用率によってk8sのPodをevictさせる君を作った - 生涯未熟
SSD対HDD PC制覇のSSDはデータセンターでは門前払い - 日本経済新聞
【翻訳転載】時空の旅：Attentionは二乗時間RNN - Qiita
GaLore - 家庭用ハードウェアでの大規模モデルの学習｜npaka
Samsung、SO-DIMMの半分以下の大きさのメモリ「LPCAMM」を製品化
Rails 7.1 + Ruby 3.3 で YJIT を有効化してパフォーマンス改善を行った結果
スマホアプリは開きっぱなしでもなぜ大丈夫か、Androidのメモリー管理
【福田昭のセミコン業界最前線】 NANDフラッシュメモリに続いて大容量DRAMも将来は3次元積層へ
【情シス意識調査】「会社のPC、スペックが低いと思う」が7割、「メモリ不足」「いまだにHDD」「壊れるまで使う」……【情シス意識調査】
Kubernetes と cgroup v2 - Qiita
「LPCAMM2」でオンボードメモリがなくなるかも？ Micronがプッシュする新型メモリモジュールのメリット
メモリのDDR5とDDR4の違いとは？｜DDR5がそれほど速くない理由 - ゲームPCの秘密基地
Linuxのメモリ割り当てアルゴリズムを追う Buddy Memory Allocation編