格安USBホストマイコン CH559をいじってみた（大盛） - q61.org blog
最近秋月電子で取り扱いが開始されたマイコン CH559L、安い 8 ビットマイコンですが、USB ホストになれるという特徴があります。 このマイコンを使って、USB キーボードの入力を ASCII テキストに変換してくれる便利モジュール「かんたん USB ホスト」を開発したので、その過程と、その過程でわかったことをまとめてみます。 最初に評価ボードを手に入れたのが 2020年5月で、それから 1 年以上いろいろいじったのでそれなりに知見がたまりました。それらを一通りまとめてみたので、なかなか大盛な記事になってしまいましたが、これから CH559 をいじってみたい、という方にも参考になれれば幸いです。 CH559って？ 南京沁恒微电子（Nanjing Qinheng Microelectronics、以下 WCH）から出ているマイコンチップです。WCH は USB トランシーバー入りの 8
M1チップを搭載したMacでメモリの大量消費によるフリーズの頻発が報告される
「M1」「M1 Pro」「M1 Max」といったApple製SoCを搭載したMacシリーズは、計算能力や電力効率の高さから多くの人々から好評価を得ています。しかし、そんなM1チップを搭載したMacで「メモリ不足によるフリーズが頻繁に発生する」という問題が報じられています。 Memory leaks are crippling my M1 MacBook Pro–and I'm not alone | Macworld https://www.macworld.com/article/549755/m1-macbook-app-memory-leaks-macos.html Apple関連情報専門ニュースサイト・Macworldの編集長を務めるマイケル・サイモン氏は、2020年11月に発表されたM1チップ搭載13インチMacBook Proを10カ月使ってきたとのこと。サイモン氏はM1チップ
【続】フリーズの原因は"kswapd0"と共有メモリだった話
１． 概要 フリーズの原因を探ると"kswapd0"というカーネルスレッドと、共有メモリのリソース大食いだったことがわかった。 前回の記事を書いてからも３週間あまり調査を続けてきたが、32bit版のサポート終了に伴い、調査を終了する。 よって、この２つの原因について、わかったことをまとめる。 2. 前回までのおさらい Google ChromeおよびFirefoxで動画視聴中に画面がフリーズする カーソルは動くが、ブラウザを閉じるなどの操作を受け付けない リソースモニターを表示していても、CPU使用率が上昇が確認されない 再起動すれば回復する 同じ症状の報告がなく、ブラウザのアップデートでも解決しなかった、 このことから、原因は不明のまま、特定の環境で発生すると結論づけた。 3.環境 LinuxMint17.2 Cinnamon
UbuntuでkswapdがCPU使用率100％になる
OS：Ubuntu 18.04 Tensorflowでディープラーニングを行っていた所、学習が始まって数時間放置した頃にモニターを確認してみるとCPU使用率が100%になり、コマンド入力を受け付けない状態になっていた。 nmonではCPU使用率が天井に張り付いており、topではkswapdが異常に高い負荷をかけていることを示していた。 コマンド入力を受け付けていなかったので強制的に再起動。 kswapdは仮想メモリ周りを調整するシステムプロセスらしく、頻繁にスワップが起きるとCPUを独占してしまうよう。 The process you referred to, kswapd0, manages virtual memory and may be having issues due to moving processes to SWAP too frequently, causing cpu
Google、訂正不可能なメモリエラーによるクラッシュを回避する「Memory Poisoning Recovery」をGoogle Cloudで提供へ
Google、訂正不可能なメモリエラーによるクラッシュを回避する「Memory Poisoning Recovery」をGoogle Cloudで提供へ ずっと安定して稼働していたシステムが、ある日突然エラーでクラッシュ。調べても原因が分からないので、「何らかのノイズや放射線などの影響でメモリエラーが起きたのでは？」という推測を顧客に報告した、なんて経験を持つベテランのITエンジニアは少なくないのではないでしょうか。 実際のところ、2009年のGoogleの調査では同社の本番システムにおいて、1年間で8％以上のDIMMモジュールにメモリエラーが発生していたと報告されています。想像以上にメモリエラーというのは起きているのですね。 ただし、現代のメモリとCPUなどではエラー訂正機能を備えているため、多くのメモリエラーは訂正され、システムの動作に影響を与えないようになっています。 しかし訂正しき
Binary search with modern processors
第16回 StringBeginners での発表資料
論文紹介： Theseus: an Experiment in Operating System Structure and State Management
しかし、10分間のプレゼンで3本の論文を紹介するとかいう、かなり無茶苦茶な発表だったので説明している箇所もかなり限定的で、解説全体として非常に雑なものになってしまいました。 そこでこの記事で、このLTで触れた論文の1つであるTheseusというOSについて説明したものをもう少し詳しくみていきたいと思います。 論文概要 タイトル： Theseus: an Experiment in Operating System Structure and State Management 著者： Kevin Boos, Namitha Liyanage, Ramla Ijaz, Lin Zhong 会議： 14th USENIX Symposium on Operating Systems Design and Implementation (OSDI ‘20) USENIX系会議でOS関連のトップカン
Ubuntu デスクトップ比較: 20.04 も Lubuntu で決まり
Ubuntu 20.04 がリリースされたので、いつも通り Ubuntuデスクトップ比較をしてみました。 前回までのような既存環境を利用した比較ではなく、もう少しきちんとした比較をしました。条件は以下。 VirtualBox でクリーン環境を比較 検証時の最大メモリサイズは 2GB 起動→安定後のメモリ使用量を free --mega で比較 結果はこちら。 Ubuntu: 738MB (最重量) Lubuntu: 316MB (最軽量) Kubuntu: 409MB Xubuntu: 415MB Ubuntu MATE: 523MB Ubuntu Budgie: 632MB 素の Ubuntu が一番重いデスクトップシステムとなりました。 他のデスクトップシステムはメモリを絞るようになって、選びやすくなりました。 素の Ubuntu もチューニングした Windows 10 の 1/2
【PHP】メモリ使用量の確認方法 - ITメモブログ
PHPでのメモリ使用量の確認方法をご紹介 確認方法は2種類 「memory_get_usage」は現在のメモリ使用量を出力 「memory_get_peak_usage」は最大メモリ使用量を出力 メモリの使用量を確認する ポイントは「memory_get_usage」と「memory_get_peak_usage」の２。 「memory_get_usage」は呼び出したタイミングのメモリ使用量を返すのに対し、「memory_get_peak_usage」は一連の処理の中での最大のメモリ使用量を返します。 サンプルソースを見てみましょう。 memory_check.php <?php print "実行開始[メモリ使用量]：". memory_get_usage() / (1024 * 1024) ."MB\n"; print "実行開始[メモリ最大使用量]：". memory_get_pe
スパコンポエムAdC2020 Day4 スパコンの使いやすさとは - Qiita
どうも、ロボ太(kaityo256)です。趣味は他人のAdCを乗っ取ることです(乗っ取るとは言ってない)。これまでもスパコンポエムをいくつか書いてきましたが、せっかくスパコンポエムAdCがあるので一日お邪魔させてもらいます。 スパコンランキング スパコンにはTop500という有名なランキングがあります。HPLという、バカでかい連立一次方程式を解いて、その性能を競うものです。その名の通り、世界で上位500位までがランキングに入ります。6月と11月の年に二回開催され、ISCやSCという会議で発表されます。ずいぶん昔、「二位じゃダメなんでしょうか？」で有名になった事業仕分けにおいて、スパコンにおける一位とか二位というのは、狭義にはこのランキングでの順位を指しています。HPLがスパコンの性能評価として妥当かどうかについて、以前ポエムを書いたのでそっちを参照してください。 さて、このランキングの良い
x86よくできてる点 - w_o’s diary
アーキテクチャと実装混ざってるけど 命令dispが32bit届く immも32bit入ることが多い メモリが順序守る(何回も書くが、メモリ順序が緩いことによって得られたCPU時間より失なった人間時間のほうが絶対多いから) ファームウェアがBIOSとUEFIの二種類しかない (ボードごとにカーネルにディレクトリ作るのやめろARM) 周辺デバイスがPCIに統一されててキャッシュの問題が起こりづらい(もうdma_alloc_coherentの挙動調べるの飽きた) キャッシュがソフト的に見れば一階層 (L2の挙動が定義されてないARMとかいう無名CPU) 除算とFPUが付いてる ABIがWin除けば32bitと64bitとx32の3種類しかない。 PCIe がキャッシュスヌープ付けてフルスピード近く出る lock cmpxchg が遅くない *fence が遅くない こういう問題で別のアーキがx8
「強いメモリモデル」と「弱いメモリモデル」 - yamasaのネタ帳
Apple M1についての面白い記事を見かけて、久しぶりにメモリモデル屋(?)の血が騒いだのでブログを書く。 note.com 強いメモリモデル 現代のCPUアーキテクチャでは、x86(64bit, 32bitどちらも)が「強いメモリモデル」を採用しており、それ以外のメジャーなCPUが「弱いメモリモデル」を採用している。この「強いメモリモデル」「弱いメモリモデル」について、まずおさらいしておこう。 以下のように、2つの変数a, bに対して異なるCPUコアが同時にアクセスしたとする。 int a = 0; int b = 0; CPU1: a = 1; b = 1; CPU2: int r1 = b; int r2 = a; (上記はC言語に似た疑似コードを用いているが、実際は機械語命令になっていると考えてほしい。つまり、CPU1は変数a, bの示すメモリアドレスに対するストア命令を実行して
ValgrindとGDBでプログラムのメモリアクセスをみてみる | わさらぼ
プログラムの動的な振る舞い、特にメモリアクセスの様子をみてみたくなることがあります。 たとえば、2017年のデザインガイアで発表されていたFPGAアクセラレータ開発を支援するためのツール環境では、ValgrindとGDBを使ってメモリアクセスの様子を可視化していて、面白そうだな、やってみたいなと思わされます。 とりあえず Valgrind + GDBでメモリアクセスを確認する方法を、ちょっと試してみました。 Valgrindを使ってみる まずはValgrindを使ってみます。ターゲットはfree忘れの簡単なプログラムです。 #include <stdlib.h> #include <strings.h> #define N (100) #define M (128) void dut() { char *ptr; for(int i = 0; i < N; i++) { ptr = (ch
Linux メモリ断片化 (外部フラグメンテーション) の概要と解消方法 - Qiita
■ 記事概要 Linux OS におけるメモリ断片化 1 ( 以降、断片化 ) について、調査したことのまとめ。 ■ 要約 断片化していると、空きメモリが十分あるにも関わらず、メモリ確保に失敗することがある。 断片化の影響を受けるのは、DMA ( Direct Memory Access ) のように物理メモリ領域を直接参照する必要があるもの ( 仮想メモリを使える場合は、物理メモリ領域が連続している必要がないため影響なし )。 断片化のレベルは /proc/buddyinfo や /sys/kernel/debug/extfrag/unusable_index から確認可能。 明示的に断片化を解消する方法は、OS 再起動と、# echo 1 > /proc/sys/vm/compact_memory がある。 ■ 物理メモリ領域について 断片化の話の前に物理メモリ領域について整理する。
KernelAddressSanitizer (KASan) による Linux のメモリ破壊問題の検出 - Qiita
この記事は Fujitsu extended Advent Calendar 2016 の 25 日目の記事です。 記事は全て個人の見解です。会社・組織を代表するものではありません。 この記事では Linux カーネルの機能の一つである、KernelAddressSanitizer (KASan) の紹介、および、機能を実際に使った結果を紹介します。 はじめに カーネルやモジュールにおいて、厄介なバグの一つにメモリ破壊があります。メモリ破壊が厄介なのは、破壊されたことはログやメモリダンプ等からわかりますが、破壊したことの証拠が残らないケースが殆どなことです。なので、ひたすらソース解析や、printkやトレースを仕込んでバグを探す・・・という苦行を繰り返す必要があります。 KASan は Linux 4.0 から導入されており、厄介なメモリ破壊につながる以下のバグを検出する手助けをしてくれま
2020年1月8日 Fedora 32がEarlyOOMをデフォルト実装へ、メモリ不足によるフリーズを回避 | gihyo.jp
Linux Daily Topics 2020年1月8日Fedora 32がEarlyOOMをデフォルト実装へ、メモリ不足によるフリーズを回避 Fedoraプロジェクトは1月5日（米国時間）、2020年春にリリース予定の「Fedora 32」において「EarlyOOM」パッケージをデフォルトでインストール/有効化することを明らかにした。 Changes/EnableEarlyoom rfjakob /earlyoom -GitHub EarlyOOMは物理メモリおよびスワップ領域が不足した場合、特定のしきい値に応じてもっともメモリを占有するプロセスを終了させる、ユーザスペースで動くデーモン。利用可能なメモリおよびスワップ領域をつねに監視し、それぞれ10％を下回るとSIGTERMを、5％を下回るとSIGKILLを、もっとも占有するプロセスに対して送信し、プロセスを強制終了させる。 Fed
第2章 PostgreSQLの内部構造―プロセスやメモリの流れ、特徴的な機能のしくみ | gihyo.jp
図1 主なプロセスの流れ PostgreSQLは、ライタがデータファイルやインデックスファイルをディスクに更新しています。ただし、その更新は、コミットに合わせてリアルタイムで行われているわけではありません。性能向上のため、チェックポイントと呼ばれる更新タイミングが発生するまでは、更新があっても共有バッファにデータを貯めておきます。この貯められたデータをダーティページと呼びます。そしてチェックポイントのタイミングで、チェックポインタがダーティページをディスクに書き込みます。 そのため、共有バッファに更新情報を貯めている間に障害が起きると、ダーティーページを失う可能性があります。それを防ぐために、共有バッファ中のデータに対してどのような更新を行ったかの情報を保存しているのがWALです。WALはコミットのタイミングでWALライタが記録しています。クラッシュリカバリが必要になったときは、WALの中
Linuxカーネル4.1のSLUBアローケータ（ドラフト） - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
はじめに スラブアローケータ Linuxのスラブアローケータ slabアローケータ slobアローケータ slubアローケータ スラブオブジェクトの管理 使用中リスト スラブのマージ機能 Chache Coloring スラブの不活性化 frozen状態 スラブキャッシュの情報 slubアローケータのデータ構造 データの関連 slubアローケータで使用するデータの関連 スラブのライフサイクル スラブアローケータの機能 スラブキャッシュの作成 スラブキャッシュ生成時に設定するフラグ 空きオブジェクトの管理 空きスラブオブジェクトの設定 スラブオブジェクトの確保 スラブオブジェクトの解放 kmem_cache_cpu構造体のデータクリア スラブの不活性化 スラブの削除 スラブキャッシュの削除 スラブキャッシュのセットアップ slubアローケータで使用するヘルパー関数 __cmpxchg_dou
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Firefoxのメモリ使用量を劇的に改善する「Firemin」の使い方を紹介！ | Aprico
メモリ食いのGoogle Chrome、ついに消費量削減へ
