Node.js でメモリ肥大化の原因を特定してみた
はじめに ユビーでエンジニアをしているおおいしつかさです。 これは、Ubie Engineering Advent Calendar 2023の12月7日の記事になります。 何を書こうかなー、最近はユビーの根幹システムのリアーキテクチャをやっているのでその辺かなーと思ったのですが、まだ仕掛かり中だということと具体な業務に直結しそうな内容なので抽象化して書くのが面倒そうだなーと思ってたところに軽いトピックが飛び込んできたので、そのことを書くことにしました。 ChatGPTはみなさん使われていると思いますが、ぼくも別の業務でOpenAI関連の機能開発に携わっています(ユビーで働くといろんな業務に携われるのがいいところです) 。 その仕事の中で、Node.js環境でメモリ肥大化の事象に遭遇したので、それをどのように発見して改善したかについてお話します。 ぼくは今も昔もRubyが大好きですが、ふだ
DroidKaigi_2022_LINEマンガAndroid メモリ改善
1. LINEマンガで9年運用したAndroidアプリのレガシーの問題としてOOMのメモリクラッシュ問題を真剣に向き合って解決した事例を紹介します。 2. AndroidのVMの発展過程の紹介とそのメモリ管理方法とGCの管理方法の変化を辿る。 3. 基本的なGC(Garbage collection)の考え方からAndroidのメモリ解析のための基礎知識を伝える。 4. 具体的なメモリ解析の方法を事例で紹介する。 5. メモリリークを防ぐため、メモリを改善するための注意点と実際の例を紹介する。 6. Google I/O 2022のLarge Screen重視でさらに重要になったConfiguration changeのメモリ対策 エンジニアを募集しています。 LINE Digital Frontier株式会社の採用サイトはこちら: https://ldfcorp.com/ja/caree
Go製ミドルウェアのメモリリークを解決した話 - Mirrativ Tech Blog
インフラ・ストリーミングチームの id:udzura （@udzura）です。今回は、Goミドルウェアのメモリリークを見つけて解決する際に、どのようなプロセスを踏んでいったかを解説します。 Go製のミドルウェアの概要 ミラティブでは、Webアプリケーションのみならず、ミドルウェアに相当する部分についても必要なものは内製しています。その中の一つに、社内で「Radisha」と呼んでいる各種集計とキャッシュなどを行うためのミドルウェアがあります。Radishaは以下のような特徴を備えています。 GET、SET、SETEXなど基本的なRedis互換のコマンドを実装している。そのため、既存のRedisクライアントライブラリから操作が可能である。 ランキング集計、一定時間内のアクセス集計などが行えるよう、Redis にない独自のコマンドを実装している。 高い可用性を志向しており、オンメモリのデータは
プログラムがメモリをどう使うかを理解する(2)
この記事は このシリーズの2本目です。 値の表現 前回は 0xDEADBEEF という16進数を直接代入する瞬間を観察しましたが、それができたところであまり嬉しくはありません。なので、もう少し実用的な値がどのように表現され、メモリ上に配置されるのかを見ていこうと思います。 では、main関数の中に変数を色々追加してみましょう。 int main() { bool b0 = true; bool b1 = false; int hp = 9999; int mp = 255; float rate = 0.5f; double pi = 3.14159265358979323846; int intArray[10]; for (int i = 0; i < 10; ++i) { intArray[i] = i; } std::cout << "Hello World!\n"; // ここで
プログラムがメモリをどう使うかを理解する(1)
この記事の狙い この記事は、端的に言えば この図が言わんとしていることを理解できるようになるための解説を目指しています。 昨今のプログラミング環境において、メモリの管理方法やその実態は、詳細を知らずとも目的を達成できるようになっています。といっても、実際にはメモリは無尽蔵に使えません。制約が厳しい環境下で動かさねばならないプログラムもありますし、多少潤沢に使える環境であっても、無駄に浪費するよりは、必要最低限のメモリで効率よく動作するプログラムの方が、多くの場面においては良いプログラムと言えるでしょう。 メモリのことなど知らなくてもプログラムを書けるのは一つの理想ではありますが、現実的にはその裏に隠されている（抽象化されている）仕組みを知っておいたほうが有利です。また、昨今のレトロゲームにおけるタイムアタックで駆使されるメモリ書き換えのテクニックなども、何故そういったことが可能なのかを知る
モバイルゲームのパフォーマンスを最適化しよう：Unity のトップエンジニアが語るプロファイリング、メモリ、コードアーキテクチャのヒント | Unity Blog
Unity のエンジニアたちがモバイルゲームの最適化に関する知見のシェアを始めるとすぐに、元々予定していた 1 本のブログ記事に収まりきらないほどの素晴らしい情報があることに気づきました。そこで私たちは、彼らの膨大な知識を e ブックとしてまとめ（ダウンロードはこちら）、そこに収録されている 75 以上の実用的なヒントの一部を紹介する一連のブログ記事を作成することにしました。 このシリーズの最初の記事では、プロファイリング、メモリ、コードアーキテクチャの観点から、ゲームのパフォーマンスを向上させる方法をご紹介します。今後 2、3 週間の間に、さらに 2 本の記事を公開します。1 本目の記事では UI の物理を、2 本目ではオーディオとアセット、プロジェクトの構成、グラフィックスについて説明します。 今すぐすべての内容に目を通したいという方は、e ブックを無料でダウンロードして内容をご覧くだ
EC2のメモリ監視をCloudWatch Agentで実施してみた | DevelopersIO
AWSチームのすずきです。 EC2インスタンス(Amazon Linux 2) のメモリ使用率の監視を行うため、 CloudWatch Agent を設定する機会がありましたので、紹介させていただきます。 環境 以下のEC2インスタンスを対象としました。 インスタンスタイプ : m5.large OS: Amazon Linux 2 AMI : amzn2-ami-hvm-2.0.20191217.0-x86_64-gp2 (ami-011facbea5ec0363b) UserData CloudWatch Agent は、UserDataを利用し、EC2インスタンスの起動時に設定しました。 #cloud-config runcmd: - [ sh, -c, "dd if=/dev/zero of=/swapfile bs=1M count=512" ] - [ sh, -c, "chm
はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
PostgreSQL ソースコードリーディング | Youki Shiraishi
PostgreSQL Server PostgreSQL のアーキテクチャを頭に叩き込んでおこう． 上の図は PostgreSQL サーバーの主要なコンポーネントとそれらの関係を表している． PostgreSQL は，クライアントサーバーモデルに基づく共有メモリ型のアーキテクチャを採用している． サーバープロセス postgres は，クライアントからコネクション要求を受け取るとフォークしてバックエンドプロセス postgres を生成する． 生成されたバックエンドプロセスは，以降，そのクライアントとのやりとりを担う． クライアントは，バックエンドプロセスと通信してクエリを送信したり，結果を受け取ったりする． PostgreSQL のすべてのプロセス間で共有されるメモリ領域は，共有メモリと呼ばれる． 共有メモリは，主に低速なストレージへのアクセスを減らすバッファとして機能する． ストレージ
JVNVU#95417700: 複数の Apple 製品に解放済みメモリ使用 (use-after-free) の脆弱性
複数の Apple 製品で使用している SecureROM には解放済みメモリ使用 (use-after-free) の脆弱性が存在します。 プロセッサチップ A5 から A11 を搭載する次の製品 iPhones 4s から iPhone X まで iPad 第 2 世代から 第 7 世代まで iPad Mini 第 2 世代および 第 3 世代 iPad Air および iPad Air 2 iPad Pro 10.5 インチ および 12.9 インチ 第 2 世代 Apple Watch Series 1 から Series 3 まで Apple TV 第 3 世代 および 4k iPod Touch 第 5 世代 から 第 7 世代 脆弱性に該当するプロセッサチップを利用している製品であれば、上記以外の製品も影響を受けます。 なお、 A12 以降のプロセッサチップを使用している i
プログラマーが知っておくべき「PC内部の通信速度」
PCは計算を担当するCPUや一時的なデータ保存のためのメモリ、HDDやSSDなどの長期保存のためのストレージなどが相互にデータをやり取りしながら動作しています。「Latency Numbers Every Programmer Should Know」というサイトにPC内部のそれぞれの通信速度がまとまっています。 Numbers Every Programmer Should Know By Year https://people.eecs.berkeley.edu/~rcs/research/interactive_latency.html 以下のように色分けされたブロック(■)の数でそれぞれの速度が表されています。 PC内部で超高速な通信を行っているのがCPUとL1・L2などのキャッシュです。これらのキャッシュはCPUとメモリの速度差を埋めるためにCPUに搭載されています。詳細な役割は
これまでの常識は間違っていた？！Lambdaのコールドスタート対策にはメモリ割り当てを減らすという選択肢が有効に働く場面も | DevelopersIO
2019/5/31追記 先日のBlack BeltでLambdaの内部構造について一部解説がありました。※スライド公開され次第更新します これまでWorkerというコンポーネントはMicroVMを指しているという理解だったのですが、実際にはMicroVMをホストするEC2インスタンスのレイヤーがWorkerに相当するようです。以後の「Worker」という表記は基本的に「MicroVM」に置き換えて読んで頂くようお願いします。 はじめに サーバーレス開発部＠大阪の岩田です。 既に多くの方がご存知だと思いますが、Lambdaにはコールドスタートという概念が存在します。一般的にはLambda関数実行時にLambda実行環境の初期化処理が伴う場合を「コールドスタート」と呼ぶことが多いですが、このLambda実行環境の初期化処理には大きく2つのパターンが存在するようです。※厳密に区別すればもっと多く
低レイヤを知りたい人のための Cコンパイラ作成入門
はじめに このオンラインブックは執筆中です。完成版ではありません。フィードバックフォーム この本には一冊の本に盛り込むにはやや欲張りな内容を詰め込みました。本書では、C言語で書かれたソースコードをアセンブリ言語に変換するプログラム、つまりCコンパイラを作成します。コンパイラそのものもCを使って開発します。当面の目標はセルフホスト、すなわち自作コンパイラでそれ自身のソースコードをコンパイルできるようにすることです。 この本では、コンパイラの説明の難易度が急に上がりすぎないように、様々なトピックを本書全体を通じて次第に掘り下げていくという形で説明することにしました。その理由は次のとおりです。 コンパイラは、構文解析、中間パス、コード生成といった複数のステージに概念的に分割することができます。よくある教科書的アプローチでは、それぞれのトピックについて章を立てて解説を行うことになりますが、そのよう
NSURLSessionがメモリリークしてしまうのをなんとかした - Qiita
自社のWebAPIの通信にNSURLSessionを使って通信をしていました。 Debug memory graghをみるとNSURLSessionのインスタンスでメモリリークが起こっていました。 それを直した記事です 環境 Xcode8.3.3 Swift3.1 iOS10.3.2 問題点 NSURLSessionを使って通信処理をする実装をしていました。 let mySession = URLSession.init(configuration: URLSessionConfiguration.default) //urlインスタンスはURL型 let task = session.dataTask(with: url, completionHandler: { data, response, error in // do something. }) task.resume() Deb
PHP + PostgreSQL カーソルを使ったデータ取得の計測 - Shin x Blog
PHP（pdo_pgsql）から PostgreSQL に SELECT 文でデータを取得する際に、カーソルを使った場合と使わなかった場合で、どのようにリソース消費（主にメモリと実行時間）の違いがあるのかを計測してみました。 検証内容 PostgreSQL テーブルに、1,000,000 件のレコードを持つテーブルを用意し、下記のようなパターンにて、PHP から全レコードを取得して、実行時間と消費メモリを計測します。カーソル利用時は、1度のフェッチで取得する件数によって計測しています。ここでは、前方向のカーソルのみ扱っています。 1) カーソル未使用 + 1 件づつフェッチ 2) カーソル利用 + 1 件づつフェッチ 3) カーソル利用 + 100 件づつフェッチ 4) カーソル利用 + 10,000 件づつフェッチ 5) カーソル利用 + 100,000 件づつフェッチ 6) カーソル利
Androidのライフサイクルからアプリ設計を見直してみる - Qiita
はじめに Androidでクラッシュしにくいアプリを作るにはどうしたらよいか？ ということを考察したいと思います。 というのはこの辺の設計ノウハウに関しては 基本なはずで大事なのに残念なことにまとまっている書籍とかあまり見かけないため 先人達の知恵をお借りしつつ、私のAndroid開発経験上に基づいて備忘録として残しておきます。 ほんとは初級者向けに書きたかったのですが、実装経験やAndroid内部がある程度よくわかってないとわからないと思うので難易度高めになってしまいました。 間違ってるとか改善点があればコメント頂ければ幸いです。 この記事で紹介してるライブラリとかの導入方法はこちらも参考に 最近のAndroidネイティブ開発まとめ（2017年始版） よくあるクラッシュ（アプリが落ちる） 実運用ではCrashlyticsでクラッシュログを取ることが多いと思います。 クラッシュログを取ると
いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方 - Qiita
さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hatebu.me
[Objective-C] retain と release の関係について - それはBooks
Blogger