100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋
要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある
Java11へのマイグレーションガイド ~Apache Hadoopの事例~
BigtopでHadoopをビルドする（Open Source Conference 2021 Online/Spring 発表資料）NTT DATA Technology & Innovation852 views•48 slides Apache Bigtop3.2 (仮)（Open Source Conference 2022 Online/Hiroshima 発表資料）NTT DATA Technology & Innovation465 views•67 slides Apache Bigtopによるオープンなビッグデータ処理基盤の構築（オープンデベロッパーズカンファレンス 2021 Online 発表資料）NTT DATA Technology & Innovation1.2K views•64 slides
MariaDB Connector/J で MySQL に接続する Java プログラム - ablog
MariaDB Connector/J で MySQL に接続する Java プログラム。 ソースコード ほぼ MariaDB Connector/J で MariaDB 10.3 に接続する - Qiita のまま。パッケージ名を削除して、接続情報を変更しただけ。 JdbcTest.java import java.sql.*; public class JdbcTest { public static void main(String[] args) { // TODO Auto-generated method stub Connection conn = null; Statement stmt = null; try { Class.forName("org.mariadb.jdbc.Driver"); System.out.print("Connecting to DB..."
SQLクライアントはこれひとつでOK！ あらゆるDBMSで使える「SQL Workbench/J」をデータ解析で活用しよう
本シリーズではビジネスデータ解析でデータベースから情報を取得して活用する必要がある方を対象に、ビジネスデータ解析でよく使われる実践的なSQL例など、分析向けの活用を解説します。本稿では、さまざまなデータベースに接続する必要があるデータ解析の際に役立つ、フリーのSQLクライアントツール「SQL Workbench/J」の活用方法を解説します。導入・データベース活用手順を解説しデータ解析の際に役立つ機能を紹介します。 対象読者 SQLの基本は理解しているがより実践的な分析に取り組みたい方 サンプルの動作確認環境 MacOS 10.13 PostgreSQL 9.6 SQL Workbench/Jの概要と導入 本稿で取り扱うツール「SQL Workbench/J」とは何かを簡単にご紹介し、本ツールの導入方法についてご紹介します。 SQL Workbench/Jとは SQL Workbench/J
Archive: Java[tm] Technology Products Download
The Oracle Java Archive offers self-service download access to some of our historical Java releases WARNING: These older versions of the JRE and JDK are provided to help developers debug issues in older systems. They are not updated with the latest security patches and are not recommended for use in production. For production use Oracle recommends downloading the latest JDK and JRE versions and al
![Archive: Java[tm] Technology Products Download](https://cdn-ak-scissors.b.st-hatena.com/image/square/3bce2e82ae86d829a9f8754a596310b0cdc57839/height=288;version=1;width=512/https%3A%2F%2Fwww.oracle.com%2Fa%2Focom%2Fimg%2Fsocial-og-java-logo-1200x628.jpg){kind=logo}
『テスト駆動開発』を写経するための環境構築 - ろくにメモ
はじめに このエントリは『テスト駆動開発』を写経しようと思ったものの、環境構築から始めなければならない人向けに書きました。 テスト駆動開発 作者: Kent Beck,和田卓人出版社/メーカー: オーム社発売日: 2017/10/14メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る まず、私の Java に対する習熟度についてですが、Java言語プログラミングレッスン 第3版(上) Java言語を始めようの上下を読破した程度で、Java 周りの開発環境は全く分かっておらず、Eclipse を軽く触ったことがある程度です。 また、テスト駆動開発や自動テストについては、興味はあったものの実際に手を動かして使ったことはないレベルなので、『テスト駆動開発』を写経して実際に体感してみようと思い購入しました。 ですが、いざ読み始めてみると「Eclipse で JUnit の使い
スレッド名にデバッグ情報を埋め込むと激しく捗る件 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。 今回、Java のちょっとしたデバッグテクニックを紹介したいと思います。Java で運用中何かトラブルが発生した場合、スレッドダンプを取得することはしばしばあると思いますが、スレッドダンプだけだとちょっと情報が足りないことがあります。今回はスレッドダンプから得られる情報を増やして、素早く障害対応したりデバッグに役立てる方法を紹介します。 まずはじめに: スレッドダンプの取り方 基本ですが、改めてスレッドダンプの取得の仕方を紹介しておきます。スレッドダンプを取得する対象のプロセス ID を仮に 12345 として、下記のように jstack コマンドを実行すればスレッドダンプが取得できます(※Linux上で操作する想定)。 $ jstack 12345 対象のプロセス ID は ps aux | grep jav
メモリリーク、デッドロック、リダイレクトループ、JVMクラッシュ...バグだらけのWebアプリケーションを使ってバグを理解する - Qiita
メモリリーク、デッドロック、リダイレクトループ、JVMクラッシュ...バグだらけのWebアプリケーションを使ってバグを理解するJavaバグ脆弱性トラブルシューティングjconsole 概要 Webアプリケーションの開発や保守をしていると、いろいろなバグに遭遇します。メモリリーク、デッドロック、リダイレクトループ、JVMクラッシュ等々、バグは様々です。こういったバグは、実際にコードを書いて、実行・再現させてツールで解析してみると理解が深まります。 ということで、いろいろなバグを実装したWebアプリケーションをつくってみました。現時点では、以下を簡単に再現できます。 メモリリーク (Javaヒープ領域) メモリリーク (Permanent領域) メモリリーク (Cヒープ領域) デッドロック (Java) デッドロック (SQL) 完了しないプロセスの待機 無限ループ リダイレクトループ JVM
【java】OutOfMemory発生時の調査方法
ヒープ領域設定などが適切に設定されていることが前提です。 これらを読む前に、まず-Xmsや-Xmxの値を見直してみてください。 メモリリークを理解する 通常、メモリリークはプログラム上のミスであることが大半です。 java7では、AutoCloseableまたはCloseableインターフェースの実装クラスはtry-with-resourcesという構文が利用でき、煩雑なfinally句を書く必要がなくなりました。反面、構文ミスによるリソースの閉じ忘れが発生することもあり・・・。 たとえば、 public class A implements AutoCloseable{ public void close(){ System.out.println("A was closed."); } } public class B implements AutoCloseable{ private
OutOfMemoryError の対応方法/Heap 分析ツール(MAT)の使い方
OutOfMemoryError の対応方法/Heap 分析ツール(MAT)の使い方 1. Copyright (c)2014 ITOCHU Techno-Solutions CorporationCopyright (c)2014 ITOCHU Techno-Solutions Corporation OutOfMemoryError の対応方法 / Heap 解析ツール(MAT)の使い方 ソリューションビジネス部 橋本 和俊 2014/6/24 2. Copyright (c)2014 ITOCHU Techno-Solutions Corporation はじめに • 発表する内容は個人の見解であり、所属する組織の公式 な見解ではありません。 • 資料の内容は正確を期するよう注意しておりますが、妥 当性や正確性について保証するものではありません。 • 資料に関しては以下の環境において
DockerでOracle Javaを実行する | DevelopersIO
ども、大瀧です。 「30億のデバイスで走る」でおなじみのJavaなわけですが、ライセンスの関係でこれまでDockerでの利用がグレーという状況でした。以下の記事が詳しいです。 Dockerコンテナ上でのJavaの実行はライセンス違反なのか？ 一方で、この問題を解決するためにOracle社での取り組みが進み、手元でランタイムをダウンロードしてEULAに同意しつつ、Dockerイメージをビルドする手法がOracleの中の人によって紹介されています。 Oracle公式Java実行環境のDockerイメージを構築 - #chiroito ’s blog 現在開催中のdockercon 17では、Docker社とOracle社の協調によりDocker Hub(Docker Store経由)でのOracleプロダクトの公開がアナウンスされました。今回はこちらの手順に沿って、Oracle Java SE
Javaの難しいところ - きしだのHatena
Javaをプログラム未経験者に教えるときの話。 細かいところまでちゃんと理解するための難しさではなくて、とりあえず頻出コードが読み書きできるまでの難しさの話です。細かいところまでの理解、どの言語も難しいので。 あと、ここではプログラム自体の難しさは別の話、ということで。 で、Javaには難しいところが結構あるんですけど、難しいのをひとことでいうと「昔の事情や歴史的経緯により、が多い」ところです。 プログラムを教えるときに何が難しいか たとえばpublic static void mainを書くとか、おまじないが多いとか記述量が煩雑とかは、ツールで対処可能で、ツールで対処可能というのは機械的に慣れればいい部分なので、そこまで問題にならないと思います。 あと「おまじないを減らしたい」というのは教える側のこだわりであって、理解しやすさとは別で、そのおまじないがどういうときに必要かというところさえ
Java Flight RecorderとMission Controlのまとめ - Flicker's Style++
Java Flight Recorder(以下JFR)はいわゆるJavaプロセスのプロファイラ。 Java Mission Control(以下JMC)はJFRで取得したプロファイリングデータをGUIで見る事ができるビューア。 もともとはJRockitで搭載されていたのが, Java 7 Update 40以降で搭載されるようになった。 詳しくは http://www.infoq.com/jp/news/2013/10/misson-control-flight-recorderHotSpot JVMで動作するMission ControlとFlight Recorder で。 この機能は商用ライセンスのみになっているので、プロダクト用に利用する場合は商用ライセンス契約が必要。 ただし、JVMのオプションを指定することで利用できるようになっているのでお試しで利用することはできるみたい。 使
最強のJVMチューニング・ツール: GCログを可視化するGCViewerとリモート接続でプロファイリング可能なVisualVM
まずは倍率を１０００倍から５０００倍に上げます。 Data Panelも一旦非表示にします。 さて、これを見ると、使用済みヒープと使用済みNew領域は比例しつつ一定の間隔で上下しています。 ここからは特異点は見えないので、一旦非表示にします。 イニシャル・マークレベル（黄色の線）も一定で、分析対象としづらいので非表示にします。 すっきりして少し見やすくなりました。 ここから、 最も時間がかかっているのはイニシャル・マーク イニシャル・マークは1分間に２回程度発生している ということが読み取れます。 イニシャル・マーク では、そもそも、コンカレントGCにおけるイニシャル・マークとは何なのでしょうか。 OracleのドキュメントのReviewing GC with the CMSによると、New領域から参照されているオブジェクトをマークするのだと。 Stop the Worldを伴い、マイナー
Java開発の性能改善！ その３ ヒープダンプを取ろう - Qiita
プロセスIDがわかったらjmapコマンドでダンプを取ります。 サーバのディスク容量に注意してください。 heapサイズを2GBとかに設定した場合は2GB以上のファイルが 生成されることがあります。 これで指定した場所にダンプファイルができます。 -dump:live,format=...というようにliveをつけるとGCが起きて コマンド実行時に活きているオブジェクトのみのダンプになるようです。 とりあえず今回はフルで取ります。 ヒープダンプの中身を解析をする 解析をするにはツールを使います。 java標準のjhatやMemory Analyzer、HeapAnalyzerなど いくつかありますが今回はMemory Analyzerを使います。 Eclipseベースなのでサイズの大きいダンプファイルを開く場合は MemoryAnalyzer.iniの設定でツール自体のヒープサイズを 増やす
Java開発の性能改善！ その２ GCログの解析とHeapの設定 - Qiita
第２回です。 なかなか更新できる時間がないですが マイペースで書いていこうと思います。 ストックやフォローをして頂けると励みになります。 さて前回はGCの仕組みの概要説明とjstatでのモニタリングでした。 今回はCGログの分析をしてみようと思います。 JVMのGCログ設定 まずはGCログが取得できるように設定しないと始まりませんね。 以下のようなオプションをjavaの起動コマンドに付与すると GCの情報を取れるようになります。 -verbose:gc [GC 919089K->41941K(943744K), 0.2300771 secs] こんな感じのGCログが出ます。 -XX:+PrintGCDetails -XX:+PrintGCDateStamps [GC2015-12-10T07:06:41.209+0900: 308.418: [ParNew: 903392K->50610K
Java開発の性能改善！ その１ jstatによるヒープ/GCの確認 - Qiita
JavaのWeb開発の開発後期になると性能試験や負荷試験を実施することになると思いますが、 そのフェーズになると色々な問題が起こることが多い。 今まで起きた問題と調査・解決方法をいくつかの回に分けて紹介しようと思います。 まずはメモリリーク。 長時間サーバを起動して運用していたり、負荷試験を実施するとメモリリークを起こすことがある。 ガベージコレクションのおさらい Javaのヒープは大きくnew領域(young領域)とold領域に分かれます。 new領域には生成されてすぐのオブジェクトが格納されてマイナーGCにて未使用になった際に開放されます。 マイナーGCを何度も繰り返されても開放されない(長く参照されている)オブジェクトは old領域へと移動され、こちらはメジャーGC(フルGC)で開放されます。(メジャーGCはnewとperm領域も開放。) もう少し細かく説明すると・・・ new領域は
CentOS （Linux上）で tomcat のバージョンを確認する - てしりこじり
以下を実行すると良いらしい。 # ${CATALINA_HOME}/bin/version.sh やってみた。ちなみに CATARINA_HOME は /usr/local/tomcat 。 $ /usr/local/tomcat/bin/version.sh Using CATALINA_BASE: /usr/local/tomcat Using CATALINA_HOME: /usr/local/tomcat Using CATALINA_TMPDIR: /usr/local/tomcat/temp Using JRE_HOME: /usr/java/jdk1.7.0_55 Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar Server version:
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Oracle Database + Java + Linux」�環境における性能問題の調査手法 �～ミッションクリティカルシステムの現場から～ Part.1
Javaトラブルシューティング メールマガジン バックナンバー一覧