Oracle Database をサブスクで利用する (AWS RDS for Oracle ・ OCI BaseDB) - Qiita
この記事は、JPOUG Advent Calendar 2023 Advent Calendar 2023 に参加して、13日目です。 本記事では Oracle Database をサブスクリプションモデルで提供するAWSとOCIで使う上で契約面や許諾面を解説するポストです。サービス選定の助けになるような記事にしています。技術的なところばかり注目して契約面が疎かになると、後に大きな問題を起こすこともあります。 【注意】 BYOLでのライセンスの取り扱いや条件は、そのお客様ごとの契約によって条件が異なる事があります。本記事では一般的に良くあるケースをご紹介をします。契約ごとのライセンスの扱い方は、日本オラクルの営業担当にお問い合わせください。調査して回答してもらえます。
Snowflake で1万"列"データを扱う技術 - Qiita
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
手軽に負荷テストができるツール「Taurus」がスゴい
modules: jmeter: version: 5.4.1 # ここに書いてあるバージョンを勝手にダウンロードしてくれる properties: log_level.JMeter: WARN log_level.JMeter.threads: WARN system-properties: org.apache.commons.logging.simplelog.log.org.apache.http: WARN 既存ツールのラッパーとして動作 デフォルトでは内部的にJmeterが実行されますが、以下のようなツールで作成されたスクリプトを流用することが可能です。 JMeter Gatling Locust Selenium Vegeta つまり、さきほどはYAMLでシナリオが記述可能とは言いましたが、もちろん既存のスクリプトを流用できるってことです。 いままで作り上げてきたスクリプトや
Oracle Trace File Analyzer について - サーバーワークスエンジニアブログ
こんにちは、サーバーワークス入社から1年が経ったテクニカルサポート課の 佐藤 光晃です。 本ブログは AWS から脱線してオンプレミス環境 の Oracle Database や EC2 on Oracle / RDS Custom for Oracle で利用可能な Oracle Trace File Analyzer (TFA) を紹介したいと思います。 TFA について 収集される情報 TFA の導入 TFA による情報収集 疑似的に ORA-600 エラーを発生させます。 トラブルが発生している時間帯が分かる場合 特定の ORA エラーを調査したい場合 まとめ TFA について TFA は一言で言うと、Oracle 製品全般の診断データ収集を収集するツールとなっております。TFA には OS や Oracle Software (Database や Clusterware 等)
HiveQLをSpark SQLに移行する際に発生する問題の解決
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog はじめに こんにちは。LINE Plus Messaging Data Eng Dev (NP)チームのデータエンジニア Jeong Woo-Yeongです。HiveQL(Hive SQL)プロセスをSpark SQLに移行する課題に取り組んでいます。主に、INSERT OVERWRITE TABLEというSQL文を使ってデータを格納しましたが、Sparkの設定によって、Hiveではみられなかったさまざまな現象が発生しました。この記事では、その原因と解決方法を探す過程で分かったことを紹介します。 まず、作業を始めることになった背景と作業環境を紹介し、HiveQLからSpark SQLに移行した過程を共有し、Sparkの設定によ
Apache Iceberg とは何か - 流沙河鎮
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
AWS履修者のためのAzure入門
2023年8月に「AWS履修者のためのAzure入門」というタイトルで社内勉強会を開催しましたので、その時の資料を公開します。 今回はボリュームの関係から概念や権限・ユーザー管理周りとネットワークに関連するサービスのみ取り上げております。 何故勉強会を開催したかについては以下記事をご確認ください。 https://www.beex-inc.com/blog/aws-azure-entry-study-1 ※本資料の内容は公式のドキュメントなどを元に整理しながら作成しておりますが、一部解釈などが間違っている可能性があります。 必要に応じて公式ドキュメントなども確認しながらご覧ください。 ==2023/10/02追記== スライド内でAzureのVMはデフォルトでインターネットへのアウトバウンド通信が可能と記載していますが、Microsoftから以下の発表があり、2025年9月30日をもってデ
VM作成からのOracle Restart 19cインストール手順 | コーソルDatabaseエンジニアのBlog
Oracle ACEの渡部です。 VirtualBox VMにRestart構成のLinux版Grid Infrastructure/Oracle Database 19cを導入する手順（環境設定、インストール、データベース作成）をまとめておきます。 非常に「いまさら感」がありますが、以下の理由で書いてみようと思いました。 ORACLE MASTER Gold DBA 2019の出題範囲にOracle Restartのインストールが含まれるが、新Gold DBA黒本 で試験対策の観点では必要十分な説明を書いていたが、実際に環境を作成する観点で十分なまでは書けていなかったため Linux版Oracle Restartのインストールおよび使用において「重要な鍵」となる動作環境の準備（VM、OS、仮想ディスク、ネットワークなど）において落とし穴を避けるノウハウを、以前から文書化しておきたいと思っ
iPhoneのカメラで撮った｢HEICファイル｣をJPEG画像に変換する方法【iOS/Mac/Windows対応】
HEICはストレージを効率よく使えるファイル形式だが、汎用性はまだまだJPEGの方が高い。 撮影：今村拓馬 iOS 11から、AppleはiPhoneとiPadのデフォルトの写真ファイル形式を変更した。 汎用的な｢JPEG｣（.jpg/.jpeg）ではなく、高画質を維持しながらより効率的に圧縮できる｢HEIC｣という形式で写真が保存されるようになった。 これにより、スマホやタブレットの同じスペースに、より多くの画像を保存できるようになっている。 ただし、HEICをサポートしていないアプリや端末のユーザーに送る際などは、そもそもJPEGファイルとして保存するようにしたり、写真をHEICからJPEGに変換したりする必要がある。 iPhoneで写真保存形式をHEICからJPEGにする方法 iPhone上での保存形式を、HEICファイルではなくJPEGファイルにしたい場合は、設定で｢高効率（HEI
TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023
イベント開催日：2023年7月7日 講演者：LINE株式会社 ITSC データベース室 MySQL 1チーム ソフトウェアエンジニア 大塚 知亮 氏 本スライドでは、TiDBで大量のログデータを管理するRDBとして、MySQL及びTiDBを検証した過程と結果、そしてオンプレでの運用方法について発表します。通常、超大量のデータ挿入や更新が発生するアプリケーションにMySQLを利用する場合、適切なデータ量や負荷を基準にシャーディングを行って対応します。しかし、それによってシャードを意識したクエリの発行が必要になるだけでなく、シャードをまたいだデータのジョインや整合性の担保に頭を悩ませることになります。この一つの解決策として、MySQL互換の分散データベースであるTiDBは魅力的な選択肢です。このスライドでは、LINEでシャーディングなしで高負荷案件に対応するために、どのように検証し、オンプレで
PostgreSQLのロール・権限のここがわかりづらい
App Router への移行は「改善」となり得るのか？/ Can migration to App Router be an improvement
RDS for Oracle のメモリ管理方法の注意点と確認方法 - サーバーワークスエンジニアブログ
こんにちは、一年間の研修が終わり、ついに働いています末廣です。 そんな業務の中で RDS for Oracle のメモリ管理について、RDS ならではの制約や注意点があったので、ブログにまとめます。 本題に入る前に、本記事に登場する Oracle のメモリ管理に関する用語を簡単に説明します。 Oracle 関連用語について SGA（System Global Area） PGA（Program Global Area） 自動メモリ管理 HugePages 概要 関連パラメータ 値や条件式の見方 自動メモリ管理のパラメータ（206・207） SGA と PGA パラメータ（308・371） HugePages の条件 メモリ量による条件の表 HugePages がデフォルトで有効にならないインスタンスクラス 上記インスタンスクラス以外の場合 インスタンスクラスの例 db.m4.4xlarge
PostgreSQLをストリーミングレプリケーションで構成する (PostgreSQL 10.x版)
事前作業として、検証目的なので、firewalldとSELinuxは無効化しておこう。 [Master/Standby]# systemctl stop firewalld [Master/Standby]# systemctl disable firewalld [Master/Standby]# sed -ie 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config [Master/Standby]# reboot ストリーミングレプリケーション構成手順概要 PostgreSQLでストリーミングレプリケーションを構成する手順の概要を以下に図示する。 ①PostgreSQLインストール・初期セットアップ 1. dnfでPostgreSQLをインストール まずは、PostgreSQLをインストールする。postgresql-
PostgreSQLで多数のパーティションを持つテーブルに対してPrepared Statementを実行した際の性能劣化について調べてみた | DevelopersIO
※実行時間の単位は全てmsです パーティション数が1,000になると汎用プランの再検証で1000パーティションへのスキャンが発生するため、bindが遅くなっていることが分かります。気になっていたunnamedなPrepared Statementについては名前付きのPrepared Statementに比べて早いような気もするし、誤差のような気もするし...ここはもう少し計測回数を増やして詳しく見ていきたいところです。 WHERE句をリテラルで記述した非Prepared Statementの場合は1000パーティションかつforce_generic_planの場合でも6.2msで処理できており、汎用プラン再検証のオーバーヘッドが発生していないことが伺えます。 1000パーティションのテーブルに対して1000回クエリを発行してbindのオーバーヘッドを確認してみる 先程の検証結果から 100
【資料公開】目標設定の基本
みなさんこんにちは。@ryuzeeです。 2023年5月9日に開催されたNTT Com Open TechLunch #7「エンジニアリングマネージャーと目標設定」の登壇資料を公開します。 このイベントはNTTコミュニケーションズの社内ランチ勉強会を一般に公開しているものです。 ぼくは、NTTコミュニケーションズの技術顧問をしており、顧問業の一環として登壇しています。 多くの組織では、この時期に期初の目標設定を行っているのではないかと思いますが、目標設定の意味や位置づけ、それをどのように使うのか、評価や報酬との関係はどうなるのかといったことについて組織のなかで認識が揃っていることはまれです。 こうなると、人事制度のなかで目標設定をすると決められているのでめんどくさいけどやる、という感じになったり、目標設定が終わったら内容を綺麗さっぱり忘れて、期末になって「あー、そういえば……」みたいなこと
検索が爆速になるデータベース設計を公開します
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WEB+DB PRESSと私
技術選定の審美眼（2023年版） / Understanding the Spiral of Technologies 2023 edition
エンジニアとしての自分とマネージャーとしての自分の狭間で、どう成長していくのか？（AWS DevDay 2023登壇資料）
PostgreSQLのDBを手動フェイルオーバーする手順 (ストリーミングレプリケーション構成)