PostgreSQL + Rails へ PgBouncer を導入してDBメモリ使用量を大幅に改善した話 - Hello Tech
uiu です。ハローでは普段バックエンド開発をメインに担当していますが、創業以来片手間でインフラも担当しています。 ハローでは、少数精鋭のメンバーの意識をプロダクト開発に集中するため、インフラ面では Cloud Run などマネージドなサービスを最大限に活用しています。 今回は、久しぶりにインフラに意識の一部を捧げ、いくつかの眠れない夜を過ごす機会があったので、インフラ面の話について紹介しようと思います。 スタートアップと PostgreSQL AutoReserve はサービス立ち上げ以来、DB は PostgreSQL、APPサーバーは Ruby on Rails のバックエンド構成で運用してきています。 特に PostgreSQL は立ち上げ以来安心して使い続けられている技術要素です。サービス運用から(ある規模までの)分析まで PostgreSQL だけで回せる点は、少人数でプロダク
【米国株】悪い雇用統計が好材料となりNASDAQは上昇！景気回復は不安もテーパリングと利上げは後退。モンゴDBが決算後大幅上昇！ - ウミノマトリクス
米国株市場の状況の振り返りと私見をまとめていきたいと思います。 雇用統計を受けてNASDAQは若干の上昇、S&P500とダウは小幅安となっています。 *1 毎日レバナスとレバFANGに積立しグロース株中心に投資をしているサラリーマン投資家のうみひろ（@uminoxhiro)です。現在個別株で一番比率が高い銘柄はパランティア【PLTR】です。 ブログを読みに来てくださってありがとうございます。 昨晩の米国株市場の振り返りを今日も行っていきます。 今回の記事も成績に左右されないで元気にいくわよ そうだね！では、まずは結論からまとめていきます。 【今日の結論】チェックポイント チェックポイント【結論】 【主要指数】NASDAQが上昇して最高値を更新しています。ダウとS&P500は小幅安となっています。雇用統計を受けて景気回復のペースの鈍化が懸念されるものの目先のテーパリングや利上げが交代するとい
trdsqlはCSV,LTSV,JSONに対してSQLを実行するツールと書いてあって、「PostgreSQLやMySQLに接続できるため、データをインポートする方法もある」と書いてあるため、オマケ的に捉えられているかもしれませんが、専用ツールを上回るくらい便利に使えます。 データをインポートしたい時に、そもそも候補としてすら挙がっておらず、寂しい気持ちがあるのですが、それよりも何よりも、それtrdsqlでサクッと出来ちゃうのに...という場面を度々目にするので、ここで紹介させていただきます。 そもそものtrdsqlの動作 そもそもtrdsqlの動作は、（デフォルトでSQLite3ですが）データベースに、テキストファイルを読み込んで、インポートし、SQLの処理をデータベースにお任せして、処理結果をテキストのいろんな形式に変換する。という動作になってます。 つまり、毎回データベースにテキストフ
シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース オープンソースとして開発されているOLAP用データベース「DuckDB」が正式版となるバージョン1.0に到達したことが発表されました。 OLAP用のデータベースといえば、クライアント／サーバ方式の大規模なサーバアプリケーションが一般的ですが、DuckDBは、SQLiteのようにローカル環境上でシングルバイナリでローカル環境でも簡単に実行できる点が最大の特徴です。 SQLでクエリを記述すると同時に、Python、Java、Node.js、Rust、Go、C/C++、R、ODBCなどから呼び出せるAPIも備えており、クライアントアプリケーションに組み込むこともできます。 対応するプラットフォームはWindows（x86_64）、macOS（Intel/Apple Silicon）、Lin
ヘンリーの Lead Architect の kohii です。 先日、医療系の個人開発サービス MediXplorer を作ったので、簡単なサービス紹介と技術的に工夫したこととかについて書きます。 作ったもの MediXplorer は厚労省（もしくは社会保険診療報酬支払基金）から提供される 医科診療行為マスター を検索・閲覧するためのWebアプリケーションです。 医科診療行為マスターって？ 日本には診療報酬制度というものがあり、病院等が医療サービスを提供した際の医療費の計算ルールが定められています。このシステムのもと、医療機関は提供した医療行為ごとに決められた点数に基づき医療費を計算し、患者や保険組合に請求します。（初診料 = 288点 みたいなやつ。1点10円で、通常そのうちの3割を会計時に支払う。） 「医科診療行為マスター」は、これらの医療行為のデータベースの一つで、列数150、行
MySQL互換のスケーラブルな分散DB「TiDB」、スマレジや＠cosmeによる評価は本番環境のDBから移行可能、性能も十分高いと［PR］
MySQL互換のスケーラブルな分散DB「TiDB」、スマレジや＠cosmeによる評価は本番環境のDBから移行可能、性能も十分高いと［PR］ いわゆる「NewSQL」と呼ばれる、トランザクション処理を実現しつつも非常に高度なスケーラビリティを備えた新しい種類のリレーショナルデータベースが登場し、注目されています。その代表的な製品の1つが、オープンソースで開発されている「TiDB」（タイデービー）です。 TiDBはアプリケーションからはMySQLと同様にアクセスできるMySQL互換のプロトコルを備えつつ、TiDBを構成する主要な2つのレイヤである、SQL文を処理する「TiDB」とデータを処理する「TiKV」がそれぞれオンラインでのスケールアウトに対応することで、リニアに性能を拡張することが可能です。 1つのTiDBクラスタで400TB以上のデータ容量、1つの分散テーブル内で数兆行のデータを扱え
「オフラインファースト」なモバイアプリを実現する「MongoDB Realm Sync」が正式版に。モバイル用DBがクラウド上のMongoDB Atlasとデータ同期
「オフラインファースト」なモバイアプリを実現する「MongoDB Realm Sync」が正式版に。モバイル用DBがクラウド上のMongoDB Atlasとデータ同期 MongoDBは、モバイルアプリ用のデータベース「Realm Mobile Database」とクラウド上のバックエンドデータベース「MongoDB Atlas」のデータ同期を行う機能を備える「MongoDB Realm Sync」が正式サービスになったことを発表しました。 ICYMI: MongoDB Realm Sync is now GA! Use it to seamlessly sync data between mobile devices, users, and MongoDB Atlas on the backend, whenever devices are online. https://t.co/DBV
楽天グループは2022年4月19日、ユーザーの属性情報や行動情報などを分析するデータベース（DB）である「楽天スーパーDB」の稼働環境に、米Google（グーグル）のクラウドサービス「BigQuery」を採用したと発表した。これまでオンプレミス環境のデータウエアハウス（DWH）で管理していた数ペタバイト級のデータを、クラウド上のDWHサービスであるBigQueryに移行する。 楽天スーパーDBとは、同社が世界中で展開する70以上のサービスを使うユーザーの情報を分析する巨大なDBだ。グループ共通IDである「楽天ID」のアカウント数は、日本国内で1億を超える。蓄積した情報は、サービスのパーソナライズ機能やレコメンデーション機能、行動ターゲティング広告機能などに使用している。 日経クロステックの取材に応じた楽天グループのロヒット・デワン執行役員Cloud Platform Supervisory
WEB+DB PRESS Vol.117 の特集「AWS/GCP コスト削減」を執筆しました | BLOG - DeNA Engineering
はじめに システム本部 IT 統括部 IT 基盤部 副部長の土屋です。 現在は DeNA のインフラ基盤全体の管理を行うと同時に，ゲーム・エンタメ・動画配信・ヘルスケア・スポーツなど様々なサービスのインフラ運用を担うグループのマネージャを兼任しています。 この度，「 WEB+DB PRESS Vol.117 」の特集 2「AWS/GCP コスト削減」を執筆させて頂きました。発売日は 2020 年 6 月 24 日 (水) です。このブログでは本特集の概要と見どころをご紹介します。 特集の概要 本特集では，AWS と GCP のコストコントロールについて解説します。目次は以下の通りです。 第 1 章 コストコントロールの重要性 第 2 章 オートスケーリングの導入 第 3 章 在庫インスタンスの活用 第 4 章 インスタンスの集約 第 5 章 オブジェクトストレージの最適化 第 6 章 確約
「できること」よりも「やりたいこと」「なりたい姿」を追求した。DB未経験からPostgreSQLのコミッタになるまで - Findy Engineer Lab
こんにちは。澤田雅彦（@masahiko_sawada）と申します。オープンソースのデータベース PostgreSQLのコミッタをしています。2022年からは、Amazon Web Services Japan（以下、AWSジャパン）でソフトウェアエンジニアとしてPostgreSQLの開発をしています。 2013年に業務の一部として始めたPostgreSQLの開発はかれこれ10年以上続き、今ではフルタイムの業務となっています。「わたしの選択」というテーマで寄稿の機会をいただいたので、本記事では、私がどのようにPostgreSQL開発者のキャリアを選択したのか、なぜ10年以上もの長い間PostgreSQLの開発を続けているのか、などを紹介したいと思います。 データベースを始めるきっかけ 大学生の時は元々教員志望だったのですが、講義で初めてプログラミングを学び、その面白さからエンジニアを目指す
技術評論社は5月1日、技術情報誌「WEB+DB PRESS」について、2023年8月発売の「Vol.136」をもって休刊すると発表した。 WEB+DB PRESSは2000年に刊行されたWebアプリケーション向けプログラミング技術情報誌。休刊の理由として「物価上昇による製作費の高騰など諸般の事情」と説明。「22年以上の長きにわたり、絶大なご支援をいただきましたことを、厚く御礼申し上げます」としている。 同誌が扱っていた分野のコンテンツについては、今後も技術評論社が刊行する「Software Design」や「gihyo.jp」、書籍などで提供していく。また、今回の休刊は隔月刊誌としてであり、必要な場合には「特別号」の編集・刊行なども検討していくという。 関連記事 「日本カメラ」休刊 会社も解散、73年の歴史に幕 日本カメラ社（東京都中央区）は4月15日、月刊のカメラ雑誌「日本カメラ」を20
動画配信以外にも、打楽器を除く楽器の使用も相談可能。楽器の音量は騒音度80dbまでで、演奏可能な時間は午前10時から午後8時。問い合わせフォームから名前欄に「youtuber利用」と明記の上で連絡する、もしくは電話で問い合わせを受け付ける。 物件の間取りは1Kで、広さは16平米～22平米。住所は豊島区巣鴨3丁目で、最寄りの巣鴨駅までは徒歩2分。 関連記事 VTuberの動きをオーバーリアクションに自動変換 中の人の表情などをアニメーションに反映 米パデュー大学の研究チームは、バーチャルYouTuber（VTuber）の配信において、ストリーマーの実際の動きよりも表現豊かな動きとして拡張し出力するシステムを開発。ストリーマーのトラッキングから得た音声や表情などに基づいてアニメーション生成する。 メガネ1つで誰でもVTuber、「VTUNER」の可能性 顔バレリスクなしも表情は硬め ジンズがセ
はじめに みなさん、DBをバージョンアップして酷い目にあったことありますよね？ 先日ログラスの本番データベースのバージョンアップをしたのですが、Site Reliability Engineeringの観点で非常に良いトライが出来たので共有します。 PostgreSQLのロジカルレプリケーションを使って、データを最新に保った新旧のインスタンスを用意した。結果的に安心安全にバージョンアップ作業ができました。 データベースのバージョンアップはサービス運用やっていくと絶対にやらないといけない作業ですが、影響範囲は甚大です。この記事では工夫することで、何か問題が起こってもすぐに切り戻すことが出来るという話をします。 このメンテを通じて、ログラスで利用していたAurora PostgreSQLをエンジンバージョン11.19（PG11）から15.2（PG15）にバージョンアップしました。 バージョンア
ジャストシステムは8月1日、プログラミングの知識不要で業務システムを構築できるノーコードクラウドデータベース「JUST.DB」を10月1日から提供すると発表した。案件管理や資産管理、ワークフローなどのシステムを構築できる。 「文字列」「数値」「ドロップダウン」といった部品アイコンをドラッグ＆ドロップするだけで業務システムを構築できる。スマートフォンにも対応したシステム構築も可能だ。 蓄積されたデータに対して、編集、移動、複製、統合といったさまざまな処理を自由に組み合わせて自動で実行できる機能「データ処理フロー」も実装。手作業やバッチ処理、マクロで実施していた作業を、RPAなどの外部ツールを使うことなく自動化できる。 定型フォームへの帳票・レポート出力や、メール通知、リアルタイム集計、外部システムとの連携機能なども備えた。 価格は、1同時ログインライセンス当たり月間1万5000円（税別）。
Azure Cosmos DB の無料版が出たので相性最高の Azure Functions と合わせて使ってみた - Qiita
無料版が出ましたね！！ Publickey さんでも取り上げてもらってます。 マイクロソフト、「Azure Cosmos DB」がずっと無料で使える「Free Tier」を発表。地球規模の分散データベースを最大5GBまで Cosmos DB とは Azure で一番強い NoSQL DB だと思ってます。色々な DB のモードがあって SQL API Cssandra API MongoDB API Gremlin API テーブル API etcd API の中から選べます。私は SQL API が好きというか基本的に SQL API しか使ったことない感じです。 SQL API は JSON でデータが格納されて SQL で問い合わせ出来る感じです。（雑な説明） 作ってみよう Azure ポータル から Cosmos DB を作成します。作成するときに「Apply Free Tier
はじめに 先日DB初心者（DWHですらない）から、2か月の勉強でSnowPro Coreを取得しました。 勉強にあたりやってよかったことなどをまとめておきます。資格取得記事は最近無限に生産されているので、あまり他では言及がなさそうなことを中心にしようと思います。 こんな方におすすめ SnowPro Coreに興味はあるが、実務経験がない データエンジニアリングを学んでみたいが、どこから手をつけるといいかわからない 簡単なバックグラウンドと経緯 Tableauによるクロス集計中心のデータ分析職（他業務も兼務）から、2023年2月にデータ分析基盤およびBIダッシュボード構築を行うデータアナリストに転職 前職では、ほぼ編集してはいけないテキストファイルのSQLを、あるフォルダに格納するとCSVでデータが抽出されるという謎環境だった エンジニアのいない組織だったので実務的には役立たなかったが、Da
信頼できるソフトウェアを迅速に提供 エンドツーエンドの可視性、セキュリティ、制御の機能を提供して、信頼性の高いリリースの配信を自動化する唯一のソフトウェアサプライチェーンプラットフォームです。 DevOps、DevSecOps、MLOpsの各チームを信頼できる唯一の情報源にまとめます。
こんにちは！LAPRAS でエンジニアをしていますモロズミ (@Chanmoro) です。 約3ヶ月前になりますが、今年の6月9日に LAPRAS 公開設計レビュー「LAPRAS の DB 設計について」そーだいさんに相談してみた というオンラインイベントを開催しました。 事前収録した動画を参加者の方にご覧いただく形式でしたが、イベント公開から本日まではイベント参加者の方のみに限定公開としていました。しかし、とても参考になる内容をお聞きできたのでより多くのエンジニアの方の参考になればという思いと、イベントに参加ができなかった方から「ぜひ内容を知りたい」というお声を多くいただいていたことから、この度イベントの動画を全ての方にご覧いただけるように一般公開しました。 動画を頭から最後まで全部見ていただける方がイベント中のそーだいさんと私たちの会話の文脈がよりわかるのでオススメではあるものの、全部
「WEB+DB PRESS Vol.130」の「イミュータブルデータモデルで始める 実践データモデリング」は必読なので、マジで今すぐ本屋へ走って買おう - Magnolia Tech
WEB+DB PRESS Vol.130 技術評論社Amazon 川島さんの「イミュータブルデータモデルで始める 実践データモデリング」は必読なので、マジで今すぐ本屋へ走って買おう、としか言いようの無い、お得情報満載。 ビジネス要求の持つ複雑を表現しているモデル、表現していないモデルの境目が分かるようになるし、そもそも「複雑とは何か？」ということが分かるようになる。 あと、「モデルとして複雑な物はどう表現しても複雑…だけど、それを扱うアプリケーションの複雑さを軽減することができる」という考え方、視点が得られるだけでも超お得。 音読しよう、100回読もう、枕元に置いて夢の中でも読もう どうやっても複雑さは減らないので、複雑さをコントロールできるようにしていこう！！ もう一回読もうっと。 モデルだけで複雑さのコントロールに打ち勝てるわけじゃないけど、モデルになるべくそのドメインが持つ「複雑さを
Cloudflare、世界中からのデータベースアクセスを高速化する「Hyperdrive」正式サービスに。CDNを用いてDBのコネクションプーリングやキャッシュを提供
Cloudflare、世界中からのデータベースアクセスを高速化する「Hyperdrive」正式サービスに。CDNを用いてDBのコネクションプーリングやキャッシュを提供 Cloudflareは、グローバルなCDNレイヤでデータベースのコネクションプーリングとクエリのキャッシュを提供することによりデータベースへのアクセスを高速化する新サービス「Hyperdrive」の正式サービス化を発表しました。 We kick off the week with announcements that help developers build stateful applications on top of Cloudflare, including making D1, our SQL database and Hyperdrive, our database accelerating service, g
CI 環境でのユニットテストの実行時間を2倍速くした話 (Jest + Mongo DB + Circle CI) - ミツモア Tech blog
こんにちは。ミツモアでテックリードしております白柳（@yanaemon) です。 ミツモアのプロダクトは TypeScript で、クライアントサイドの React とサーバサイドの Node.js で書かれており、ユニットテストは Jest + Mongo DB + Circle CI を利用しています。 しかし、プロダクトが大きくなるにつれて、全ユニットテストを実行するのに 10 分程度かかり、開発効率が悪くなっていました。 今回は、それを 2 倍以上速度改善した取り組みについて紹介します。 実施したこと いきなりですが、具体的に実施したことと、改善結果になります。 実施内容 改善結果 1. ファイル分割をし、並列度をあげる これ単体では速度改善は期待できない 2. テスト対象を修正されたファイルのみにする x1 ~ x10 速度 UP ※ただし最終的にはやめました 3. DB 生成な
WEB+DB PRESSでiOS開発の特集を執筆したのでiOSアプリ開発を振り返ってみます - Lento con forza
最近iOSアプリ開発を振り返るタイミングがありました。どういうことかというと、いきなり宣伝になるのですが、先日発売したWEB+DB PRESSでiOSアプリ開発の最前線についての特集を同僚のid:cockscomb、id:yutailang0119と一緒に執筆しました。 gihyo.jp Macを手に入れてiOSアプリの開発を始める iOSアプリ開発を始めるにはMacを手に入れる必要がありますね。僕がiOSアプリ開発を始めたきっかけは、2011年ごろにスマホブラウザゲーム開発コンテストの9leap*1で入賞して、MacBook Airをもらったことでした。iOSアプリ開発の最初の壁とも言えるMacを手に入れることができて、Macの快適な操作性、SSDによる爽快な動作、美しいフォント、統一された体験を感じ、一瞬でAppleのファンになりました。 当時からプログラミングは好きだったので、当然の
ひろゆきDB - ひろゆき動画を話題別に検索しよう
関連書籍 DB仕様 収録対象動画 Youtubeチャンネル「ひろゆき, hiroyuki」に登録されている”録画”動画 ※随時更新 収録対象テキストデータ 動画プロパティ、チャプター情報(コメント欄有志による)、自動文字起こし全文 ”勢い”算出方法 チャプター区間内（ラグ考慮済）のコメント率（n/sec）（「草」「ｗ」等の盛り上がりワードを含む場合、ボーナスポイントを加算、挨拶コメント等は除外）を用いて、録画内チャプターごとに偏差値を付与。 この偏差値をそのまま「勢い」の指標として採用。 ※各録画ごとに偏差値をとりそれを指標として採用しているので、絶対的なコメント数はその評価に対しあまり関係がない。つまり、視聴者数が比較的少ない過去の録画におけるチャプターでも、最近の録画のチャプターの「勢い」を上回るということもあり得る。 ※youtubeの内部的なラグ、視聴者が話題に反応するまでのラグを
ぺ～ぶ♡すぱぃく（CV：五十嵐裕美） @PaveSpike そういえば最近は労災死亡事故DBを覗くのにはまってるんですけど、思った以上に多かったのが「刺身の切り方がヘタクソと言われて（or 言って）刺殺」という案件ですね。90年代で5～6件とか。 2021-05-29 17:57:20
MySQL互換の分散DB「TiDB Cloud」がサーバレスに対応、「TiDB Cloud Serverless Tier」プレビューを提供開始
MySQL互換の分散DB「TiDB Cloud」がサーバレスに対応、「TiDB Cloud Serverless Tier」プレビューを提供開始 MySQL互換の分散データベース「TiDB」（タイデービー）を提供するPingCAPは、クラウド上でTiDBをサーバレスとして提供する「TiDB Cloud Serverless Tier」のプレビュー提供開始を発表しました。 We are excited to introduce the beta release of #TiDBCloud #Serverless Tier. It is the industry-first serverless #HTAP database service that allows you to deploy your infrastructure at scale in the most cost-effic
はじめに この記事は、現在（2023年8月4日時点）パブリックプレビュー中のCognitive Searchのベクトル検索機能について、ベクトルDBの構築手順を解説する記事です。公式ドキュメントにはクイックスタート記事も公開されており、こちらのブログで日本語で丁寧に解説してくれています。 公式ドキュメントのクイックスタートを読んでいると、下記の課題に遭遇します。 PDFなどのドキュメントはどのように扱えばいいか？ チャンク分割やベクトル生成は具体的にどのように行えばよいか？ 言語アナライザーを日本にするにはどこを変えればよいか？ インデックスを自動更新するにはどうすれば良いか？ このような課題に対して、Azure公式のGitHubリポジトリにあるcognitive-search-vector-prにあるインデックス作成ツール(azure-search-vector-ingestion-py
SQL レベルのメトリクス をサポートしたパフォーマンスインサイトで高負荷状態のDB稼働を確認してみた | DevelopersIO
AWSチームのすずきです。 SQL レベルのメトリクス をサポートを開始したパフォーマンスインサイト(Performance Insights)を利用して、 高負荷状態に陥った Amazon Aurora Provisioned (MySQL5.6互換) の稼働状況を確認する機会がありましたので紹介させていただきます。 環境 過負荷が発生した環境は、 CMS(WordPress)の 記事データベースとして利用している Aurora でした。 Performance Insights SQL情報 SQLの情報として、下記項目が表示されるようになりました。 calls/sec : 毎秒ごとの呼び出し avg latency (ms)/call : 平均レイテンシー rows examined/call : 一度の呼び出しで返される行数 一回の処理時間は短いが実行回数が多く、チリも積もって高い負
【Unit4 ブログリレー5日目】 こんにちは。Unit4 Eng の西川です。JavaScript が好きですが、今回は JavaScript ではなく、最近やった Spring Boot + Flyway を利用しているシステムから別の DB への接続を増やした時の話をしたいと思います。 非常に可愛いうちの猫です 動作環境 背景 Spring Boot で複数の DB に接続する 概要 application.yaml の記載 Configuration ファイルの作成 Flyway を複数の DB に適用する baselineOnMigrate を適用する Configuration ファイルの作成 テスト用の Configuration ファイルを作成 終わりに We're hiring! 動作環境 今回のプロダクトで利用している Spring Boot と Flyway のバージ
Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ データベースを専門としない人からパワポ絵の解像度でこの質問がされたなら「はい大体そんな感じです」と答えるのですが、わざわざ僕宛に質問をしている時点で質問者はただものではないので詳しく説明します。 まず「LSNをmaster nodeが発行する」の所から正しくないのではないかと思います。手元でRDBMSを作った時の知見ですが、ログデータはリカバリのために任意のLSNからそのログの実体までを高速に索引できる必要があり、その際の一番合理的な実装は「ログのオフセットをそのままLSNにする」という方法です。そして、ログのオフセットを取得する一番簡単な方法は「エンキューが成功した
「旧統一教会と地方政界」を再考する 統一地方選を前に…元2世信者が関係首長・議員3800人をDB化：東京新聞 TOKYO Web
2022年12月、富山市議会の「関係断絶」決議は違憲として提訴した旧統一教会信者（左）と代理人の弁護士＝同市で いま舌戦が続く統一地方選で、忘れてはならないのは世界平和統一家庭連合（旧統一教会）問題だ。閣僚や国会議員の関係は野党や報道により盛んに追及されたが、地方の首長や議員は十分な説明責任を果たさないまま今回、出馬しているケースも多数ある。そんな中、元2世信者らが報道で関係の指摘を受けた地方首長・議員をデータベース化して公開した。関係遮断を求める声は他にも上がっており、有権者の判断にどう影響を与えるか、注目される。（木原育子、岸本拓也）
【DBのディスクサイズ管理が簡単に】RDSのストレージがストレージの自動スケーリングをサポートしました！ | DevelopersIO
【DBのディスクサイズ管理が簡単に】RDSのストレージがストレージの自動スケーリングをサポートしました！ RDSのストレージの空き容量が少なくなりディスクが枯渇してクエリがエラーになったりDBが停止してしまうことがあります。今回DBストレージの自動スケーリングをサポートしたので、ディスク枯渇の恐れが低減し、必要な分のストレージを確保することでランニングコストも低減できます。 大栗です。 RDSのストレージの空き容量が少なくなってくると自動で増やしてくれるストレージの自動スケーリングがサポートされたのでレポートしてみます。 Amazon RDS now supports Storage Auto Scaling Managing Capacity Automatically with Amazon RDS Storage Autoscaling 2019年６月21日 13:30 JST スト
決済ネットワーク「CARDNET」を運営する日本カードネットワークは2023年11月24日、同月11日午後1時23分ごろから午後8時52分ごろに発生したシステム障害の原因について、システム更改の準備作業として実施していたデータベースの同期処理だったと発表した。同期処理が遅延し、オンライン取引と並走したことでシステムが高負荷に陥った。 発表によると、CARDNETでは11月13日にシステム更改を予定しており（障害発生に伴い11日に中止）、その準備作業として10日から現行システムと更改システムとの間でデータ同期処理を実施していた。11日午後1時23分ごろから午後5時30分ごろまでにかけて、特定接続先における一部のクレジットカード取引への影響を検知し、モニタリングを実施していた。モニタリングの詳細については「セキュリティーに関する事項のため、詳細説明は差し控える」（広報）とした。 サーバーOSの
Photo by Abo Ngalonkulu on UnsplashPeople tribe / Backend squad の @izumin5210 です。もう12月ですね。自分は Advent Calendar に登録しすぎて後悔するのが得意です。 この記事は Go3 Advent Calendar 2019 の4日目です。 TL;DRSQL のメトリクス・トレースを収集したいは driver.Driver をラップするのが常套手段コネクション取得までの待ち時間まで見たい場合は、DBStats を見るのがよさそうことの発端Wantedly では Application Performance Monitoring に New Relic を利用しています。New Relic APM には様々な機能が存在しますが、例えばエンドポイントごとに「どの処理でどれくらいの時間がかかっているか
データに関わるすべての技術者に「学び」「気づき」「変化」を提供する場として、インサイトテクノロジーが開催しているカンファレンスイベント「db tech showcase」。2023年は「未来を創るデータ技術を、日本に、世界に、実装せよ！」をテーマに掲げ、4年ぶりにオフラインで開催された。同イベント2日目の夕方に行われたセッションでは、オープンソースの分散型NewSQLデータベースとして注目を集める「TiDB」について、実際にPoCや運用を行ってきたMySQLのプロフェッショナルが検証結果や利用した印象について、パネルディスカッション形式で語った。 MySQL互換の「TiDB」は待ち望んでいたデータベースか？ 「TiDBは使えるか討論 MySQLのプロがTiDBを斬る」と題して行われたセッションには、LINEヤフーとメルカリでMySQLを使いこなしているプロフェッショナルなエンジニア2名が登
AWS上で分散インメモリDB「MySQL HeatWave」、オラクルが提供開始。Amazon AuroraとRedshiftの競合に
AWS上で分散インメモリDB「MySQL HeatWave」、オラクルが提供開始。Amazon AuroraとRedshiftの競合に オラクルは、AWS上でMySQLベースの分散インメモリデータベース「MySQL HeatWave」をマネージドサービスとして提供を開始したと発表しました（日本オラクルのプレスリリース）。 [Press Release] Oracle Announces MySQL HeatWave on AWS. Transaction processing Real-time analytics Machine learning#AWS users can run it all in one service with @MySQL Read more:https://t.co/ustPKBJTPC pic.twitter.com/N47dNjumdZ — MySQL (
DBセキュリティ性能検証「検証と結果」編 - RAKUS Developers Blog | ラクス エンジニアブログ
※注意：本記事内での計測結果は記載の条件下によるものとなります。異なる環境においては異なる結果が予想されますのでご認識ください。 こんにちは。 株式会社ラクスにて、主に先行技術検証を担当している「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで「DBセキュリティ」にまつわる検証を行なったので、その報告を共有しようかと思います。 今回はDBセキュリティの中でも、DBデータの暗号化の話が中心となります。 ちなみに中間報告時点で公開した記事はこちらになります。 tech-blog.rakus.co.jp DBセキュリティについて 本記事におけるDBセキュリティ
≫ 「やりたいことをできるに変える」職場で働きませんか？ 「DB芸人」として舞台、テレビ、Youtubeで大人気！ 自身でイベントの主催もおこなっている吉本興業所属のお笑い芸人、R藤本がさくらインターネットにやってきた。 狙っているのはさくマガ編集長の座！？ はたしてR藤本は編集長になることができるのだろうか。 R藤本がさくマガ編集部へ襲来 ふん、ここが「さくマガ」とかいう新しいWebマガジンを運営しているさくらインターネットという会社か。レンタルサーバーやらのインターネットサービスを提供しているらしいな。 超エリートのこの俺様に無断でWebマガジンを立ち上げるとは、ふざけた野郎どもだ。なめやがって。ぶっつぶしてやる！ 舞空術も使えるが、あえてエレベーターで移動してやろう。 ここが、さくマガ編集部か……。 おい！ この中にさくマガとやらの編集長はいるか！ 編集長）あ、はい。 貴様が編集長か
AWS、プライマリDBとして使える耐久性を備えたインメモリデータベース「Amazon MemoryDB for Redis」発表
AWS、プライマリDBとして使える耐久性を備えたインメモリデータベース「Amazon MemoryDB for Redis」発表 AWSは、プライマリデータベースとしての使用に耐える耐久性を備えたRedis互換のインメモリデータベース「Amazon MemoryDB for Redis」を発表しました。 Say later to latency. With Amazon MemoryDB for Redis, tap into flexible Redis data structures and achieve microsecond read latency and single-digit millisecond write latency—all while durably storing mission-critical data. https://t.co/o4AcmBlDCV
WEB+DB PRESS vol.113 に Swoole 記事を書きました。そして「みんなのPHP」 - Blog::koyhoge::Tech
PHPの非同期機能拡張「Swoole」についての記事を書いたよ 10/24 に WEB+DB PRESS vol.113 が発売されました。そこに私は、PHPの非同期処理拡張「Swoole」の記事を 4P 書いています。 WEB+DB PRESS vol.113 が届きました。私も Swoole の入門記事を4P書いてます。ROXX松本さんのPHP非同期処理の記事もあって、さながらPHP非同期祭りw https://t.co/7W0XdTuLbI pic.twitter.com/1z2lA5217K— KOYAMA Tetsuji (@koyhoge) October 25, 2019 最初に Swoole のことを知ったのは、昨年のPHPカンファレンス福岡2018の前々夜祭で聞いた uzulla さんの発表でした。 それから他のイベントでも Swoole の話をちょくちょく聞くようになっ
この記事は freee 基盤チーム Advent Calendar 2023 の 22 日目の記事です。 こんにちは、freee のDBRE (Database Reliability Engineering) で ジャーマネ（マネージャー）としてDBRE組織を運営管理しているJuni です。 今回は何故integration環境*1を相乗り化してきたのかという話しをしていきたいと思います。 始まる前に、タイトルにも書いてある「DB相乗り」に関して一度定義していきましょう。 DB相乗りとは、複数の論理Databaseを1つの物理cluster内にまとめて乗せておく事です。 何故integration環境を相乗り化しようとしたのか？ freeeでのintegration環境は主にproductionへのリリースの前の機能テスト、QAなどで使われていまして、数十環境が構築されています。 それぞ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
trdsqlはCSV,LTSV,JSONをDB(PostgreSQL,MySQL)にインポートするツールです
シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース
医療のマスターDBを爆速で検索するWebサービスを爆速で作った
楽天グループが数ペタバイト級の会員分析DBを刷新、Google BigQueryを選んだわけ
「WEB+DB PRESS」が休刊へ 22年の歴史に幕
YouTuber向け防音マンション、家賃12万円から 80db以下なら絶叫もOK？
心穏やかにDBバージョンアップ！ロジカルレプリケーションで安全にバージョンを切り戻せるようにした話
ジャストシステム、ノーコードクラウドDB「JUST.DB」リリース
【合格体験記】DB初心者が2か月でSnowPro Coreに合格した - Qiita
再びJNDIの脆弱性！：H2 DBコンソールでリモートコード実行
「LAPRASのDB設計についてそーだいさんに相談してみた」イベントレポート | LAPRAS株式会社
労災死亡事故DBで気付いた意外と多い死因「刺身の切り方がヘタクソと言われて刺殺」について
Cognitive Searchの生成AI用ベクトルDBの構築手順書 - Qiita
Spring Boot + Flyway で複数の DB に接続したい！！！ - エムスリーテックブログ
Auroraのような設計のRDBMSにおいて,LSNの発行はmaster nodeで行わないといけないがために書き込みnodeは一台に制限される(DB管理者が手動でシャーディングするケースは別と指定)という理解は正確ですか？ | mond
CARDNET障害の原因はDB同期遅延による負荷増、9月の試験では想定せず
`*sql.DB` を観察する #golang | Wantedly Engineer Blog
「TiDB」は待ち望んだDBか？ LINEヤフーとメルカリの“MySQL”プロが赤裸々に語り合う
DB芸人 R藤本がさくマガ編集長に就任！？ #さくマガ #さくらインターネット - さくマガ
複数の検証環境でのDB相乗り化 - freee Developers Hub