JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる
ちなみに jq がインストールされている必要はありません。 jnv does not require users to install jq on their system, because it utilizes j9 Rust bindings. https://github.com/ynqa/jnv#installation JSON navigator and interactive filter leveraging jq Usage: jnv [OPTIONS] [INPUT] Examples: - Read from a file: jnv data.json - Read from standard input: cat data.json | jnv Arguments: [INPUT] Optional path to a JSON file. If not prov
BigQuery Data Transfer Serviceを利用して楽々データELT基盤作成
概要こんにちは！ SREユニットの栗山(@sheepland)です。 スタディストでは、DBのデータをBigQueryに転送するデータELT基盤が存在します。 そのデータELT基盤をAWSの「Amazon S3 への DB スナップショットデータのエクスポート」機能 と GCPの「BigQuery Data Transfer Service」および「スケジュールクエリ」を組み合わせて新しく作り直しました。 マネージドサービスで構成されているため運用が非常に楽で、転送速度も速く、とてもQOLがあがったので今回紹介したいと思います。 Photo by David Becker on Unsplash旧データETL基盤の紹介旧データETL基盤はEC2上でDigDagとEmbulkを動かし、DBのデータをBigQueryに転送していました。 以下が日次の処理の流れです。 RDSの自動スナップショッ
デッドロックおじさん戦記 | メルカリエンジニアリング
Mercari Advent Calendar 2017 の18日目です。 こんにちは。メルカリJPのサーバーサイドエンジニアの@Hirakuです。最近はメルカリNOWの立ち上げに関わっておりGoとPHPを行ったり来たりしています。 今回はネタとしては地味ですが、2017年に遭遇した、MySQLのデッドロックの話をしようと思います。 これまでも何度か話されている通り、メルカリのコア部分は今でもPHP + MySQLで構成されており、複雑なトランザクションを含む処理が各所に存在しています。そのため、意図せずしてデッドロックを作ってしまうことがあり、場合によっては重大な問題につながります。 今年は本当にデッドロックに関するトラブルに多く遭遇し、すっかり「デッドロック絶対に許さないおじさん」みたいになっていました。 事例1)出品者と購入者 デッドロックと言われてもピンと来ない方もいらっしゃるでし
Amazon RDS Aurora MySQLでデッドロックのログを出力して読む方法
どうしたの？スタディストwebアプリグループでは、毎朝「エラーを見る会」というものを実施しています。「エラーを見る会」は、日々発生しているサーバーエラーを把握し、顧客影響(被害)を最小限にする目的の元、webアプリグループメンバーで行われている会です。そこでは、サーバー上で出たエラーを見て、「このエラーは早めになおしたいね」とか「このエラーはバックログに積んであとでなおそう」といった話し合いを行っています。 「エラーを見る会」で、以前より「ActiveRecord::Deadlocked」の発生を確認していましたが、詳細な原因を特定できていませんでした。そこで原因特定のために、ログ出力を行った事例について今回ご紹介します。 デッドロック情報を出力する弊社では、Amazon RDS Aurora MySQLを使用しております。 原因を調べるにあたり、ストレージエンジン(InnoDB)に関する
bulkのinsert on duplicate key updateでデッドロックした話 - Qiita
VISITS Advent Calendar 22日目の記事です。 いま自分のチームではRailsのアプリケーションを運用しているのですが、MySQLのデータベースでごくまれにbulkのinsertでデッドロックが発生して原因究明に時間がかかったので、その内容を共有したいと思います。 状況 今回自分が遭遇したデッドロックは、RailsのコードからMySQLのDBに対して複数件のデータを一括挿入するタイミングで発生しました。 Rails6.0からbulk insertの機能が標準サポートされたんですが、Rails6.0以前ではactiverecord-importというgemで対応するケースが多いかと思います。 運用中のアプリケーションもRails6.0以前から運用していたこともあって切り替えられていないところも多く、今回のデッドロックもactiverecord-importの箇所で発生しま
[AWS CDK] Construct IDはパスカルケースで命名するのが良い - Qiita
new Table(this, 'ItemTable', { partitionKey: { name: 'id', type: AttributeType.STRING }, }); Logical IDは、CloudFormationテンプレート内でリソースを判別するためのIDです。 例えば以下のテンプレートでは、 ItemTable8236C20F がLogical IDです。 "Resources": { "ItemTable8236C20F": { "Type": "AWS::DynamoDB::Table", "Properties": { "KeySchema": [ { "AttributeName": "id", "KeyType": "HASH" } ], "AttributeDefinitions": [ { "AttributeName": "id", "Attri
![[AWS CDK] Construct IDはパスカルケースで命名するのが良い - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/17a5b6a3a7547586591a84135af2e3b3f81e60b0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTIwQ0RLJTVEJTIwQ29uc3RydWN0JTIwSUQlRTMlODElQUYlRTMlODMlOTElRTMlODIlQjklRTMlODIlQUIlRTMlODMlQUIlRTMlODIlQjElRTMlODMlQkMlRTMlODIlQjklRTMlODElQTclRTUlOTElQkQlRTUlOTAlOEQlRTMlODElOTklRTMlODIlOEIlRTMlODElQUUlRTMlODElOEMlRTglODklQUYlRTMlODElODQmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWIyMGJkNzFmMDk5ZDE5Njc2YzlkZDhhOGZmOWM3MzVj%26mark-x%3D142%26mark-y%3D100%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB0bW9rbXNzJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wZGFlM2ViOGI2NGU4ZGI3MGY0ZDhkOTBiZTZlMGNmOQ%26blend-x%3D142%26blend-y%3D504%26blend-mode%3Dnormal%26s%3D7dcb6330dc61bad12d1595b930f3718f)
PostgreSQLの実行計画について調べてみた | Casley Deep Innovations株式会社 技術ブログ
はじめに 初めまして、キャスレーコンサルティング SI（システム・インテグレーション）部の松本です。 業界3年目にして、実行計画を一度も見たことがなかった私が、 「実行計画とは何か、どのように取得するのか。」について調べた結果をまとめました。 ※本ブログでは、PostgreSQL Tutorialより提供されているdvdrentalというDBをサンプルに用いております。 目次 1.実行計画とは 2.実行計画の取得方法 2.1.EXPLAIN文 2.2.オプション(ANALYZE,FORMAT) 2.3.ANALYZE文 3.実行計画の構造 3.1.ノードのツリー構造について 3.1.1.テーブルスキャンノード 3.1.2.結合系ノード 3.1.3.その他のノード 3.2.処理コストの確認方法 4.まとめ 1.実行計画とは 実行計画とは、ユーザによって発行されたクエリを実行するための手順書の
Amazon DynamoDB のテーブル設計で悩んだら最初に読もう -これだけ知ればある程度の検索には対応できる-
こんにちは、広野です。 Amazon DynamoDB は NoSQL と言われる類のデータベースですが、検索条件の指定に限りがあり、また検索条件を増やすための設定が構築後に追加できない箇所があります。そのため、最初のテーブル設計の時点で実際に使用する検索条件を意識して構築しないと、最悪データベースの作り直しになってしまいます。 そこで、簡易な検索要件であればこれだけ押さえておけば対応できる！という例をつくってみました。Amazon DynamoDB のテーブル設計でお悩みの方に読んで頂けたらと思います。 本記事では、クエリーによる検索について言及します。フィルターは全件取得の後に条件でデータをフィルターするので、データ数や実行回数が多いと課金が高額になる恐れがあります。また、データ量が多いとレスポンスが一気に遅くなるので、実用的でなくなるケースがあります。あくまで、データ量が少ないときの
Workload Identity 連携を利用して GitHub Actions を動かす
こんにちは、SREディビジョンの松島です。 この記事では Workload Identity 連携の機能紹介と、GitHub Actions から Google Cloud を操作するハンズオンを行います。 Workload Identity 連携とは 外部のワークロードに対して Google Cloud のサービスアカウントの権限を利用させることができる機能です。 AWSや、OpenID Connect、SAML 2.0 について Workload Identity による ID の連携が可能となっています。 Workload Identity 連携のいいところ サービスアカウントキーを発行せずに外部のワークロードに対して Google Cloud の操作を行わせることができる点が良いところです。 サービスアカウントキーは発行自体が認証情報の漏洩機会の増加などにつながるなど、ベストプラク
セッションマネージャーのハマりどころをパターンごとに整理してみる | DevelopersIO
こんにちは、鈴木(純)です。 みなさんセッションマネージャー、使ってますか？私は結構な頻度で利用しています。 EC2へ入るのにSSHするの面倒だし、プライベートサブネットにもアクセスできるので踏み台がいらなかったりと非常に便利ですよね。 しかし、いざ設定してみるとなかなか繋がらなくてドキュメントをみてもよく分からない、意外と設定が多くてどこに原因があるのかわからないなんてこともありませんか？ 今回はそんなセッションマネージャーを利用するときのハマりどころをパターンごとに整理してみました。 セッションマネージャーでEC2にアクセスする場合、大きく分けて次の3パターンで考えます。 EC2がパブリックサブネットにある場合 EC2がプライベートサブネットにあり、インターネットへのアウトバウンド通信経路がある場合 EC2がプラベートサブネットにあり、インターネットへのアウトバウンド通信経路がない場合
GoでSQLの複雑なクエリのテストを書いてみた - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネート投稿機能や成果確認機能などを備えています。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピング、ブランド様のECサイトへの連携が可能です。成果確認機能では、投稿されたコーディネート経由のEC売上やコーディネート閲覧数などの成果を可視化しています。 本記事では、成果データの集計処理におけるBigQueryのクエリ実行処理のユニットテストをGoで実装した取り組みと、その際の工夫についてご紹介します。 目次 はじめに 目次 成果データの集計処理とは 抱え
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ | mond
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ 端的に言うと性能が良いからです。 これを理解するにはバッファプールへの理解が必要です。ディスク指向のデータベースの上では有限のメモリを最大限活用することでメモリに入り切らない巨大なデータ群に対して良好な参照性能を出す必要があります。バッファプールとはディスク上のデータの羅列を固定サイズのページ（InnoDBの場合16KB）の羅列であるとして読み書きに必要な分だけをメモリに移し取り複数の書き込みをできる限りメモリ内で受け止めて後でまとめてディスクに書き戻すという、ライトバック型のキャッシュのような機構です。 この中においてバッファプールは有限のサイズしか無いので適宜プール内のデータを書き戻して入れ替えながら上手くやっていく必要があります。 さてB+treeとB-treeの最大の違いは木のリ
BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み - ZOZO TECH BLOG
こんにちは、データ基盤の開発・運用をしている谷口（case-k）です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と利便性の両立 データ基盤を保守運用しやすい 秘密情報をテーブルに新規追加しやすい 秘密情報の権限管理がしやすい ポリシータグを活用したデータ連携の仕組み 利用者が参照するデータ連携後のテーブル 2つのデータ連携基盤 日次データ連携基盤 基幹DBからBigQuery(Private)へのロード BigQuery公開環境への書き込み リアルタイムデータ連携基盤 BigQueryロード前にマスクしたカラムを追加 BigQueryへのストリーミング
BigQuery Scriptingの便利な使い方をまとめてみた - yasuhisa's blog
背景 & Disclaimer 自分自身はこれまでBigQuery Scriptingをほぼ使っていませんでした BigQuery自体は3年くらいの利用歴 SQL単発で済ませるのが苦しそうな場合は、Pythonなどのプログラミング言語 + ワークフローエンジンの組み合わせで戦っており、自分としては特に困っていなかった 社内で他の方が使うケースをぼちぼち見ることがある 自分は困っていなくても、社内のBigQueryユーザーでBigQuery Scriptingを使っていて困っている人がそれなりにいる 著者はそれなりのBigQueryユーザーがいる企業のデータ基盤の人間です さすがに「使ったことないので、分からないですねー」で済ませるわけにはいかなくなってきた そもそもどんなユースケースで便利なのかすらも分かっていない状態なので、便利そうに思える場合をまとめてみることにしました というわけで、
BigQueryの料金体系(BigQuery Editions)を徹底解説 - G-gen Tech Blog
G-genの杉村です。Google Cloud (旧称 GCP) のフルマネージドなデータウェアハウスサービスである BigQuery の新しい料金体系「BigQuery Editions」が 2023年3月29日に発表され、2023年7月5日に施行されました。当記事ではその仕組みと、従来の料金体系との違いなどについて解説します。 概要 新しい価格体系 何が変わるか 値上げか、値下げか 当記事での解説 Physical storage 圧縮後データに対する課金 制約 Active と Long-term タイムトラベル・フェイルセーフへの課金 単価の違いと圧縮率 単価の違い 圧縮率の例 Physical storage への移行 BigQuery Editions BigQuery Editions とは 3つのエディション・料金表 クエリがプロジェクトをまたぐ場合 いつ Editions
Monitoring resource usage in a cloud data warehouse | Google Cloud Blog
Marco TranquillinCustomer Engineering Manager for Data Analytics Google BigQuery is a fully managed serverless solution for your enterprise data warehouse workloads. Nothing could be easier than that: Just upload your data via batch or streaming and start running your queries. The underlying system will seamlessly take care of providing the infrastructural resources needed to complete your differe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国土交通省が新サイト「不動産情報ライブラリ」を無料公開、早くも神サイトと評判【やじうまWatch】
The Many SHAs of a GitHub Pull Request - Ken Muse
Demystifying BigQuery BI Engine | Google Cloud Blog
分散型SNS「マストドン」、待望の全文検索機能を追加。他サーバーの公開投稿もまとめて検索可能に【やじうまWatch】
