PostGIS
About PostGIS PostGIS extends the capabilities of the PostgreSQL relational database by adding support for storing, indexing, and querying geospatial data. PostGIS features include: Spatial Data Storage: Store different types of spatial data such as points, lines, polygons, and multi-geometries, in both 2D and 3D data. Spatial Indexing: Quickly search and retrieve spatial data based on its locatio
Amazon Neptune とは - Amazon Neptune
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon Neptune とは Amazon Neptune は、高速で信頼性に優れたフルマネージド型のグラフデータベースサービスで、高度に接続されたデータセットを使用するアプリケーションの構築と実行を容易にします。Neptune の中核は、専用のハイパフォーマンスなグラフデータベース エンジンです。このエンジンは、数十億の関係を保存し、ミリ秒単位のレイテンシーでグラフをクエリできるよう最適化されています。Neptune は、人気の高いプロパティグラフクエリ言語 Apache TinkerPop Gremlin と Neo4j の OpenCypher、および W3C の RDF クエリ言語 SPARQL をサポートしています。これにより、高度に接続されたデータ
Glueでcsvファイルをparquet形式に変換してみた - Qiita
AWS DASの勉強で初めてGlueを触ったのでメモ Parquet形式とは AWSドキュメントより Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parquet および ORC での述語プッシュダウンにより、Athena クエリが必要なブロックのみを取得できるようになり、クエリパフォーマンスが向上します。Athena クエリがデータから特定の列値を取得すると、データブロック述語からの統計 (最大値や最小値など)
Apache ORC • High-Performance Columnar Storage for Hadoop
ORC is an Apache project. Apache is a non-profit organization helping open-source software projects released under the Apache license and managed with open governance and privacy policy. See upcoming Apache Events. If you discover any security vulnerabilities, please report them privately. Finally, thanks to the sponsors who donate to the Apache Foundation.
列指向ストレージ形式 - Amazon Athena
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 列指向ストレージ形式 Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parquet および ORC での述語プッシュダウンにより、Athena クエリが必要なブロックのみを取得できるようになり、クエリパフォーマンスが向上します。Athena クエリがデータから特定の列値を取得すると、データブ
ORC について最初に知っておきたかったこと - Qiita
数テラバイト越えあたり or パーティション数大量になったあたりで、ORC ファイルについて詳しくなったけど最初から知っておきたかった事。 がまとまったので書いておくけど、もう一桁増えると更に知っておきたかった事が増える気がする。随時更新。 BigData を扱うデータフォーマット ORC とは Hive / Spark / Presto 等と言った（以下 Hive 等）のビッグデータ基盤で使えるカラムナデータフォーマットだ。 MySQL では、実際のデータファイルは .idb ファイル等の形式で保存されるが、Hive 等ではフォーマットを複数選ぶことができ、ORC はデファクトスタンダートだ。次点に Perquet1 等がある。 HDFS に収納されて Hive 等 Query 対象となることが多い。 Reference Primary 公式サイト - https://orc.apach
HBase とは何か? - Apache Hbase の説明 - AWS
Apache HBase は、オープンソースの NoSQL 分散型ビッグデータストアです。ペタバイト規模のデータへの厳密に一貫したランダムなリアルタイムアクセスが可能です。HBase は、大規模なスパースデータセットの処理に非常に効果的です。 HBase は Apache Hadoop および Hadoop エコシステムとシームレスに統合され、Amazon Elastic MapReduce (EMR) ファイルシステム (EMRFS) を使用して Hadoop 分散ファイルシステム (HDFS) または Amazon S3 上で動作します。HBase は Apache MapReduce framework for Hadoop への直接の入出力として機能し、Apache Phoenix と連携して HBase テーブルに対する SQL のようなクエリを可能にします。 HBase は列指
Amazon Redshift でのデータ共有の概要 - Amazon Redshift
データ共有を使用すると、Amazon Redshift クラスター間でライブデータを安全かつ簡単に共有できます。 データ共有の使用を開始する方法、および AWS Management Consoleを使用してデータ共有を管理する方法については、「データ共有タスクの管理」 を参照してください。 Amazon Redshift のデータ共有ユースケース Amazon Redshift のデータ共有は、次のユースケースで特に便利です。 さまざまな種類のビジネスクリティカルなワークロードのサポート – 複数のビジネスインテリジェンス (BI) クラスターまたは分析クラスターとデータを共有する一元的な抽出、変換、およびロード (ETL) クラスターを使用します。このアプローチは、個々のワークロードに対して読み込みワークロードの分離とチャージバックを提供します。料金とパフォーマンスのワークロード固有の
Amazon Redshift でのデータの共有 - Amazon Redshift
Amazon Redshift のデータ共有により、データを手動で移動またはコピーすることなく、Amazon Redshift クラスター、ワークグループ、AWS アカウント、および AWS リージョン 間で、ライブデータへのアクセスを安全に共有できます。データはライブであるため、すべてのユーザーは更新後すぐに、一貫性のある最新情報をAmazon Redshift で確認できます。 プロビジョニングされたクラスター、サーバーレスワークグループ、アベイラビリティーゾーン、AWS アカウント および AWS リージョン の間でデータを共有できます。クラスタータイプ間およびプロビジョニングされたクラスターとサーバーレス間で共有できます。 Amazon Redshift でのマルチウェアハウス書き込み (プレビュー) 読み取りと書き込みの両方のデータベースオブジェクトは、同一の AWS アカウント
MariaDB、MySQL、および PostgreSQL の IAM データベース認証 - Amazon Relational Database Service
AWS Identity and Access Management (IAM) データベース認証を使用して、DB インスタンスを認証できます。IAM データベース認証には、MariaDB、MySQL、および PostgreSQL を使用します。この認証方法では、DB インスタンスに接続するときにパスワードを使用する必要はありません。代わりに、認証トークンを使用します。 認証トークンは、Amazon RDS がリクエストに応じて生成する一意の文字列です。認証トークンは、AWS 署名バージョン 4 を使用して生成されます。各トークンには 15 分の有効期間があります。認証は IAM を使用して外部的に管理されるため、ユーザー認証情報をデータベースに保存する必要はありません。引き続きスタンダードのデータベース認証を使用することもできます。トークンは認証にのみ使用され、確立後のセッションには影響
Linux Foundation Launches Open Source Valkey Community
6 MIN READ Linux Foundation Launches Open Source Valkey Community The Linux Foundation | 28 March 2024 Community maintainers, contributors, and users will continue collaborative development of an open source, in-memory data store under the new Valkey name. SAN FRANCISCO – MARCH 28, 2024 – Today, the Linux Foundation announced its intent to form Valkey, an open source alternative to the Redis in-me
An in-process SQL OLAP database management system
DuckDB is a fast in-process analytical database DuckDB supports a feature-rich SQL dialect complemented with deep integrations into client APIs Installation Documentation -- Get the top-3 busiest train stations SELECT station_name, count(*) AS num_services FROM train_services GROUP BY ALL ORDER BY num_services DESC LIMIT 3;
DuckDB as the New jq
Recently, I’ve been interested in the DuckDB project (like a SQLite geared towards data applications). And one of the amazing features is that it has many data importers included without requiring extra dependencies. This means it can natively read and parse JSON as a database table, among many other formats. I work extensively with JSON day to day, and I often reach for jq when exploring document
Windows上にてSSMセッションマネージャープロキシでDataGripからDBに接続する方法
表題の件がネットに明示されていなかったので改めて書きます。 AWS SSM Session Manager Proxy : DBE-9500 So I checked the PATH with echo, and there are many missing paths, how should I solve them? 上記Jetbrainsのトラックを見るに、Authentication Type「 OpenSSH config and authentication agent 」はAWS CLIと Session Manager Pluginのパスを読み込めていないようなので、下記対処により（ターミナルでポートフォーワード処理せずに）DataGripだけで完結できます。 まずAWS CLIと Session Manager Pluginを環境変数PATHに設定 次にProxyCom
Confluence データベース | Atlassian
サーバー製品のサポート終了が間近に迫っている今、Atlassian Migration Program により、クラウド移行を成功させる計画を立てましょう。
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ | mond
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ 端的に言うと性能が良いからです。 これを理解するにはバッファプールへの理解が必要です。ディスク指向のデータベースの上では有限のメモリを最大限活用することでメモリに入り切らない巨大なデータ群に対して良好な参照性能を出す必要があります。バッファプールとはディスク上のデータの羅列を固定サイズのページ（InnoDBの場合16KB）の羅列であるとして読み書きに必要な分だけをメモリに移し取り複数の書き込みをできる限りメモリ内で受け止めて後でまとめてディスクに書き戻すという、ライトバック型のキャッシュのような機構です。 この中においてバッファプールは有限のサイズしか無いので適宜プール内のデータを書き戻して入れ替えながら上手くやっていく必要があります。 さてB+treeとB-treeの最大の違いは木のリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache ORC - Wikipedia
https://www.amazon.co.jp/dp/4873117240
Data engineering - Wikipedia
やさしいActiveRecordのDB接続のしくみ
