Redisデータ永続化の種類とサービス稼動時の切り替え注意点 - Qiita
前提 以下は Redis 2.8 以降を前提としています Redisのデータ永続化の種類 Redisではデータの管理手法として３種類あります。 ・メモリでデータを管理する方式（揮発性ベース） ・特定のタイミングでデータをディスクに保存する方式（RDBベース） ・随時データをディスクに保存する方式（AOFベース） 'RDB'や'AOF'とすることでRedisを再起動してもはファイルからメモリにデータを読み込みなおすためデータの永続化がはかれる。というものです。 パフォーマンス劣化などの弊害もあるため、提供するサービスの内容とメリデメを見て選択することになります。 揮発性ベース データをすべてメモリ内で保有して処理します。 Redisの再起動でデータがすべてロストしてしまうので、これが許容できるケースで利用します。 説明
DynamoDBの並列処理によるデータの欠損とProvisioning超過の対策 - ZOZO TECH BLOG
こんにちは。iQONのバックエンドエンジニアを担当しているjoeと申します。 最近、iQONのお知らせ機能のDBをMySQLからDynamoDBへ移行しました。 移行する際に発生した問題点である並列処理によるデータ欠損とProvisioning超過の対策を書きます。 間違っているところや改善点があればご指摘ください。よろしくお願い致します。 お知らせ機能とは お知らせ機能とは、facebookで言うところの「◯◯さんがあなたの投稿に「いいね!」といっています」のような、ユーザーに対するアクションがあったことを通知したり、アイテムが値引きされた、アイテムの在庫が少なくなった等のlikeしたアイテム情報をユーザーに通知する機能です。 既存のお知らせ機能の問題点 既存の構成における問題点は以下の二点です。 データの肥大化 レスポンスが遅い お知らせのデータ構造は、下記のようになっています。 My
Azure SQL DatabaseがJSONに正式対応
クラウド型データベースサービス「Azure SQL Database」がJSONに正式対応。JSONテキストからの取り込みやテーブル形式への変換、SQLテーブルデータからJSONフォーマット変換のためのビルトイン関数などの機能を実装した。 米マイクロソフトは2016年8月24日（米国時間）、クラウド型データベースサービス「Azure SQL Database」でJSON（JavaScript Object Notation）フォーマットを正式にサポートしたと発表した。 Azure SQL Databaseでは、JSONテキストからのデータの読み取り、JSONテキストからテーブル型式への変換、SQLテーブルデータのJSONフォーマットへの変換を補佐するビルトイン関数を提供する。JSON関数では、JSONテキストからの値の抽出、JSONからのオブジェクトの抽出、JSONテキスト内の値の更新、J
NoSQL
SQLを否定するかのように読める「NoSQL」。従来のSQLリレーショナルデータベースと何が違うのか？ どう捉えればよいのか？ 連載目次 「NoSQL」とは、「SQL（Structured Query Language）」ベースのリレーショナルデータベース（RDB）とは別の原理／仕組み／データモデルなどを採用したデータベースあるいはDBMSを指す「総称」である。「Not Only SQL」の略称とされることが多い。特に大規模なWebサービスでよく利用されている。その原理や特性は一様ではなく、製品によってメリット／デメリットは大きく異なる。 RDBの不得手＝NoSQLの得意分野！？ NoSQLは、従来のRDBだと処理が難しい、あるいはコストが高くなりやすい用途に向けて開発されてきた。そのため、RDBとNoSQLはメリット／デメリットが相反する傾向がある。まずはNoSQLのメリットを大まかに記
「RDB技術者のためのNoSQLガイド」出版記念セミナー(第二回) (2016/07/06 18:00〜)
本書の概要 「RDB技術者のためのNoSQLガイド」は2016/2/25に秀和システムから出版されました。 本書は、エンタープライズでRDBを利用しているユーザが、どのようにNoSQLを活用していくべきかを説明する本です。 バズワードであるNoSQLの正体についてKVS、ドキュメントDB、グラフDB、RDBのNoSQLインターフェースの４に分解して説明しています。またDWH、Hadoopとの使い分けを明確にして、NoSQLの位置づけを明確に説明しています。 加えてMongoDB 3.2、Cassandra 3.0、Redis 3.0、HBase 1.1、Neo4j 2.3、Couchbase Server 4.1、Amazon Dynamo DB、Microsoft Azure DocumentDBといった最新バージョンのNoSQLの情報を紹介しています。 セミナー概要 出版を記念して、著
NoSQL Databases: a Survey and Decision Guidance
(At the bottom of this page, you find a BibTeX reference to cite this article.) Together with our colleagues at the University of Hamburg, we — that is Felix Gessert, Wolfram Wingerath, Steffen Friedrich and Norbert Ritter — presented an overview over the NoSQL landscape at SummerSOC’16 last month. Here is the written gist. We give our best to convey the condensed NoSQL knowledge we gathered build
NoSQLサービス「Google Cloud Bigtable」が一般公開
Product updates, customer stories, and tips and tricks on Google Cloud Platform Google Cloud Platformプロジェクトは8月17日(米国時間)、「Google Cloud Bigtable is generally available for petabyte-scale NoSQL workloads｜Google Cloud Platform Blog」において、すべての規模の企業活動に対応できるスケーラブルなNoSQLサービス「Google Cloud Bigtable」の一般サービス公開を伝えた。これにより、Googleが自社のサービスに活用しているNoSQLサービスをGoogle Cloudのユーザーも利用できるようになる。 「Google Cloud Bigtable」は高性能gRP
Postgres vs Mongo
This table shows us which companies the experts have worked at and in which capacity, however the addresses refer to the company rather then the expert or their specialty, this violates 3NF. Put simply, this can be remembered as "Everything must provide a fact about the key, the whole key, and nothing but the key, so help me Codd". (Codd being the scientist who coined these forms.) Now at this poi
NoSQL「HBase」はIoTにも最適--柔軟なスキーマでデータ構造の変更に対応
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます HBase登場の背景 2月24日、オープンソースソフトウェア（OSS）プロジェクト支援団体Apache Software Foundation (ASF) は「Apache HBase 1.0」のリリースを発表しました。HBaseの開発が開始されてから約8年、数々の機能強化と安定性向上のための改良を経て、成熟した製品として一つのマイルストーンに達したことが合意された結果です。第2回では、このHBaseについて掘り下げていきます。 HBaseは、ASFのプロジェクトとして開発されているOSSのNoSQLデータベースです。同じくApacheプロジェクトの分散データ処理基盤として開発されている「Apache Hadoop」上で動作し、分散型の
ドキュメント＋グラフのハイブリットNoSQL -> OrientDB 〜Java API編〜 - A Memorandum
前回 blog1.mammb.com の続きで、今回は OrientDB を Java から操作する。 Java API OrientDB のコンポーネントは以下のようになっている。 データベースを操作する際には以下のAPIを利用することになる。 Document API Object API Graph API 今回はこれらを簡単に見ていく。 JARの分類 orientdb の jar は以下のように分かれている。 JAR 内容 説明 orientdb-core-*.jar コアライブラリ 必ず必要 orientdb-client-*.jar リモートクライアント リモートサーバ経由で処理を行う場合に必要 orientdb-enterprise-*.jar クライアントとサーバで共有のネットワークプロトコルの基本ライブラリ リモートサーバ経由で処理を行う場合に必要 orientdb-se
ビッグデータで利用されているNoSQL DBに対する探索行為に注意 - 警察庁
警察庁はこのほど、「ビッグデータ」などで利用され、注目を浴びているNoSQLデータベースであるMongoDBに対する探索行為が高水準で推移していると注意喚起を行っている。その他2種類のNoSQLデータベースに対しても探索行為が増加しているという。 2月にも、この「NoSQL」に分類されるデータベースに対する探索行為の増加について注意喚起を実施しているが、その後もMongoDBデータベースの情報収集を試みる問い合わせが依然として高い水準にあるという。 同庁は、MongoDBデータベースの情報収集を試みる問い合わせを行っている発信元IPアドレスについて調査を実施。その多くは、インターネットセキュリティの向上を目的として、攻撃を受ける可能性があるサービスが稼動しているIPアドレスの探索などの活動を実施している非営利組織(非営利組織A)や、あらゆるサービスに対して探索を実施して結果を蓄積するととも
RDBMSの苦手な処理をカバーする、気の利いたNoSQL「Redis」
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます NoSQL徹底研究の特集、第5回は「Redis」です。第1回でNoSQLを利用する企業が増えていると紹介しましたが、実際にはどのような企業がどのような理由でNoSQLを採用しているのでしょうか？ ユースケースを軸に今回のテーマであるRedisを紹介します。 Redisとは Redisは、アクセスが高速なキーバリューモデルを採用するNoSQLです。非常に高速な読み書きとアクセスが可能で揮発型メモリキャッシュの「Memcached」とユースケースが似ており、永続化できるキャッシュとしても、今まで多く採用されています。 RDBMSでは面倒になりがちなケースを解決 多くのNoSQLが、一般的に文字列やJSONなどの構造情報を格納するのに対して、
すごいアプリケーションを作りたいならCassandraを使ってみよう (1/2)：EnterpriseZine（エンタープライズジン）
止めることが許されないならCassandraを Apache Cassandraでチーフ・エバンジェリストをつとめる パトリック・ムクファディンさん Q：Cassandraは、NoSQLのマーケットにおいてどのような位置づけにあるデータベースですか? ムクファディン：NoSQLの中でもCassandraはオペレーショナルなデータベースになります。ユーザーの近いところにあって、Oracleのようなデータベースをリプレイスする存在でもあります。Cassandraはインターネット時代になり、スケーラビリティがありなおかつ稼働し続けるというニーズに応えるために出てきました。何1,000万、何億といった莫大な数のユーザーが利用しても稼働し続ける。そのために、マルチデータセンターでもアクティブ、アクティブの分散構成で、ダウンタイムのないデータベースとなっています。 Q：NoSQLデータベースは他にもさ
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
Apache Drill - Schema-free SQL for Hadoop, NoSQL and Cloud Storage
Agility Get faster insights without the overhead (data loading, schema creation and maintenance, transformations, etc.) Flexibility Analyze the multi-structured and nested data in non-relational datastores directly without transforming or restricting the data Query any non-relational datastore (well, almost...) Drill supports a variety of NoSQL databases and file systems, including HBase, MongoDB,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ECサイトをバースト負荷から救え！ NoSQLの導入を検討すべきケースと製品選びの基準：CodeZine（コードジン）
Basho、時系列データに最適化されたNoSQLデータベース「Riak TS」
Aerospike - Next Generation, NoSQL Data Platform
時代はポストRDBへ--NoSQL徹底研究 - ZDNET Japan
Payforward
