Graph
RedisGraph is the first queryable Property Graph database to use sparse matrices to represent the adjacency matrix in graphs and linear algebra to query the graph. Primary features Based on the Property Graph Model Nodes (vertices) and Relationships (edges) that may have attributes Nodes that can be labeled Relationships have a relationship type Graphs represented as sparse adjacency matrices Cyph
ソシャゲエンジニアの自分が開発に必須だなと思った知識（MySQL編） - Qiita
この記事の目的 自分は、とある会社様の元でソシャゲの API 開発をさせていただいています。 ソシャゲは、リリース時やイベント時などに集中アクセスされやすく、負荷軽減の知識がない状態で開発を行ってしまうと、運用時に緊急メンテ祭りになりやすいジャンルかなと思っています。 これまで培ってきた MySQL の知識ですが、脳内メモリ量の関係上、暗記できないのでメモしておこうというのが主目的です。 ここ数年ほどソシャゲ開発しかしていないため、偏っている感がある内容ですのでご注意ください。 概要 ストレージエンジンは InnoDB。メインで扱っている MySQL バージョンは 5.6。 記事の内容ですが、これらのキーワードを見て、おおよそ分かる方は読む必要はないかと思います。 インデックス系 クラスタインデックス カバリングインデックス EXPLAIN で注意するべき値 トランザクション系 MVCC
TeamSQL - Cross-platform SQL Client Built for Collaboration
Looking for an Amazon Redshift client? TeamSQL has retired and is not available for download anymore. You can The world's first and the only query and management tool built for Amazon Redshift. Get DataRow for Amazon Redshift Hello, TeamSQL has been a great platform to experiment with modern UI and powerful features to help you manage your popular databases with collaborative features. Over two ye
SQLで羃等にDBスキーマ管理ができるツール「sqldef」を作った - k0kubun's blog
sqldefのリポジトリ github.com これは何か Ridgepoleというツールをご存じでしょうか。 これはRubyのDSLでcreate_tableやadd_index等を書いてスキーマ定義をしておくとそれと実際のスキーマの差異を埋めるために必要なDDLを自動で生成・適用できる便利なツールです。一方、 で言われているように、Ridgepoleを動作させるためにはRubyやActiveRecordといった依存をインストールする必要があり、Railsアプリケーション以外で使う場合には少々面倒なことになります。*1 *2 そこで、Pure Goで書くことでワンバイナリにし、また別言語圏の人でも使いやすいよう、RubyのDSLのかわりに、誰でも知ってるSQLでCREATE TABLEやALTER TABLEを書いて同じことができるようにしたのがsqldefです。 使用例 現時点ではMy
[翻訳] たった一つの設定変更が如何にしてクエリのパフォーマンスを50倍も改善したか （How a single PostgreSQL config change improved slow query performance by 50x）
先日、「How a single PostgreSQL config change improved slow query performance by 50x」というPostgreSQLのSSD環境でのチューニングの記事を見つけたのですが、これをTweetしたらRTやLikeを比較的たくさん頂きました。 How a single PostgreSQL config change improved slow query performance by 50x https://amplitude.engineering/how-a-single-postgresql-config-change-improved-slow-query-performance-by-50x-85593b8991b0 How a single PostgreSQL config change improved sl
期間を絞った処理がしたいけどcreated_atにインデックスがなくて辛いときの処方箋 - Qiita
Log.where('created_at > ?', 24.hours.ago).where(type: 'error') って叩きたいのだけど、 created_at にインデックスなんて張ってないので全力でフルテーブルスキャンになって結果が返ってこない😱 前提 created_at にインデックスなんて張ってない でも id は auto_increment でだいたい日時順に振られてることが期待できる 解決策 インデックスがなければ自分で二分探索すればいいじゃない！ ってのを書いたのでご活用ください。 class ActiveRecord::Base # @param [Time] created_at # @return [ActiveRecord::Base] def self.find_closest_created_at(created_at) return if sel
PostgreSQL ++ for time series and events
PostgreSQL ++ for time series and eventsEngineered to handle demanding workloads, like time series, vector, events, and analytics data. Built on PostgreSQL, with expert support at no extra charge. “Our queries are really fast, taking only 100 ms for a table with around 1.4 billion rows.”Christian Halim, engineering manager at Pintu, one of Indonesia’s leading cryptocurrency trading platforms, expl
Dockerで開発環境のMySQLと同じデータを手軽にローカル環境でも利用する - tehepero note(・ω<)
2016 - 06 - 20 Dockerで開発環境のMySQLと同じデータを手軽にローカル環境でも利用する Docker MySQL DevOps Microservicesを運用していると、サービス毎にDBを持つことになってどうしても扱うDBや スキーマ が多くなってしまいます。 開発環境の MySQL （ AWS ならRDS）に直接接続するならまだしも、DBはローカルにもって好き勝手に使ったり、汚したりスクラップしたりしたいですよね。 というわけで、Dockerを使ってカジュアルにその環境を作ってみました。 やりたいこと やりたいことを以下の図のような感じ。 docker runで MySQL のコンテナを起動する コンテナ起動時に任意のRDSから ダン プを取得し、コンテナ内の MySQL にリストアする（もちろんRDSでも AWS でもなくて良い） 使う 再度docker run
sql2o - easy database query library
Sql2o is a small Java library, that makes it easy to execute sql statements against your JDBC compliant database. Execute, fetch and map in just a few lines of code With sql2o you execute your query, fetch the result and map it to a POJO model, in just a few lines of code. Often it is a one-liner, as long as you don't count the try-with-resouce block. Sql2o uses named parameters. public List<Custo
Flyway は複数人での開発に向かないという誤解について - tototoshi の日記
“データベースマイグレーションについて考えないといけないことや諦めないといけないことが結構あるでよ” http://t.co/BYna6w5luj 期待して記事見たが、複数人開発時におけるバージョン番号の衝突について説明がなかったのが残念。紙面が限られてるししゃあない。— 早すぎる最適化オジサン (@makotokuwata) 2014, 12月 29 flyway って､V1_ みたいな prefix をつけるけど､integer を increment するのって､ブランチきって平行で開発してる場合どうなるの?という気がしている— tokuhirom (@tokuhirom) 2014, 7月 30 flywayのマイグレーションについて見てたけど、これ、バージョン番号をファイル名につける感じなのですかね。まだよく見てないが。Railsのマイグレーションと比べて複数人開発に強くないです
PostgreSQL のパフォーマンスチューニング - Qiita
PostgreSQL Advent Calendar 2014 の 13日目です。 Advent Calendar を今年もやってみたいと思って、枠が空いていたので飛び込んでみました。 昨日は osapon さんの libpqxx を使ってみたでした。 概要 PostgreSQL のパフォーマンスチューニングは大きく下記に分かれます。 システムチューニング SQL チューニング ここでは Linux 上で動かしていることを前提に、それぞれ説明します。 システムチューニング システムチューニングの概要 システムチューニングとは、OS または PostgreSQL の設定を変更することです。 それぞれ順に説明します。 OS チューニング PostgreSQL では特にメモリ関連でOSパラメータを設定変更すると、高速化効果が得られます。 特に下記のカーネルパラメータに注意します。 vm.dirt
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
curator で Kibana 用の elasticsearch のインデックスを定期的に削除する - Qiita
2015/3/15 curator v3.0 から、コマンドオプションが変わったので改定しました。 正確には v2.0 から変わってましたけど。 Kibana でダッシュボード作っていると、基本的に日時でインデックスファイルができて、ある程度溜まってくると、 elasticsearch が悲鳴をあげます（CPU的にも、メモリ的にも） ディスク容量が枯渇します ということで無限にサーバリソースが確保できない場合、Kibana の運用では定期的にインデックスファイルを削除する必要がでてきます。 この Index の削除を便利にしてくれるツールが curator です。 事前準備 Python と pip が必要なので、入れておきましょう。 $ sudo apt-get install python $ cd /tmp $ wget https://raw.github.com/pypa/pip
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TablePlus | Modern, Native Tool for Database Management
jOOQ と Flyway で立ち向かう、自社サービスの保守運用 #jjug_ccc #ccc_ab1
GitHub - mgutz/dat: Go Postgres Data Access Toolkit
MongoDB.app: The easiest way to get started with MongoDB on the Mac
GitHub - pgroonga/pgroonga: PGroonga is a PostgreSQL extension to use Groonga as index. PGroonga makes PostgreSQL fast full text search platform for all languages!
GitHub - Asquera/elasticsearch-http-basic: HTTP Basic Authentication for Elasticsearch (Discontinued)
https://github.com/javanna/elasticsearch-war-example
