Microservices Manchester: Serverless Architectures By Rafal GancarzOpenCredo
こんにちは、みんなのウェディングに出向中の小室 (id:hogelog) です。 今回はクックパッドとみんなのウェディングで利用しているデータベースドキュメント管理システム dmemo を紹介します。 https://github.com/hogelog/dmemo dmemo を作成し導入した経緯 私は2016年3月頃からみんなのウェディングで Redshift, bricolage, embulk, re:dash 等を利用したデータ分析基盤の構築を進めています。 (みんなのウェディングのデータ分析基盤の現状 - みんなのウェディングエンジニアリングブログ) 社内の誰でも扱えるデータベース、データの集約・計算・加工、ダッシュボードの作成、クエリの共有などは上記ブログ記事でも書いたように Redshift, bricolage, embulk, re:dash 等を組み合わせることで実現
Figure 01は、身長168cm、体重60kg、1秒に1.2mの速度で歩行、電動で5時間稼働し、20kgの荷物を運搬できるそうで、かなり高性能なロボットではないでしょうか。 確実にやってくる人口減少を考えると、こうした人工の労働力は、コーヒーを入れさせることはないにしても、多くのシーンで必要になるテクノロジーなのだと思います。 AI=ロボットとも捉えられがちですが、AIが担うのは認識された画像や言葉、音声を処理するソフトウェア部分(人で言えば脳に当たる情報処理)のみで、ロボットには半導体はもちろん、それら情報を認識するためのセンサー、四肢を動かすためのモーター、バッテリーなど機械工学的な技術が詰まった、その時代の叡智が集結したテクノロジーです。 OpenAI、NVIDIAなど多くのテック企業が巨額出資していることからも、様々な分野の企業が集い、技術提供しながら、その高性能化をFigur
名字ランキングデータ提供について 無料で日本最大100万人登録のデジタル家系図を作りたい方はこちら!! 2024.2.14 2024年ユーザーが選んだベスト・オブ・戦国武将を発表!! 2024.2.7 能登半島地震義援金のご報告とお礼 2024.2.7 2024年ユーザーが選んだベスト・オブ・名字を発表!! 2024.2.1 今なら名字や系図の文献が大特価で手に入る!! 2024.2.1 戦国村を作ろう!のLINEスタンプ 好評販売中!! 2024.1.31 豆のつく名字ランキングを発表!! 2024.1.24 第21回世界水泳出場選手珍しいレア名字ランキングを発表!! 2024.1.18 AFCアジアカップカタール大会日本代表選手珍しいレア名字ランキングを発表!! 2024.1.4 辰年干支にまつわる名字ランキングを発表!! 2023.12.27 第74回(2023年)NHK紅白歌合戦出
LevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values. This repository is receiving very limited maintenance. We will only review the following types of changes. Fixes for critical bugs, such as data loss or memory corruption Changes absolutely needed by internally supported leveldb clients. These typically fix breakage int
一般的なシステムで広く利用されているリレーショナルデータベースですが、システムの進化と共にデータベースの構造も複雑になりがちです。RestMQの作者、Gleicon Moraes氏の公開したスライドがシステムが複雑化していく様子をわかりやすく説明した上で「アンチパターン」を提示していました。 それによるとデータベースのアンチパターンは以下の通り。 動的なテーブルの作成 テーブルをキャッシュとして使う テーブルをキューとして使う テーブルをログとして使う 分散したグローバルなロック ストアドプロシージャ 使われない項目 JOIN地獄 ORMによって繰り返されるクエリ 負荷のコントロール どれも理由があって採用されるデザインですが、確かに後に問題を引き起こした経験もあり耳が痛い感じですね。スライド内ではそれぞれの問題についての解決策としてMongoDBやRestMQなどの利用を進めています。「
Today we are incredibly proud to announce a major new release of Fluidinfo. Our vision is that information should be easy to create, find and use. This led us to develop our core technology: an openly writable database for storing and organizing metadata. Our database is useful for developers looking to glue together data from multiple sources, be it from the web or in-house systems. Information s
リレーショナルデータベースを利用する際には、高い性能を引き出すために物理設計をし、スキーマを工夫し、パラメータのチューニングを行うことがつねに行われてきました。 性能のボトルネックはたいがいHDDにあり、いかにそのボトルネックを回避するかがチューニングのポイントですが、最近では性能向上のための武器として、HDDよりもずっとアクセス性能の高いSSDが注目されています。SSDはHDDと置き換えるだけで、アプリケーションにまったく手を加えずに性能向上を可能にする手段として非常に魅力的です。 HDDの代わりにSSDを利用したら、リレーショナルデータベースの性能はどれだけ向上するのでしょうか? オラクルと富士通が共同検証を行い、その結果をホワイトペーパーとして先週発表しました(参考「日本オラクルと富士通 フラッシュ技術活用によるデータベース高速化を共同検証」)。 ホワイトペーパーでは、HDDの代わり
最近更新されたスポット 2024/02/16 ジョナサン 豊洲店 2024/02/14 タリーズコーヒー 星天qlay店 2024/02/13 HANAKADO 2024/02/12 東京シティエアターミナル(T-CAT) 2024/02/10 Cafe&Bar Green 2024/02/10 シェフズプレス Carrot St. SANCHA店 2024/02/10 果実園リーベル エキュートエディション飯田橋店 2024/02/10 カフェ フアラライ 2024/02/06 DEAN & DELUCA カフェ 虎ノ門ヒルズ 2024/02/05 Espresso D Works 虎ノ門 つづき
RDBの復権はしばらくないと思う 最近目にしたのは、「これからRDBが十分速くなっていくので、memcachedに代わってRDBがまた使われるようになる」という意見。これはしばらくの間は無いんじゃないかと思う。全データがオンメモリだったとしても、KVSはRDBより一桁以上速い(Memcachedで100,000req/sec出せるマシンで、MySQLのpkeyによる単純なSELECTをした場合、10,000req/sec出るかどうか)。SQLパーサやらなんやらを捨てない限りこの速さには対抗できない。RDBには、1コネクション1スレッドというモデルが持つ、接続数がスケールしないという制約もある。 また、memcacheプロトコルは、get_multiが使える。get_multiを効果的に活用した場合、RDBとの差はさらに広がると思う。 RDBで大丈夫なアプリも Viewキャッシュが効果的なア
Webスケールのデータを扱うためにさまざまなデータベースが登場してきている、ということを昨日のエントリ「データベースは目的別に使い分けるべし」で紹介しました。 特にリレーショナルモデルをベースとしない、非SQL系(NoSQL)と呼ばれるさまざまな種類のデータベースが登場してきています。非SQL系のデータベースは以前からオブジェクトデータベースやドキュメントデータベース、階層型データベースなどが存在していましたが、最近注目されているのがキーバリュー型データストアと呼ばれるデータベース。 ブログ「High Scalability」にポストされたエントリ「A Yes for a NoSQL Taxonomy」では、これら非SQL系のデータベースを詳細に9分類し、それぞれの分類に属するデータベースをリストアップしています(基になったのは「NoSQL is a Horseless Carriage」
Photo by shindotv ここ最近、海外のブログで「NoSQL」という単語をちょこちょこと見るようになりました。 これは新しいデータベースのムーブメントで、「SQL=リレーショナル」ではないデータベースの事を指しています。 NoSQL DBサーバの有名な物は、Facebookがリリースした「Cassandra」、Erlangで書かれた「CouchDB」、日本からは、mixiがリリースしている「TokyoTyrant」があります。 またGoogle App Engineでは、DataStoreというBigTableベースのNoSQLサービスが提供されています。 ある程度ユーザを集めたコンシューマ向けサービスは、大抵の場合パフォーマンスとの戦いとなります。 技術誌の中でも「スケールアウト技法」的な記事を目にすることが増えてきたことからも、多くのサイト運営者が、パフォーマンスの問題を抱
データベースの醍醐味は、パフォーマンスチューニングにあります。 チューニングによっては、同じ処理でも1時間掛かる場合もあれば、 1秒で終わるということもあり得る世界です。 僕はDBの魅力に取り付かれた者の一人です。 DBという技術の奥深さが気に入っています。 DBを極めると、どこの現場に行っても絶対に必要とされます。 また、どこの現場に行っても正解を導く方程式は一緒なので応用が利くのです。 しかし、その基本原理を体系的に学べる手段はあまりありません。 OracleMasterやMCDBAといった資格試験でも学べることは限られていて あとはWebで調べるなりマニュアルを読むなりするしかありませんでした。 とくに肝であるパフォーマンスチューニングについては、 経験則でチューニングしている部分も多いです。 Oracle、SQLServer、MySQLと色々なDBのチューニングをしてきましたが、
Available as part of the Tidelift Subscription . Tidelift is working with the maintainers of Doctrine ORM and thousands of other open source projects to deliver commercial support and maintenance for the open source dependencies you use to build your applications. Save time, reduce risk, and improve code health, while paying the maintainers of the exact dependencies you use. Enterprise-ready open
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く