並び順

ブックマーク数

期間指定

  • から
  • まで

281 - 320 件 / 953件

新着順 人気順

replicationの検索結果281 - 320 件 / 953件

  • PowerSync: Drop-in sync layer for offline-first apps

    “Integrated @powersync_ into an experimental branch of @HabitKit. Setup was pretty easy and fast. Really love the developer experience and I'm amazed how good it works 🤩”

      PowerSync: Drop-in sync layer for offline-first apps
    • Now Available: Amazon ElastiCache Global Datastore for Redis | Amazon Web Services

      AWS News Blog Now Available: Amazon ElastiCache Global Datastore for Redis In-memory data stores are widely used for application scalability, and developers have long appreciated their benefits for storing frequently accessed data, whether volatile or persistent. Systems like Redis help decouple databases and backends from incoming traffic, shedding most of the traffic that would had otherwise rea

        Now Available: Amazon ElastiCache Global Datastore for Redis | Amazon Web Services
      • The FDA-approved drug ivermectin inhibits the replication of SARS-CoV-2 in vitro

        •Ivermectin is an inhibitor of the COVID-19 causative virus (SARS-CoV-2) in vitro. •A single treatment able to effect ~5000-fold reduction in virus at 48 h in cell culture. •Ivermectin is FDA-approved for parasitic infections, and therefore has a potential for repurposing. •Ivermectin is widely available, due to its inclusion on the WHO model list of essential medicines. Although several clinical

          The FDA-approved drug ivermectin inhibits the replication of SARS-CoV-2 in vitro
        • LiteFS入門

          LiteFSとは LiteFSはLitestreamの可用性に関する課題を解決するために同作者によって新しく作られたソフトウェア。 Live Read Replication の実験的な機能ではノード間のHTTP通信でリードレプレカを同期してプライマリで書き込んだデータをrestoreを通さずにレプリカから参照することができるようになる予定だった。 この時書き込みクエリをプライマリに振り分けるのはアプリケーションの責務になる。例: ただそもそも複数台でLitestreamを利用する用途の為にノード間のLive Replicationを実装したとしても、デプロイやフェイルオーバーでノードの入れ替わりが発生する時に、無停止でプライマリを別のノードに切り替えることも考慮したりと、当初のLitestreamのスコープになかった新しい問題も出てくる。 なので「サーバー内のsqlite3ファイルをS3

            LiteFS入門
          • 進化的視点からみる人間の「多様性の意味と尊重」|河田 雅圭|note

            本論考は『東北大学教養教育院叢書「大学と教養」第4巻 多様性と異文化理解』  (東北大学教養教育院編/東北大学出版会/2021年)の第1章として寄稿したものを、東北大学出版会の許可を得て、web公開し、多くの方に読んで頂けるようオープンアクセスとしたものです。ここでは、本書原稿に追加・修正された文章を公開しています。引用は[河田雅圭 (2021) 進化的視点からみる人間の「多様性の意味と尊重」『東北大学教養教育院叢書「大学と教養」第4巻 多様性と異文化理解』 pp.3-28, 東北大学教養教育院編/東北大学出版会]でお願いします。 本稿では、人間の進化史や、進化についての基本的な考え方を紹介した上で、現在の進化学や脳神経科学の進展をもとに、人間の多様性はどのように生じ、維持されているのか、また、人間は多様性をどのように認識し、区別あるいは差別するように進化したのか、という点を考察しています

              進化的視点からみる人間の「多様性の意味と尊重」|河田 雅圭|note
            • GitHub's commitment to npm ecosystem security

              Open SourceSecurityGitHub’s commitment to npm ecosystem securityWe're sharing details of recent incidents on the npm registry, our investigations, and how we’re continuing to invest in the security of npm. The npm registry is central to all JavaScript development, and, as stewards of the registry, ensuring its security is a responsibility GitHub takes seriously. Transparency is key in maintaining

                GitHub's commitment to npm ecosystem security
              • AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog

                小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリューションアー

                  AWS 認定 ソリューションアーキテクト – アソシエイト(AWS Certified Solutions Architect – Associate)の学習方法 - NRIネットコムBlog
                • CoVID 19 Growth Rate

                  CoVID 19 Worldwide Growth Rates Updated: 1st May 2020, 03:34 BST All graphs have been updated. The way the UK reports deaths has changed to include all cases, not just hospital cases, and the graphs now reflect this. In general, many countries are showing signs of having peaked (number of new confirmed cases per day is now decreasing), and several are now showing signs that the death rate has also

                  • How a Single Line of Code Made a 24-core Server Slower Than a Laptop | Piotr Kołaczkowski

                    Imagine you wrote a program for a pleasingly parallel problem, where each thread does its own independent piece of work, and the threads don’t need to coordinate except joining the results at the end. Obviously you’d expect the more cores it runs on, the faster it is. You benchmark it on a laptop first and indeed you find out it scales nearly perfectly on all of the 4 available cores. Then you run

                    • COVID-19: WHY WE SHOULD ALL WEAR MASKS  — THERE IS NEW SCIENTIFIC RATIONALE

                      The official recommendation in the United States (and other Western countries) that the public should not wear face masks was motivated by the need to save respirator masks for health care workers. There is no scientific support for the statement that masks worn by non-professionals are “not effective”. In contrary, in view of the stated goal to “flatten the curve”, any additional, however partial

                        COVID-19: WHY WE SHOULD ALL WEAR MASKS  — THERE IS NEW SCIENTIFIC RATIONALE
                      • Real time communication at scale with Elixir at Discord

                        Welcome to our series of case studies about companies using Elixir in production. See all cases we have published so far. Founded in 2015 by Jason Citron and Stan Vishnevskiy, Discord is a permanent, invite-only space for your communities and friends, where people can hop between voice, video, and text, depending on how they want to talk, letting them have conversations in a very natural or authen

                          Real time communication at scale with Elixir at Discord
                        • Docker best practices with Node.js

                          Collected, curated and written by: Yoni Goldberg, Bruno Scheufler, Kevyn Bruyere and Kyle Martin Welcome to our comprehensive list of Docker best practices that are exemplified under the realm of Node.js. Note that each and every bullet has a link to detailed information and code examples. The entire list can be found in our repository Node.js Best Practices. It covers the basics but goes all the

                            Docker best practices with Node.js
                          • macOS 11 Big Surで刷新されたコントロール/通知センターはSwiftUIを用いて実装されている。

                            macOS 11 Big Surで刷新されたコントロール/通知センターはSwiftUIを用いて実装されているそうです。詳細は以下から。 Appleは世界開発者会議(WWDC20)の基調講演の中で、次期macOS 11 Big Surはデザインが刷新されiOS 14と共通のAppウィジェットが利用できる通知センターを搭載、そしてmacOSにもWi-FiやBluetooth、AirDrop、ディスプレイの輝度や音量を調整できるコントロールセンターを導入すると発表しましたが、 Apple AppKitチームのJeff Nadeauさんによると、この通知センターとコントロールセンターはSwiftUIを利用して実装したそうです。 Since it just got mentioned in SOTU: the new Control Center and Notification Center on

                              macOS 11 Big Surで刷新されたコントロール/通知センターはSwiftUIを用いて実装されている。
                            • メッセージングPF「Apache Pulsar」の使い方(入門編)

                              ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部クラウドプラットフォーム本部の水嶋と申します。私は現在、社内向けにキューイング・Pub-Sub・ストリーミングなどのメッセージングプラットフォームを提供するチームに所属しています。 このチームでは、メッセージングプラットフォームとしてOSS Apache Pulsar(以降、Pulsar)を利用しています。チームは数年間Pulsarを開発・運用しており、この経験からノウハウが蓄積されています。これらを公開し、皆さんにぜひPulsarについて興味を持っていただければと考えています。そこで、Pulsarの使い方、運用方法、ヤフーでの事例などをシリーズ記事として投稿していくことにいたしました。本稿に限らず、今

                                メッセージングPF「Apache Pulsar」の使い方(入門編)
                              • 大人の科学(3) RNAとセントラルドグマ - 時の化石

                                どーもShinShaです。 大人の科学シリーズ第3回目の記事です。 今回はRNA(リボ核酸)がテーマです。 RNAはDNAの使い走り。 DNA情報からRNAを通じてタンパク質が合成されるのです。 セントラルドグマの仕組みを知ると大きな感動があります。 ちなみにコロナウィルスはRNAウイルスです。 もはやこの辺の生物学は必須の知識となりましたね。 がんばって一緒に勉強をしましょう。 RNAとDNA DNAの復習 RNAとは セントラルドグマ なぜDNAとRNAがあるのか セントラルドグマ タンパク質の合成 参考図書 あとがき RNAとDNA DNAの復習 前回は生物の設計図、DNAについて勉強しました。 今回はRNAに関する勉強をします。 最初に前回書いたDNAについて復習をします。 DNAはA(アデニン)、T(チミン)、G(グアニン)、C (シトシン)という4種のヌクレオチドの塩基が並んで

                                  大人の科学(3) RNAとセントラルドグマ - 時の化石
                                • Store and manage sensitive data with Secret Manager | Google Cloud Blog

                                  Many applications require credentials to connect to a database, API keys to invoke a service, or certificates for authentication. Managing and securing access to these secrets is often complicated by secret sprawl, poor visibility, or lack of integrations. Secret Manager is a new Google Cloud service that provides a secure and convenient method for storing API keys, passwords, certificates, and ot

                                    Store and manage sensitive data with Secret Manager | Google Cloud Blog
                                  • Amazon MemoryDB for Redisの論文がSIGMOD 2024で採択されたので読んでみた | DevelopersIO

                                    Amazon MemoryDBではトランザクションログサービスへの耐久性のオフロード、スナップショット用にephemeralクラスタを作成、形式手法(TLA+)で一貫性の検証などが活躍しています Amazon MemoryDB for RedisはAWSが2021年から提供するRedis互換でありながら高速なパフォーマンスと耐久性を兼ね備えたエンタープライズなインメモリデータベースです。このAmazon MemoryDBの仕組みについて説明した論文が、2024年6月にチリ・サンティアゴで開催される国際的なデータベース学会の「SIGMOD/PODS 2024」で採択されました。 The 2024 ACM SIGMOD/PODS Conference: Santiago, Chile - Welcome Amazon MemoryDB: A fast and durable memory-fi

                                      Amazon MemoryDB for Redisの論文がSIGMOD 2024で採択されたので読んでみた | DevelopersIO
                                    • AWS ElastiCache Redis のクラスターモード無効の挙動確認と Terraform 設定 - Qiita

                                      1. 概要 AWS ElastiCache Redis の クラスターモード無効 で次の挙動を把握したい エンドポイント レプリカノードのスケールアウト/イン マルチAZ ノードのスペックアップ/ダウン フェイルオーバー Terraform の設定の理解や、実行手順を確認したい 2. 検証するElastiCacheの構成 ElastiCache のサブネットグループは次の3つのAZを選択 ap-northeast-1a ap-northeast-1c ap-northeast-1d Redis の クラスターモードは「無効 (disabled)」を選択 小中規模のサービスで利用することを想定しているため 3. クラスターモードが無効の場合の機能や注意点 レプリカノードのスケールアウト(追加)、スケールイン(削除) が可能 ノードタイプのスケールアップ、スケールダウンが可能 データのパーティ

                                        AWS ElastiCache Redis のクラスターモード無効の挙動確認と Terraform 設定 - Qiita
                                      • 動物薬が新型コロナウイルス感染症治療の救世主になるか? | 酪農学園大学動物薬教育研究センター

                                        動物薬が新型コロナウイルス感染症治療の救世主になるか? 掲載日:2020.05.01 世界的に新型コロナウイルス感染症(COVID-19)が蔓延しています。日本では80%以上の患者は無症状か軽症といわれていますが、約20%の方は重症化しており400名を超える方が亡くなっています。現在、COVID-19に対する決定的な治療薬がなく、抗ウイルス薬レムデシビル、抗インフルエンザウイルス薬ファビピルビル、抗HIV薬ロピナビル/リトナビル、喘息治療薬シクレソニド、皮膚エリテマトーデス/全身性エリトマトーデス治療薬ヒドロキシクロロキン、膵炎治療薬ナファモスタッドなどの有効性の確認が観察研究や臨床研究として行われている他、一部の薬剤については臨床試験として行われています。しかし、残念ながらこれといった治療薬はいまだ明らかではなく、世界的に有効な治療薬が待たれています。 イベルメクチン(Ivermecti

                                        • How Harmful Is Social Media?

                                          There’s a general sense that it’s bad for society—which may be right. But studies offer surprisingly few easy answers. In April, the social psychologist Jonathan Haidt published an essay in The Atlantic in which he sought to explain, as the piece’s title had it, “Why the Past 10 Years of American Life Have Been Uniquely Stupid.” Anyone familiar with Haidt’s work in the past half decade could have

                                            How Harmful Is Social Media?
                                          • Design youtube

                                            CHAPTER 14: DESIGN YOUTUBE In this chapter, you are asked to design YouTube. The solution to this question can be applied to other interview questions like designing a video sharing platform such as Netflix and Hulu. Figure 14-1 shows the YouTube homepage. YouTube looks simple: content creators upload videos and viewers click play. Is it really that simple? Not really. There are lots of complex te

                                            • MySQL :: MySQL Shell 8.0 :: 11.6 Dump Loading Utility

                                              MySQL Shell's dump loading utility util.loadDump(), introduced in MySQL Shell 8.0.21, supports the import into a MySQL HeatWave Service DB System (a MySQL DB System, for short) or a MySQL Server instance of schemas or tables dumped using MySQL Shell's Section 11.5, “Instance Dump Utility, Schema Dump Utility, and Table Dump Utility”. The dump loading utility provides data streaming from remote sto

                                              • CDKインポートの実力はどうなのか? 〜我々調査隊はアマゾンの奥地へと向かった〜 - NRIネットコムBlog

                                                こんにちは、子供の寝かしつけ後の歩き方がほぼASIMOになる志水です。 手動で構築したAWSリソースをIaCで利用したいケースは、IaCを導入するタイミングや導入後急ぎの運用で手動追加したタイミングなどで出てきます。 そのとき真っ先に浮かぶIaCツールはTerraformかと思われます。 Terraformだと terraform import でインポートでき、 terraform plan で差分確認をして対象のリソースとコードの差を見つつ取り込みが可能です。また、 terraform show でインポート後のリソースのコードを確認してコードに落とし込めるので、取り込みも容易です。このようにTerraformでの取り込みの開発体験はすごく良く出来ています。 しかし、CDKを使いたいのです。TerraformよりCDKが好きなのです。もうfor_eachやdynamicを使いたくないし

                                                  CDKインポートの実力はどうなのか? 〜我々調査隊はアマゾンの奥地へと向かった〜 - NRIネットコムBlog
                                                • データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 - DATAFLUCT Tech Blog

                                                  こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。 前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か? 収集・変換・統制の3つの構成要素に分けて解説 本記事では、データ基盤の収集機能をOSSで構築し、実際に体験してみたいと思います。 これからデータ基盤を開発していく方に、少しでもお役に立てたら幸いです。 データ連携に必要なELTについて データ抽出機能に特化したAirbyteについて ELに必要な環境のセットアップ Airbyteのセットアップ PostgreSQLのセットアップ BigQuery のデータセットの作成 Airbyte上での設定 AirbtyeによるELの実行 まとめ データ連携に必要なELTについて 収集機能を構築していくあたり、大

                                                    データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 - DATAFLUCT Tech Blog
                                                  • AWS 認定 データベース – 専門知識(AWS Certified Database – Specialty)の学習方法 - NRIネットコムBlog

                                                    小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 データベース – 専門知識(AWS Certified Database – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 データベース – 専門知識」とは 「AWS 認定 データベ

                                                      AWS 認定 データベース – 専門知識(AWS Certified Database – Specialty)の学習方法 - NRIネットコムBlog
                                                    • Kafka Needs No Keeper - Removing ZooKeeper Dependency

                                                      Currently, Apache Kafka® uses Apache ZooKeeper™ to store its metadata. Data such as the location of partitions and the configuration of topics are stored outside of Kafka itself, in a separate ZooKeeper cluster. In 2019, we outlined a plan to break this dependency and bring metadata management into Kafka itself. So what is the problem with ZooKeeper? Actually, the problem is not with ZooKeeper its

                                                        Kafka Needs No Keeper - Removing ZooKeeper Dependency
                                                      • 数百 shard のデータベース運用を最適化する手法 | BLOG - DeNA Engineering

                                                        はじめに インフラエンジニアの天野です。 DeNA Advent Calendar 2021 の1日目として、ここでは DeNA TechCon 2021 Autumn で登壇させていただいた、「数百 shard のデータベース運用を最適化する手法」についてお話していきます。 録画は冒頭に挙げた YouTube に上がっていますので、よろしければそちらもご覧ください。スライドは以下にございます。 DeNA では様々なインフラの運用を自動化してきましたが、データベースの運用にはまだ一定の工数がかかっています。 ここでは、大規模ゲームを例に、DeNA が今まで取り組んできたデータベースの運用最適化の手法について紹介していきます。 大規模ゲームにおけるデータベースの特徴 MySQL 互換 リリース直後の膨大なリクエストを捌くために数百 shard の水平分割 台数が増えると故障台数も増えて運用負

                                                          数百 shard のデータベース運用を最適化する手法 | BLOG - DeNA Engineering
                                                        • GitHub - benbjohnson/litestream: Streaming replication for SQLite.

                                                          Litestream is a standalone disaster recovery tool for SQLite. It runs as a background process and safely replicates changes incrementally to another file or S3. Litestream only communicates with SQLite through the SQLite API so it will not corrupt your database. If you need support or have ideas for improving Litestream, please join the Litestream Slack or visit the GitHub Discussions. Please visi

                                                            GitHub - benbjohnson/litestream: Streaming replication for SQLite.
                                                          • [アップデート] インターネットトラフィックのパフォーマンスが最大60%向上!Amazon S3 マルチリージョンアクセスポイントの紹介 | DevelopersIO

                                                            [アップデート] インターネットトラフィックのパフォーマンスが最大60%向上!Amazon S3 マルチリージョンアクセスポイントの紹介 アップデートからしばらく時間が経ってしまいましたが、先日リリースされた Amazon S3 Multi-Region Access Point についてご紹介します。 Amazon S3 Multi-Region Access Point が、レプリケートされたデータセットへのアクセスを最大 60% 加速 S3 Multi-Region Access Point グローバル展開されるアプリケーションやリージョン障害を考慮したアーキテクチャを設計する際に、S3 のクロスリージョンレプリケーション(CRR)は広く採用されている方法です。 しかしながら CRR で複数リージョンのバケットにオブジェクトを配置できたとしても、最短のレイテンシでアクセスするためにど

                                                              [アップデート] インターネットトラフィックのパフォーマンスが最大60%向上!Amazon S3 マルチリージョンアクセスポイントの紹介 | DevelopersIO
                                                            • CakePHPの国際カンファレンス「CakeFest 2019」に協賛&参加しました!(資料まとめ) - コネヒト開発者ブログ

                                                              こんにちは!サーバーサイドエンジニアの @fortkleです! 今回は、先週末に開催されたCakePHPの国際カンファレンスである「CakeFest 2019」に参加してきたのでレポートしたいと思います。 CakeFest 2019 CakeFestはPHPのフレームワークであるCakePHPの国際イベントで、セミナー2日、カンファレンス2日の計4日間に渡って開催されるイベントです。 開催地は事前に投票によって決められており、今回は初めての日本開催となりました。 私は後半のカンファレンスから参加しました。 cakefest.org 会の雰囲気 後半2日間のカンファレンス会場はSmartNewsさんのオフィス 公式発表はないのであくまで推測になりますが、全体でいうと100名弱ほど、そのうち半分ほどが海外からの参加者という風に非常に国際色豊かなイベントでした。 このような形式のカンファレンスに

                                                                CakePHPの国際カンファレンス「CakeFest 2019」に協賛&参加しました!(資料まとめ) - コネヒト開発者ブログ
                                                              • Celebrate 15 Years of Amazon S3 with ‘Pi Week’ Livestream Events | Amazon Web Services

                                                                AWS News Blog Celebrate 15 Years of Amazon S3 with ‘Pi Week’ Livestream Events I wrote the blog post that announced Amazon Simple Storage Service (Amazon S3) fifteen years ago today. In that post, I made it clear that the service was accessed via APIs and that it was targeted at developers, outlined a few key features, and shared pricing information. Developers found that post, started to write co

                                                                  Celebrate 15 Years of Amazon S3 with ‘Pi Week’ Livestream Events | Amazon Web Services
                                                                • Amazon RDS for PostgreSQL now supports major version PostgreSQL 15

                                                                  Amazon Relational Database Service (Amazon RDS) for PostgreSQL now supports the latest major version PostgreSQL 15. New features in PostgreSQL 15 include the SQL standard "MERGE" command for conditional SQL queries, performance improvements for both in-memory and disk-based sorting, and support for two-phase commit and row/column filtering for logical replication. The PostgreSQL 15 release also ad

                                                                    Amazon RDS for PostgreSQL now supports major version PostgreSQL 15
                                                                  • The #1 bug predictor is not technical, it's organizational complexity

                                                                    (Higher numbers are better. A more detailed description follows.) That's pretty interesting! Organizational structure has the highest precision, and the highest recall. (Again, more on the details later). That's pretty interesting, isn't it? The distance to decision makers and the number of developers working on a project is clearly and unambiguously the issue that is the best predictor of future

                                                                    • MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする | CyberAgent Developers Blog

                                                                      MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする 技術本部 サービスリライアビリティグループ(SRG)の長谷川 @rarirureluis です☺ #SRG(Service Reliability Group)は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 弊社では Cycloud と呼ばれる、サイバーエージェント社内で運営されているプライベートクラウドがあります。 CyberAgentのプライベートクラウド Cycloudの運用及びモニタリングについて #CODT2020 / Administration and Monitoring for Cycloud 僕が担当しているいくつかのサービスでも Cycloud を利用

                                                                        MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする | CyberAgent Developers Blog
                                                                      • GitHub - milvus-io/milvus: A cloud-native vector database, storage for next generation AI applications

                                                                        Milvus is an open-source vector database built to power embedding similarity search and AI applications. Milvus makes unstructured data search more accessible, and provides a consistent user experience regardless of the deployment environment. Milvus 2.0 is a cloud-native vector database with storage and computation separated by design. All components in this refactored version of Milvus are state

                                                                          GitHub - milvus-io/milvus: A cloud-native vector database, storage for next generation AI applications
                                                                        • How RocksDB works - Artem Krylysov

                                                                          Introduction # Over the past years, the adoption of RocksDB increased dramatically. It became a standard for embeddable key-value stores. Today RocksDB runs in production at Meta, Microsoft, Netflix, Uber. At Meta RocksDB serves as a storage engine for the MySQL deployment powering the distributed graph database. Big tech companies are not the only RocksDB users. Several startups were built around

                                                                          • S3へ出力したCloudWatch LogsのデータをS3 SelectとAthenaで確認してみた | DevelopersIO

                                                                            Kinesis Data Firehose介し、S3へ出力したCloudWatch LogsのデータをS3 SelectとAthenaで確認してみました。 Kinesis Data Firehoseを使いCloudWatch LogのデータをS3に出力することが可能です。S3をデータソースにしたデータの確認方法は多々あると思いますが、ここではS3 SelectとAthenaを利用しログデータを確認してみたいと思います。本エントリでは、環境構築については割愛していますので、構築については以下ブログを参考にしてください。 CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する なお、ここではS3へ出力されたログデータはAurora監査ログを利用しています。 S3 Select 構成 Kinesis Data Firehose設定 配信ストリー

                                                                              S3へ出力したCloudWatch LogsのデータをS3 SelectとAthenaで確認してみた | DevelopersIO
                                                                            • 急成長する《現場》の、データエンジニアというお仕事。 - Qiita

                                                                              なんの話? 三行で。 サービスが急成長しデータ量が増えた際にデータエンジニアリングは必要とされる。 エンジニアリングに必要なスキルセットは比較的明確で、駆け出しエンジニアにもポジションあるよ。 データエンジニアリング業務を経て、データサイエンティストなど他職種にランクアップすることは可能。 [おまけ1] "data+engineer+positionでググる"と、主に海外のData Engineer(DE職)のお仕事が入門者レベルからエキスパートレベルまで見つかるよ...Tokyoをつけると、東京でのDE職も見つかる。転職活動で普通に有用。 *[おまけ2] 末尾におまけとして、現在私が取り組んでいる『2020年代のデータ分析基盤の基本設計』に関して日々調べていることを、公開できる範囲で書いておきたい(内容はコメント欄に随時更新)。実際のデータエンジニアリング実務の一端を知ってもらう意味で。

                                                                                急成長する《現場》の、データエンジニアというお仕事。 - Qiita
                                                                              • MySQL InnoDB Cluster 反省会 - ASMのきもち

                                                                                この記事は「MySQL Advent Calendar 2019 21日目」です。 これまた大遅刻となってしまって申し訳ございませんでした;(´◦ω◦`): これも言い訳はダメだぞ自分! さて、今年中にどうしても書き残して置きたかった内容があったのですが、ありがたくも「Adovent Calenderに書いていいよ!」というお話しをいただいたので…書かせていただきます。 題して「MySQL InnoDB Cluster 反省会」。 何もMySQLを知らない人間が、いきなり MySQL InnoDB Cluster Group Replication を導入した、そんなお話です。 前提 InnoDB Clusterを採用した理由 採用する前にやったこと 反省会(マネジメントチックな話) MySQLはコミュニティのものである 複数バージョン間レプリケーションがサポートポリシー変更 反省会(技術

                                                                                  MySQL InnoDB Cluster 反省会 - ASMのきもち
                                                                                • PostgreSQL 13 Released!

                                                                                  The PostgreSQL Global Development Group today announced the release of PostgreSQL 13, the latest version of the world’s most advanced open source database. PostgreSQL 13 includes significant improvements to its indexing and lookup system that benefit large databases, including space savings and performance gains for indexes, faster response times for queries that use aggregates or partitions, bett

                                                                                    PostgreSQL 13 Released!