並び順

ブックマーク数

期間指定

  • から
  • まで

161 - 200 件 / 304件

新着順 人気順

distributedの検索結果161 - 200 件 / 304件

  • 分散密ベクトル探索エンジンValdとSentence-BERTを使った類似文書検索を試す - エムスリーテックブログ

    エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近、社内で情報検索論文輪読会を立ち上げました。 情報検索論文読み会のスケジュール そこでNGT-ONNGについての論文*1を紹介したところ1時間の予定のところを盛り上がりすぎて2時間超えてしまいました。 大盛り上がりのついでに、今回は情報検索論文輪読会で紹介した近似最近傍探索ライブラリNGTを内部で利用するValdを使って、類似文書検索がどのように出来るのか、現状の問題を解決できるのかを試したのでその結果を報告します。 Overview 弊社が抱える類似文書検索の課題 Sentence-BERT Valdを使った近似最近傍探索 NGT Vald Vald×Sententce-BERTで類似文書

      分散密ベクトル探索エンジンValdとSentence-BERTを使った類似文書検索を試す - エムスリーテックブログ
    • Productionizing and scaling Python ML workloads simply | Ray

      Ray is an open-source unified compute framework that makes it easy to scale AI and Python workloads — from reinforcement learning to deep learning to tuning, and model serving.

        Productionizing and scaling Python ML workloads simply | Ray
      • 分散学習にはHorovodを使う 文献から学ぶクラウド機械学習のベストプラクティス

        Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。後半は実際の機械学習の方法について。関連資料1、関連資料2 リソースとコストの最適化、そして、機械学習ジョブの実行方法 服部圭悟氏(以下、服部):では続いて、「リソースとコストをどう最適化するか?」と「機械学習ジョブをどう実行するか?」を同時に説明したいと思います。 やりたいこととしては、可能なかぎりコストを抑えて、でも安定した計算機クラスタを作りたい。安かろう悪かろうじゃダメってことですね。 それからスケーリ

          分散学習にはHorovodを使う 文献から学ぶクラウド機械学習のベストプラクティス
        • Observabilityをはじめよう!(後編) 〜Metrics/Logs/Tracesチュートリアル〜 | さくらのナレッジ

            Observabilityをはじめよう!(後編) 〜Metrics/Logs/Tracesチュートリアル〜 | さくらのナレッジ
          • GitHub - hashicorp/cap: A collection of authentication Go packages related to OIDC, JWKs, Distributed Claims, LDAP

            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

              GitHub - hashicorp/cap: A collection of authentication Go packages related to OIDC, JWKs, Distributed Claims, LDAP
            • gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ

              初めまして!2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音!)をゼロから実装し、OSSとして公開しました。 github.com この記事ではkannonの技術的な解説、インターンに参加した感想をお伝えします! gokartの概要 gokartの抱えていた課題 シングルスレッドでの逐次実行により実行時間が長くなってしまう GKEのリソースを効率的に使えない kannonの概要 kannonの使い方 gokart kannon gokart kannon 補足 kannonのアーキテクチャ kannonの実装 1. Task Que

                gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ
              • 分散深層学習における耐故障性と可塑性 - Preferred Networks Research & Development

                ImageNetを15分で学習して以来 [1]、Chainerと沢山のGPUを使って深層学習を並列化し、一回の学習に必要な時間を大きく短縮することができるようになりました。その後、ImageNetの学習は深層学習における並列化 ・高速化のデファクト標準ベンチマークとなりました [2]。それと同時に、深層学習の並列化および大規模化は進み、複数GPUどころか複数ノードで学習することは当たり前のこととなりました。深層学習の計算が大規模化し所要時間はどんどん短くなりましたが、一般的にはノードが増えれば増えただけ部分故障の確率は高くなります。また、大規模なクラスタでは個々の分散ジョブをスケールアウトしたりスケールダウンする機能、つまり可塑性をもとにした計算資源のやりくりが運用上重要になってきます。そこでChainerを拡張し、分散深層学習に耐故障性だけでなく可塑性を導入する実験を行いましたので、ここ

                  分散深層学習における耐故障性と可塑性 - Preferred Networks Research & Development
                • Rancher Labs、Kubernetesに対応したコンテナベースの分散ブロックストレージ「Longhorn」正式リリース

                  Rancher Labs、Kubernetesに対応したコンテナベースの分散ブロックストレージ「Longhorn」正式リリース Rancher Labsは、Kubernetesに対応したクラウドネイティブなコンテナベースのブロックストレージシステム「Longhorn」の正式リリースを発表しました。 Say hello to Longhorn GA. A #CNCF project since 2019, Longhorn is a fast, reliable, general-purpose persistent block storage solution built for #Kubernetes https://t.co/7PNpGR7sjc #devops #storage — Rancher Labs (@Rancher_Labs) June 2, 2020 Longhornは

                    Rancher Labs、Kubernetesに対応したコンテナベースの分散ブロックストレージ「Longhorn」正式リリース
                  • Folding@home – Fighting disease with a world wide distributed super computer.

                    START FOLDING NOW Install our software to become a citizen scientist and contribute your compute power to help fight global health threats like COVID19, Alzheimer’s Disease, and cancer. Our software is completely free, easy to install, and safe to use.

                      Folding@home – Fighting disease with a world wide distributed super computer.
                    • You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB

                      You now can use PartiQL (a SQL-compatible query language)—in addition to already-available DynamoDB operations—to query, insert, update, and delete table data in Amazon DynamoDB. PartiQL makes it easier to interact with DynamoDB and run queries in the AWS Management Console. Because PartiQL is supported for all DynamoDB data-plane operations, it can help improve the productivity of developers by e

                        You now can use a SQL-compatible query language to query, insert, update, and delete table data in Amazon DynamoDB
                      • プログラマを育てる脳トレパズル 遊んでおぼえるPythonプログラミング&アルゴリズム | 翔泳社

                        最初から最後まで、遊びっぱなし。 でも、「使えるコード」が書けるようになります。 【本書の特長】 <<遊び感覚でプログラミングとアルゴリズムをおぼえよう!>> ・イチからPythonのプログラミングとアルゴリズムがわかる ・ゲームをつくりながら基本を理解できる ・パズル問題で実践的なコードの書き方が身につく ・環境構築不要のGoogle Colaboratoryですぐ始められる ・パズル問題の解答はPythonに加え、JavaScriptとRubyのコードも提供 【内容紹介】 楽しくなきゃ、プログラミングじゃない! プログラミングを学ぶとき、 言語の文法などを勉強するのは退屈なものです。 何かつくりたいものがあり、 それを自分の手でつくることが 達成感となり、楽しさにつながります。 本書でも一般的なプログラミングで 必要な要素がひと通り登場しますが、 簡単なゲームをつくりながら基本をおぼえ

                          プログラマを育てる脳トレパズル 遊んでおぼえるPythonプログラミング&アルゴリズム | 翔泳社
                        • Operating a Large, Distributed System in a Reliable Way: Practices I Learned

                          For the past few years, I've been building and operating a large distributed system: the payments system at Uber. I've learned a lot about distributed architecture concepts during this time and seen first-hand how high-load and high-availability systems are challenging not just to build, but to operate as well. Building the system itself is a fun job. Planning how the system will handle 10x/100x t

                            Operating a Large, Distributed System in a Reliable Way: Practices I Learned
                          • Distributed SQL 101 | Yugabyte

                            What is Distributed SQL?Distributed SQL is a category of relational databases that combines the core features of traditional SQL and NoSQL systems, being strongly consistent while natively providing ACID transactional support across data centers, availability zones, and regions—in the cloud. It provides a single logical relational database deployed across a cluster of network servers. Distributed

                              Distributed SQL 101 | Yugabyte
                            • PayPayはなぜマイクロサービスアーキテクチャを採用したのか? 決済プラットフォームの構成と狙いを解説

                              2019年7月24日、ヤフー株式会社が主催するサーバーサイドエンジニア向けの勉強会「Bonfire Backend #3」が開催されました。第3回となる今回のテーマは「モバイル決済の裏側」。急速に成長するモバイル決済分野でサービスを展開する企業が一堂に会し、自社サービスの仕組みや技術スタックなど、知られざる裏側を語ります。プレゼンテーション「Payment as a Microservice 」に登壇したのは、PayPay株式会社のHarsh Prasad氏。数多くのマイクロサービスで構築されているPayPayの心臓部、ペイメントコアシステムの裏側を解説します。 PayPayの分散システムの裏側 Harsh Prasad氏:みなさん、こんばんは。PayPayのペイメントコアシステムを担当している、プラサド・ハーシュと申します。今日お話しさせていただきたいことは、ペイメントマイクロサービスと

                                PayPayはなぜマイクロサービスアーキテクチャを採用したのか? 決済プラットフォームの構成と狙いを解説
                              • The growing pains of database architecture | Figma Blog

                                While these fixes moved the needle, they had limitations. By analyzing our database traffic, we learned that writes— like gathering, updating, or deleting data—contributed to a significant portion of database utilization. Additionally, not all reads or data fetching could be moved to replicas due to application sensitivity to replication lag. So, from both a read and write perspective, we still ne

                                  The growing pains of database architecture | Figma Blog
                                • Appleの未開封のiPhoneをソフトウェアアップデートする「Presto」システムのさらなる詳細が明らかに

                                  Appleが未開封のiPhoneを化粧箱に入ったままソフトウェアアップデートできるようになる「Presto」と呼ばれるシステムを運用し始めることが、2024年3月末の報道により明らかになっています。このPrestoのさらなる詳細が、フランスメディアのiGenerationの報道により判明しました。 Apple Store : comment se passe la mise à jour des iPhone sous boite avec Presto | iGeneration https://www.igen.fr/iphone/2024/03/apple-store-comment-se-passe-la-mise-jour-des-iphone-sous-boite-avec-presto-142661 Apple's Presto system is even more sop

                                    Appleの未開封のiPhoneをソフトウェアアップデートする「Presto」システムのさらなる詳細が明らかに
                                  • Cloudflareでメッセージキューを提供する「Cloudflare Queues」ベータ公開。Workersのコンピュート、R2のストレージ、Queuesのキューで分散コンピューティング基盤が充実

                                    Cloudflareでメッセージキューを提供する「Cloudflare Queues」ベータ公開。Workersのコンピュート、R2のストレージ、Queuesのキューで分散コンピューティング基盤が充実 Cloudflareは、同社のCDNネットワーク基盤上でメッセージキューを提供するサービス「Cloudflare Queues」のベータ公開を発表しました。 Message queues are a fundamental building block of cloud applications—and today the Cloudflare Queues open beta brings queues to every developer building for Region: Earth. https://t.co/QaIWdDFdMc #DeveloperWeek — Cloudf

                                      Cloudflareでメッセージキューを提供する「Cloudflare Queues」ベータ公開。Workersのコンピュート、R2のストレージ、Queuesのキューで分散コンピューティング基盤が充実
                                    • 100台くらいスケールする“Kubernetesもどき”を自作してみた!

                                      この記事はFIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム(+分散Key Value Store)の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景 要約:素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバー等ありますでしょうか? 自分は学生時代からConoHa VPS(コンビニ支払いできるのが学生にやさしい)、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でK

                                        100台くらいスケールする“Kubernetesもどき”を自作してみた!
                                      • Apache ArrowとJava: ライトニングスピードのビッグデータ転送

                                        Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

                                          Apache ArrowとJava: ライトニングスピードのビッグデータ転送
                                        • GitHub - pingcap/talent-plan: open source training courses about distributed database and distributed systems

                                          You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                            GitHub - pingcap/talent-plan: open source training courses about distributed database and distributed systems
                                          • “超”大規模データを扱うからこそ直面した事象。HDFS Erasure Codingの不具合を解消するまで

                                            LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY2021 アフターインタビュー」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「大規模なHDFS Erasure Codingにおける技術的課題」です。 LINEのData Platform室では、LINEのさまざまなサービスのデータをApache HDFS(以下、HDFS)に格納しています。HDFSクラスターに保存されているデータ量は、合計で数百ペタバイトと極めて膨大

                                              “超”大規模データを扱うからこそ直面した事象。HDFS Erasure Codingの不具合を解消するまで
                                            • Kafka Streamを使ったストリーム処理の概要と運用時の考慮点 - joker1007’s diary

                                              最近、仕事で分散ストリーム処理に手を出していて、その基盤としてApache KafkaとKafka Streamsを使うことにしたので、動作概要とストリーム処理のイメージについてまとめておく。 kafkaそのものについては今更説明の必要は無いだろうと思う。 Kafka Streamsはkafkaを基盤にして分散ストリーム処理を簡単に書くためのDSLライブラリ。 https://kafka.apache.org/documentation/streams/ 延々流れてくるデータを変換して別のtopicに流したり、時間のウインドウを区切ってカウントした結果を流したり、みたいなのがサクっと書ける。 Apache Flinkなんかと似た様なことができる。 Kafka Streamsが良いのは以下の点。 ただのConsumer/Producerのラッパーなのでfat-jarファイル一つで簡単に動かせ

                                                Kafka Streamを使ったストリーム処理の概要と運用時の考慮点 - joker1007’s diary
                                              • マルチランタイム・マイクロサービスアーキテクチャ

                                                状態(state)を話題にする場合、その多くはサービスの状態や、ステートレスが望ましい理由といったことが多いのですが、サービスを管理するプラットフォーム自体にも状態は必要です。信頼性の高いサービスオーケストレーションの実行、分散型のシングルトン、時間的スケジューリング(cronジョブ)、冪等性、ステートフルなエラーリカバリ、キャッシュなどを行なうには、状態が必要になります。ここで挙げたすべての機能が、内部的に状態を持つことに依存しているのです。状態管理の実際はこの記事の範囲ではありませんが、状態に依存する分散プリミティブやその抽象化は関心の範囲内にあります。 バインディング 分散システムのコンポーネントは相互の通信が必要なだけではなく、最新の外部システム、あるいはレガシな外部システムとのインテグレーションも必要です。そのためには、さまざまなプロトコルを変換し、ポーリングやイベント駆動、リク

                                                  マルチランタイム・マイクロサービスアーキテクチャ
                                                • 公開から2年で550万ユーザー規模へと成長したBlueskyはどのようにして構築されてきたのか?

                                                  BlueskyはTwitter(現X)の代替SNSとして人気を博し、公開からの2年間で550万ユーザーを獲得するなど多くの人に利用されています。そんなBlueskyは14~15人のエンジニアによって構築されているのですが、「これまでどのように構築されてきたのか」という内容についてエンジニア向けのニュースレターである「The Pragmatic Engineer」が掲載しました。 Building Bluesky: a Distributed Social Network (Real-World Engineering Challenges) https://newsletter.pragmaticengineer.com/p/bluesky Twitterの代替SNSとしてMastodonやThreadsなど多数のSNSが登場しましたが、その中でもBlueskyは誰もが独自のサーバーを実行

                                                    公開から2年で550万ユーザー規模へと成長したBlueskyはどのようにして構築されてきたのか?
                                                  • Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing | Amazon Web Services

                                                    AWS News Blog Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing I am excited to announce the availability of a distributed map for AWS Step Functions. This flow extends support for orchestrating large-scale parallel workloads such as the on-demand processing of semi-structured data. Step Function’s map state executes the same processing steps for multi

                                                      Step Functions Distributed Map – A Serverless Solution for Large-Scale Parallel Data Processing | Amazon Web Services
                                                    • Object.fromEntriesを活用してArray#reduceを代替する

                                                      JavaScriptにおいて、ある配列をもとにして別のオブジェクトを作成する場合、Array#reduceを使用することが多い。 const input = ['foo', 'bar', 'baz']; const result = input.reduce((accumulator, currentValue) => { accumulator[currentValue] = capitalize(currentValue); return accumulator; }, {}); assert.deepStrictEqual(result, { foo: 'Foo', bar: 'Bar', baz: 'Baz' }); しかし例のように、単にキーと値の組み合わせにマッピングするだけなら、あえてArray#reduceを使うまでもない。代わりにObject.fromEntriesを使え

                                                        Object.fromEntriesを活用してArray#reduceを代替する
                                                      • 標準化でどう変わる!? 話題の次世代分散ID規格「DIDs」のポテンシャルをえーじさんに聞いてみた!

                                                        Webの世界を大きく変えるかもしれない分散ID標準規格「DIDs」についてえーじさんに聞いてみました。 Web技術の標準化団体「World Wide Web Consortium(W3C)」は7月19日、分散IDの標準規格「DIDs(Decentralized Identifiers)」のv1.0を勧告しました。この勧告をきっかけに、DIDsだけではなく、Web3やWeb5と呼ばれる非中央集権的なWeb世界やその要素技術であるブロックチェーンへの関心が高まっています。一方で、これまでのいわゆる中央集権的なWebの世界で使われてきたID管理とDIDsは何が異なるのか、一般の人々にはまだあまり理解が浸透していないようです。 DIDsが標準規格となったことで、Webの世界にはどんな影響があらわれるのか - 今回の「Ask the Expert」ではWebの標準技術に精通したエキスパートのえーじ(

                                                          標準化でどう変わる!? 話題の次世代分散ID規格「DIDs」のポテンシャルをえーじさんに聞いてみた!
                                                        • OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する - oinume journal

                                                          はじめに みなさんこんにちは。これはGo5 Advent Calendar 2019の19日目の記事です。この記事はOpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストの内部的なlatencyを可視化する話です。「内部的なlatency」というのは、HTTPリクエストの中で名前解決にどのぐらいかかったとか、コネクションを張るのにどのぐらいかかったなどです。 なお、この記事に記載しているコードは全てGitHub repositoryに上げてあります。 やりたいこと とあるアプリケーションでHTTP Clientを使ってHTTPリクエストを大量に送る処理がありました。そのサーバーはUS Regionで動いていて、そこからHTTPリクエストを日本にあるサーバーに送るというもので、この処理のlatencyが非常に気になっていました。そのため、HTTPリクエスト

                                                            OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する - oinume journal
                                                          • Under the hood: Amazon Elastic Container Service and AWS Fargate increase task launch rates | Amazon Web Services

                                                            Containers Under the hood: Amazon Elastic Container Service and AWS Fargate increase task launch rates Since 2015, hundreds of thousands of developers have chosen Amazon Elastic Container Service (Amazon ECS) as their orchestration service for cluster management. Developers trust Amazon ECS with the lifecycle of their mission-critical applications, from initial deployment to rolling out new versio

                                                              Under the hood: Amazon Elastic Container Service and AWS Fargate increase task launch rates | Amazon Web Services
                                                            • GitHub - readysettech/readyset: Readyset is a MySQL and Postgres wire-compatible caching layer that sits in front of existing databases to speed up queries and horizontally scale read throughput. Under the hood, ReadySet caches the results of cached selec

                                                              ReadySet is a transparent database cache for Postgres & MySQL that gives you the performance and scalability of an in-memory key-value store without requiring that you rewrite your app or manually handle cache invalidation. ReadySet sits between your application and database and turns even the most complex SQL reads into lightning-fast lookups. Unlike other caching solutions, it keeps cached query

                                                                GitHub - readysettech/readyset: Readyset is a MySQL and Postgres wire-compatible caching layer that sits in front of existing databases to speed up queries and horizontally scale read throughput. Under the hood, ReadySet caches the results of cached selec
                                                              • [速報]Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21

                                                                [速報]Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21 Googleは、Google Cloudの能力をオンプレミスやエッジロケーションにまで拡大して提供する「Google Distribute Cloud」として、 「Google Distribute Cloud Edge」と「Google Distributed Cloud Hosted」を発表しました。 日本時間で13日未明に開幕する同社のオンラインイベント「Google Cloud Next '21」で詳細が説明される予定です。 Google Distributed Cloud Hostedは、オンプレミスのデータセンターに置いたサーバ上でGoogle Cloudが提供しているデータベースや機械学習、コンテナ管

                                                                  [速報]Google Distributed Cloud発表。Google Cloudの機能をオンプレミスやエッジロケーションに拡大。Google Cloud Next '21
                                                                • Partitioning GitHub’s relational databases to handle scale

                                                                  EngineeringPartitioning GitHub’s relational databases to handle scaleIn 2019, to meet GitHub's growth and availability challenges, we set a plan in motion to improve our tooling and ability to partition relational databases. More than 10 years ago, GitHub.com started out like many other web applications of that time—built on Ruby on Rails, with a single MySQL database to store most of its data. Ov

                                                                    Partitioning GitHub’s relational databases to handle scale
                                                                  • 分散ストレージCephのオーケストレータRookのデータ破壊バグを修正しました - Cybozu Inside Out | サイボウズエンジニアのブログ

                                                                    はじめに こんにちは、Necoプロジェクトのsatです。本記事では分散ストレージCephのオーケストレータであり、Kubernetes上で動作するRookに関するものです。このRookに存在していたデータ破壊バグを我々が検出、修正した体験談、およびそこから得られたことを読者のみなさんに共有します。本記事は以前Kubernetes Meetup Tokyo #36におけるLTで述べた問題のフォローアップという位置づけです。 speakerdeck.com "解決までの流れ(詳細)"の節以外はRookやCephについて知らなくても適宜用語を説明するなどして読めるように書きました。 Rook/Ceph固有の話にも興味があるかたは以下の記事/スライドも併せてごらんください。 blog.cybozu.io speakerdeck.com 用語 Rook/Cephについて知らないかた向けに、まずは本節

                                                                      分散ストレージCephのオーケストレータRookのデータ破壊バグを修正しました - Cybozu Inside Out | サイボウズエンジニアのブログ
                                                                    • The Distributed Computing Manifesto

                                                                      The Distributed Computing ManifestoNovember 16, 2022 • 3941 words Today, I am publishing the Distributed Computing Manifesto, a canonical document from the early days of Amazon that transformed the architecture of Amazon’s ecommerce platform. It highlights the challenges we were facing at the end of the 20th century, and hints at where we were headed. When it comes to the ecommerce side of Amazon,

                                                                        The Distributed Computing Manifesto
                                                                      • Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料

                                                                        Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料 サーバサイドやエッジでのJavaScriptランタイムを提供するDenoは、JavaScript/TypeScript用のデータストアである「Deno KV」を、同社の分散ホスティング環境であるDeno Deploy上でオープンベータとして公開したことを発表しました。 DenoはもともとNode.jsよりも優れたJavaScript/TypeScriptランタイム実現する目的で開発されたため、データストアの機能は備えていません。 そのため、Denoでアプリケーションを開発し実行する際には、データを保存するためのデータベースをユーザーが用意する必要がありました。 そこで、今年(2023年)5月に、Denoに統合されたデータストアとして

                                                                          Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料
                                                                        • Kotlin開発元が軽量なコードエディタ「Fleet」発表 エディタとバックエンドの分散処理や共同作業に対応

                                                                          この記事は新野淳一氏のブログ「Publickey」に掲載された「JetBrainsが軽量なコードエディタ「Fleet」発表。エディタとバックエンドの分散処理、多言語対応、共同作業対応など」(2021年11月30日掲載)を、ITmedia NEWS編集部で一部編集し、転載したものです。 プログラミング言語の「Kotlin」や、統合開発ツール「IntelliJ IDEA」などの開発元であるJetBrainsは、同社が新規に開発した軽量なコードエディタの「Fleet」を発表しました。 Fleetは瞬時に起動する高速で軽量なコードエディタを中心に、別途実行されるIntelliJコード処理エンジンを搭載しています。 LanguageServerを用いたプロジェクトおよびコンテキスト対応のコード補完の他に、定義と使用箇所への移動コード品質チェック、クイックフィックスなどの機能を IntelliJベース

                                                                            Kotlin開発元が軽量なコードエディタ「Fleet」発表 エディタとバックエンドの分散処理や共同作業に対応
                                                                          • Redisを使った分散ロック (SETNX, Redlock) - Carpe Diem

                                                                            概要 分散システムにおいて同じリソースにアクセスする際にロック(排他制御)する仕組みを分散ロックといいます。 ロックを用いる背景としては主に2つあり、 目的 説明 具体例 効率 同じ作業を不必要に複数回行わないため キャッシュのOriginへのリクエストを抑制したい(Cache stampede対策) 正確性 データの不整合が起きないようにするため トランザクション Redisを分散ロックに使う場合は主に前者のケースにおいて推奨されます。 環境 Redis 6.2.0 Redisでの分散ロック Redisで分散ロックを実現する方法は主に2種類あります。 SETNXを用いる Redlockアルゴリズムを用いる それぞれのケースを説明します。 SETNXを用いた分散ロック シングルインスタンスの場合SETNXを用います。 func (c *Client) updateCache(ctx con

                                                                              Redisを使った分散ロック (SETNX, Redlock) - Carpe Diem
                                                                            • クォーラムモデルを使用したAWSデータベースサービスの違い、共通点の比較 -Amazon Aurora、Amazon DocumentDB、Amazon Neptuneの比較表 - - NRIネットコムBlog

                                                                              小西秀和です。 2020年度に続き2021年、2022年、2023年もJapan AWS All Certifications Engineer(旧称:APN ALL AWS Certifications Engineer)、Japan AWS Top Engineer(Services) (旧称:APN AWS Top Engineer)に選出していただきました。これも多くの方に読んでいただいたAWS認定記事に依るところが大きいと思いますが、今後はAWS認定以外の記事も書いていこうと思います。まずはデータベースに関するテーマからです。 AWSのデータベースサービスには現在、Amazon Aurora、Amazon DocumentDB、Amazon DynamoDB、Amazon ElastiCache、Amazon Keyspaces (for Apache Cassandra)、Am

                                                                                クォーラムモデルを使用したAWSデータベースサービスの違い、共通点の比較 -Amazon Aurora、Amazon DocumentDB、Amazon Neptuneの比較表 - - NRIネットコムBlog
                                                                              • Hadoop is Dead. Long live “Hadoop.”

                                                                                There has been a resurgence of the “Hadoop is dead” narrative, and it seems like every so often this pops up in the form of a blog post or contributed article. For several years now, Cloudera has stopped marketing itself as a Hadoop company, but instead as an enterprise data company. And today, Cloudera is in the Enterprise Data Cloud market: hybrid/multi-cloud and multi-function analytics with co

                                                                                  Hadoop is Dead. Long live “Hadoop.”
                                                                                • Implementing Raft: Part 0 - Introduction - Eli Bendersky's website

                                                                                  This is the first post in a multi-part series describing the Raft distributed consensus algorithm and its complete implementation in Go. Here is a complete list: Part 0: Introduction (this post) Part 1: Elections Part 2: Commands and log replication Part 3: Persistence and optimizations Raft is a relatively new algorithm (2014), but it's already being used quite a bit in industry. The best known e