並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 326件

新着順 人気順

dynamoの検索結果1 - 40 件 / 326件

  • CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

    CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?

      CockroachDB はどのくらい「しぶとい」のか? / How tough is CockroachDB?
    • SQL滅ぶべし | ドクセル

      SQL • リレーショナルデータベースシステムと会話するための言語 • 1970年 Codd が RDB モデルと同時に提案 (Alpha言語) • 1974年 Chamberlin と Boyce が改良 • 元々は SEQUEL (Structured English Query Language) だったが、商標登録されていた • 読み方は エスキューエル とそのまま読む (Glliespie 2012)

        SQL滅ぶべし | ドクセル
      • Dive deep into security management: The Data on EKS Platform | Amazon Web Services

        AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In

          Dive deep into security management: The Data on EKS Platform | Amazon Web Services
        • 分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか?それぞれの特徴をまとめてみた

          X(旧Twitter)の仕様変更などを受けて、BlueskyやMastodonなどの分散型SNSに注目が集まっています。そこで、分散型SNSプロトコルの代表的存在である「AT Protocol」「ActivityPub」「Nostr」の特徴をまとめてみました。 Docs | AT Protocol https://atproto.com/docs ActivityPub https://www.w3.org/TR/2018/REC-activitypub-20180123/ GitHub - nostr-protocol/nostr: a truly censorship-resistant alternative to Twitter that has a chance of working https://github.com/nostr-protocol/nostr Nostrの仕組

            分散型SNSプロトコル「AT Protocol」「ActivityPub」「Nostr」は一体何が違うのか?それぞれの特徴をまとめてみた
          • Linux Foundation Launches Open Source Valkey Community

            6 MIN READ Linux Foundation Launches Open Source Valkey Community The Linux Foundation | 28 March 2024 Community maintainers, contributors, and users will continue collaborative development of an open source, in-memory data store under the new Valkey name. SAN FRANCISCO – MARCH 28, 2024 – Today, the Linux Foundation announced its intent to form Valkey, an open source alternative to the Redis in-me

            • A Distributed Systems Reading List

              2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of

              • ハッカーのおもちゃとしてのNostrのススメ - Qiita

                はじめに Nostrという、SNSのようなものはご存知でしょうか? ご存知でなければ、ぜひまず一度触ってみることをお勧めします。 割と普通にSNSっぽく使えます。 分散系SNSっぽいシステム Nostrは、分散系のSNSっぽいネットワークです。 図で表すとこんな感じ。普通に想像するWebサービスとは随分形が違うと思います。 各所のリレーサーバーに、ユーザーは投稿をばらまき、ユーザーがそれを見る形です。 分散の責任がユーザー(クライアント)側にあって、リレーサーバーが落ちたり消えたりしても影響が起きにくい仕組みです。 より詳しい説明は上記でやってるのですが、端的に言って 中央管理者がいない(各リレーに管理者はいる) 冗長で災害に強い Websocketのリアルタイム通信 オープンでシンプルで、でも拡張し放題な仕様 数多のサーバーによる分散ネットワーク といった特徴があります。 ※P2P技術は

                  ハッカーのおもちゃとしてのNostrのススメ - Qiita
                • DynamoDBでできないこと

                  この記事について 本記事は、筆者が普段AWSの各種サービスを使って感じた感想・気づきをもとに、クラウドアーキの設計やサービスのより良い使い方Tipsを考察するシリーズです。 第二弾も第一弾に引き続きDynamoDBについてです。 DynamoDBはkey-value型のNoSQLであり、従来よく使われていたRDBとは異なるDB特性・クエリ特性を持っています。 そのためRDBを設計するときと同じようなノリでスキーマ設計・テーブル設計を行うと、後から「この操作をやらせるならDynamoDBじゃないほうが良かったんじゃないか?」ということが発覚しがちです。 本記事では筆者が遭遇した「DynamoDBでやらせてみたら苦労した・できなくて設計変更を強いられた」というユースケースをまとめることで、DynamoDBのクエリ特性や適性を考察することを目指します。 使用する環境・バージョン 2024/1/1

                    DynamoDBでできないこと
                  • Webシステムにおいて「画像や帳票等のファイルはDBへ格納すべきなの?」を調べてみた(ファントムファイル) - Qiita

                    Webシステムにおいて「画像や帳票等のファイルはDBへ格納すべきなの?」を調べてみた(ファントムファイル)oracleWeb この記事は、 JPOUG Advent Calendar 2023 24日目の記事です。 23日目は multilayer さんの記事『OCIのLanding Zoneについて調べてみた!』でした。 想定読者 ファントムファイルについてよく知らない、帳票の扱い方をあまり考えたことがない人 イントロダクション 皆さん、世の中のWebシステムで利用される画像や帳票ファイルがどこに保存されているかご存知でしょうか? 帳票や大きな画像ファイルなどを扱う際、大きく分けて2つの設計方針があります。 ・DBに直接保存する ・DB外部に保存し、パスなどをDBに保存する オライリーのSQLアンチパターンの、”ファントムファイル”という章にはこのあたりのことが書いています。 [Amaz

                      Webシステムにおいて「画像や帳票等のファイルはDBへ格納すべきなの?」を調べてみた(ファントムファイル) - Qiita
                    • Nostr の面白さをエンジニア目線で解説してみる

                      はじめに 今年は、SNS でありプロトコルでもある Nostr に出会いました。2023年2月の参加でしたがもう、どういった経緯で Nostr を見付けて参加したのかすら思い出せなくなってしまいました。ここ数年、X/Twitter が API という物を開発者に触らせなくなってしまいました。僕は X/Twitter が大きくなった理由の1つが、API をオープンにした事で数多くの bot やサービスがが登場した事だと思っていて、API が自由で無くなった X/Twitter をとても残念に感じています。次第に SNS に関連する何かを作るモチベーションはさっぱり無くなってしまっていました。 そんな中で見付けた Nostr はエンジニアのオアシスとでも言える SNS だと感じました。 Nostr の思想 X/Twitter は中央集権型の SNS であり、以下の様な問題を持っています。 障害

                        Nostr の面白さをエンジニア目線で解説してみる
                      • DynamoDBのベストプラクティスを技術的詳細から理解する

                        こんにちは。 株式会社CHILLNNという京都のスタートアップにてCTOを務めております永田と申します。 弊社では宿泊施設様向けに宿泊施設の予約管理用のSaaSを提供しており、現時点で1000近くの施設様にご利用いただいています。 現在、これまでに溜め込んだ日本最大級の宿泊コンテンツの検索エンジンを構築しており、その過程でさまざまなデータベースを探索しています。 本記事では、AWSのKVSであるDynamoDBを題材に、公式ドキュメントに書かれているキー設計のベストプラクティスの背景を理解することを目的とします。 なお、本記事の執筆にあたって、こちらの動画を大変参考にさせていただきました。 DynamoDBとは DynamoDBとは、AWSで利用できる、あらゆる規模に対応する高速で柔軟なNoSQLデータベースサービスです。 DynamoDBが登場した背景は、アプリケーションの大規模化です。

                          DynamoDBのベストプラクティスを技術的詳細から理解する
                        • 分散型SNS「Misskey」への開発支援に関するお知らせ

                          このたびエックスサーバー株式会社は、 分散型SNSのオープンソースソフトウェア(OSS) 「Misskey」の開発を支援することとなりました。 開発環境の提供や開発資金の援助を通じて、「Misskey」の開発・運営をサポートし、 弊社運営のVPSサービス『Xserver VPS』のインフラサービスとしての、利便性の向上へも取り組んでまいります。 ---------------------------------------------------------------------- ■開発支援の目的 エックスサーバー株式会社は、日本のインターネットの未来を支えることを理念に掲げ、 国内シェアNo.1(※1)のレンタルサーバーサービス『エックスサーバー』をはじめとした、 インターネットサービスを展開してまいりました。 「Misskey」は、「X(旧Twitter)」に替わるSNSとして昨今

                            分散型SNS「Misskey」への開発支援に関するお知らせ
                          • 「今や開発者一人ひとりにスタバのコーヒーをおごる気分」 年間5,000億円以上かかる“分散データベースの無料提供”を約150億円で実現した「TiDB Serverless」

                            真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。前半は、「TiDB Serverless」のアーキテクチャについて。 登壇者の自己紹介と会社紹介 関口匡稔氏:みなさん、初めまして。PingCAPの関口と申します。残念ながら今日は、当社のCEOのMax(Max Liu氏)が風邪を引いてしまったので、代わりに私が発表させていただきます。よろしくお願いします。 (会場拍手) Hello, English speakers. I'm Seki from

                              「今や開発者一人ひとりにスタバのコーヒーをおごる気分」 年間5,000億円以上かかる“分散データベースの無料提供”を約150億円で実現した「TiDB Serverless」
                            • Goodbye to sequential integers, hello UUIDv7!

                              At Buildkite, we've historically stored our data with two keys. We use sequential primary keys for efficient indexing, and UUID secondary keys for external use. The upcoming UUIDv7 standard offers the best of both worlds; its time-ordered UUID primary keys can be utilized for indexing and external use. This blog post will take you on the journey Buildkite took that led to our eventual adoption of

                                Goodbye to sequential integers, hello UUIDv7!
                              • DynamoDB の S3への増分エクスポートを試してみた - Qiita

                                背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエクスポートします。 この機能はフルマネージドであり、DDBの容量を消費せず、定期的なデータ更新が容易になります。 サポートされているデータ形式はDynamoDB JSONとAmazon Ionです。 これにより、テーブル全体を毎回エクスポートする必要がなく、変

                                  DynamoDB の S3への増分エクスポートを試してみた - Qiita
                                • How Instagram scaled to 14 million users with only 3 engineers

                                  Instagram scaled from 0 to 14 million users in just over a year, from October 2010 to December 2011. They did this with only 3 engineers. They did this by following 3 key principles and having a reliable tech stack. Instagram’s Guiding PrinciplesKeep things very simple. Don’t re-invent the wheel. Use proven, solid technologies when possible. Before I continue… I want to introduce SWE Quiz. It’s a

                                    How Instagram scaled to 14 million users with only 3 engineers
                                  • Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料

                                    Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料 サーバサイドやエッジでのJavaScriptランタイムを提供するDenoは、JavaScript/TypeScript用のデータストアである「Deno KV」を、同社の分散ホスティング環境であるDeno Deploy上でオープンベータとして公開したことを発表しました。 DenoはもともとNode.jsよりも優れたJavaScript/TypeScriptランタイム実現する目的で開発されたため、データストアの機能は備えていません。 そのため、Denoでアプリケーションを開発し実行する際には、データを保存するためのデータベースをユーザーが用意する必要がありました。 そこで、今年(2023年)5月に、Denoに統合されたデータストアとして

                                      Deno、JavaScript用データストア「Deno KV on Deno Deploy」オープンベータに。分散環境でも強い一貫性、1GBストレージまで無料
                                    • チームのデータ基盤技術の審美眼を育てるために取り組んでいること - ann-toque’s diary

                                      前提と想定読者 本記事の私見以外の情報に関しては、一般に公開されている資料のリンク集のようになっています。 取り組んでいる内容は、私が現在勤務している会社に関連していますが、その詳細には触れません。 以下に類する方は参考になるかもしれません。 データエンジニアやBIエンジニアのように、データ基盤を構築しようとしている方 データアナリスト、データサイエンティスト、マーケッターなど、データ基盤を利用する方々で、なぜそのシステムが選ばれているのか考えられるようになりたい方 データエンジニアリングチームをマネジメントしており、チームメンバーのスキル向上のための教材を探している方 背景 WEB業界で新卒からデータエンジニアとしてキャリアをスタートし、現在はデータストラテジスト/BIエンジニアとして活動中のやすです。 現在、私は5-10名規模のチームをマネジメントしており、チームメンバーのほとんどは2

                                        チームのデータ基盤技術の審美眼を育てるために取り組んでいること - ann-toque’s diary
                                      • 日本マイクロソフトの社員が教える、GPT×ReAct活用のコツ トークン制限がある場合は分割格納、自然言語の履歴管理にはNoSQLデータベースを

                                        ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。ここでは、「社内データを参照して何かを答えさせること」において役立つ工夫を話します。前回はこちらから。 ドキュメント検索の過程における2つの選択肢 蒲生弘郷氏(以下、蒲生):そういったところで、ReActの話に戻ります。弊社のアーキテクトが、実際にReActを使ってエンタープライズのサーチをしていくサンプルの解説記事とかを書いています。社内データを参照して何かを答えさせることにおいて非常に有益なものになってきます。 その話についても触れていきながら、GPTのシステムを組ん

                                          日本マイクロソフトの社員が教える、GPT×ReAct活用のコツ トークン制限がある場合は分割格納、自然言語の履歴管理にはNoSQLデータベースを
                                        • ネットワークに基づく分散型SNS一覧(damus, nostr, Bluesky, AT Protocol, Mastodon, Misskey, Threads, ActivityPub ...) - Qiita

                                          ネットワークに基づく分散型SNS一覧(damus, nostr, Bluesky, AT Protocol, Mastodon, Misskey, Threads, ActivityPub ...)mastodonmisskeythreadsnostrBluesky はじめに Twitterの動乱に巻き込まれ、移住先に選ばれつつある Threads が5日で1億人を突破した今日このごろ、皆様いかがお過ごしでしょうか。 Alt Twitterとしての各種サービスに注目が集まりつつありますが、それらに関しての解説記事も乱立しており、一方で、その正確性や内容には必ずしも正確ではないものもあります。 プロトコルとアプリとサービスの区別がついていなかったり、相互接続できないものが接続できると宣伝されていたり、その逆もあります。 本記事では、特にネットワークに基づいて、各種SNSを分類して説明します。

                                            ネットワークに基づく分散型SNS一覧(damus, nostr, Bluesky, AT Protocol, Mastodon, Misskey, Threads, ActivityPub ...) - Qiita
                                          • PayPalが1日3,500億回のリクエスト処理を支えるキーバリューストアをオープンソース化

                                            Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

                                              PayPalが1日3,500億回のリクエスト処理を支えるキーバリューストアをオープンソース化
                                            • 分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表

                                              分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表 データセンターをグローバル展開し、アプリケーションプラットフォームサービスを提供しているFly.ioは、分散SQLiteを実現するLiteFSの付加機能として、バックアップとスナップショット、リカバリ機能などをマネージドサービスとして提供する「LiteFS Cloud」を発表しました。 LiteFS Cloud: now in preview. We love SQLite for distributed web apps! Introducing managed backups for LiteFS. Read more from Darla Shockley and @benbjohnson.https://t.co/nQxitx5x7d

                                                分散SQLiteを実現する「LiteFS」にスナップショット機能によるディザスタリカバリを提供する「LiteFS Cloud」、Fly.ioが発表
                                              • DynamoDBはバッチ処理よりストリーム処理との相性が良いという話

                                                テーブル内に格納されているメールアドレスのデータを使って、1日ごと、1週間ごとに全ユーザーに対してメールを送信したいというバッチがあったとしましょう。 とある1人のユーザーのメールアドレスを調べること自体はQuery操作で可能ですが、バッチ処理の性質上それを全ユーザーに対してやると考えると、実質的にはテーブル全Scanと同等の処理が要求されてしまいます。 システムを利用しているユーザーから登録情報の参照・変更を随時受け付けるたびに、このテーブルへのCRUD処理が行われます。そのため、このテーブルへの全Scanはユーザー体験を損なう可能性が高いです。 解決策の模索 「とあるテーブルに対してバッチで大量アクセスするのを防ぎたい」という要件に対して、考えられるアプローチを挙げてみます。 リードレプリカの作成 コピーテーブルの作成 リードレプリカの作成 RDSやAuroraの場合は、同じデータを持

                                                  DynamoDBはバッチ処理よりストリーム処理との相性が良いという話
                                                • 秒間 10,000 リクエストを "簡単に"いなすゲームサーバーを Laravel で作る設計

                                                  1秒間に PHP が受信する HTTP リクエストが最大 10,000 回以上——— そんな世界が存在します。その一つが 「ソーシャルゲーム」 です。メンテナンスが明けた瞬間、イベントが始まった・終わる瞬間、様々なタイミングでゲームサーバーは瞬間的に高負荷になります。もちろん、サービスをリリースし PR をたくさん出し始めたその瞬間が、プロジェクトで最も高負荷となるでしょう。それらに耐えうるサーバー構成が求められていますが、「リリース直後にサーバーがダウンした」「限定イベントが始まったらすぐ緊急メンテナンスが始まった」という話はちょくちょく聞こえてきます。その 瞬間的な高負荷(いわゆる "スパイク") に耐えるには、事前準備を怠らないことが重要です。 ソーシャルゲームにおいては、他の Web アプリケーションに比べ 書き込みヘビーなワークロード であることが多いです。読み込みは比較的簡単に

                                                    秒間 10,000 リクエストを "簡単に"いなすゲームサーバーを Laravel で作る設計
                                                  • エンプラでOpenAI使うためにAWSエンジニアがAzureに入門してみた!(その1) - Qiita

                                                    その1(リソースグループ / App Service / Cosmos DBを紹介) → 本記事 その2(OpenAI Service / Log Analytics / API Managementを紹介) OpenAIで開発するならAzureはマストになってきた ChatGPTを始めとする生成AI、特に大規模言語モデル(LLM)の勢いが止まりません。 もはや小回りのきくWeb系スタートアップに限らず、そろそろエンタープライズな組織でも「わが社もChatGPTを使ってなんか作るぞい!」的なムーブが広がっている頃ではないでしょうか。 大企業でシステムを作ろうとするとセキュリティやコンプライアンスの壁があるため、ChatGPTのようなSaaSを気軽に活用するのは大きなハードルになってしまいます。そこでプライベートな環境で安全にOpenAIのAPIサービスを活用できるMicrosoft Azu

                                                      エンプラでOpenAI使うためにAWSエンジニアがAzureに入門してみた!(その1) - Qiita
                                                    • 分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要

                                                      分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要 WebAssemblyランタイム「Wasmer」の開発元であるWasmer社は、エッジロケーション上のデータセンターにWebAssemblyランタイムを展開し、分散モノリスなアーキテクチャを用いたサーバレス型の新しいアプリケーションプラットフォーム「Wasmer Edge」を発表しました。 The Cloud is dead, long live the Cloud! Announcing Wasmer Edgehttps://t.co/VjGsbMwopy pic.twitter.com/5mTtKBBjsZ — Wasmer (@wasmerio) June 15, 2023 上記のツイートに示されているように、Wasmer E

                                                        分散モノリスとWebAssemblyランタイムを用いた新しいアプリプラットフォーム「Wasmer Edge」登場。オーケストレーションもサービスメッシュも不要
                                                      • KVSあるいはKVSベースのNewSQLに高速なAuto Incrementを実装する | CyberAgent Developers Blog

                                                        AI事業本部の黒崎( @kuro_m88 )です。 MySQL、PostgreSQLのようなRDBとAmazon DynamoDBやCloud SpannerのようなNoSQL、NewSQL系のDBを比較したときに、後者はRDBのauto incrementのような機能を実装しようとすると前者と比較して性能が出ない問題があります。この問題に対してRedisのLua Scriptingを用いて採番用のキャッシュを実装し、併用することで高速化した事例を紹介します。 本記事ではAmazon DynamoDBやCloud Spannerが採用されている環境を想定します。特に特定のDBに依存した考え方ではないので、その他のKVSやKVSベースのNewSQLにも応用できる考え方かと思います。手法を検討するのに使ったコードはGoで実装しました。 前提 前提としてKVSのような分散DBにおいて、auto

                                                          KVSあるいはKVSベースのNewSQLに高速なAuto Incrementを実装する | CyberAgent Developers Blog
                                                        • Unlocking the Power of JunoDB: PayPal’s Key-Value Store Goes Open-Source

                                                          Today we are delighted to share JunoDB as an open-source project on Github, allowing others to benefit from our efforts to have an extremely scalable, secure and highly available NoSQL infrastructure. JunoDB is a distributed key-value store that plays a critical role in powering PayPal’s diverse range of applications. Virtually every core back-end service at PayPal relies on JunoDB, from login to

                                                            Unlocking the Power of JunoDB: PayPal’s Key-Value Store Goes Open-Source
                                                          • 「他人の人生に責任を負いたくない」から子育てを絶対にしたくないので、「責任を限りなく分散された世界」で生きたい

                                                            29歳。独身。女。派遣。 お金とか相手とか一旦置いといても、子を産み育てることにものすごい抵抗を感じる。それは突き詰めると「他人の人生に責任を負いたくないから」になる。 目を離した隙に死ぬかもしれない命が自分の手元にあるのは恐ろしい。何気ない自分の言葉がその子の人格に多大な影響を与えるかもしれないことが恐ろしい。私の思想や能力で子どもが経験できることが決まってくるのが恐ろしい。理屈の通らない無茶苦茶な存在と一緒に暮らすことが恐ろしい。 また、自分は両親に比較的不自由なく育ててもらった自覚がある。それなのに出来上がったのが私なので、親からしたら子育てなんて本当に割に合わない投資だと思う。これから先の老後を世話をできる自信もない。ついでに悪いと思いつつも私は私で両親に文句も山ほどある。自分の子どもが反抗期になったり、それが一過性でなかったり、大人になって(そもそも大人になれればだが)夢破れたり

                                                              「他人の人生に責任を負いたくない」から子育てを絶対にしたくないので、「責任を限りなく分散された世界」で生きたい
                                                            • Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%

                                                              Scaling up the Prime Video audio/video monitoring service and reducing costs by 90% The move from a distributed microservices architecture to a monolith application helped achieve higher scale, resilience, and reduce costs. At Prime Video, we offer thousands of live streams to our customers. To ensure that customers seamlessly receive content, Prime Video set up a tool to monitor every stream view

                                                                Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%
                                                              • 0421DS協会_ChatGPTによって描かれる未来とAI開発の変遷.pdf

                                                                発表動画はこちら。 https://youtu.be/l9fpxtz22JU 2023/4/29 一部修正とAPIに関するページ追加 2023/5/11 ChatGPTの言葉の意味を補足する資料を追加。Azure OpenAI Serviceで使えるモデルの記載を一部修正・最新情報追記。 2023/5/15 一部Fine tuningとPromptに関する記載を修正 2023/5/26 Plugin補足資料を追加 2023/6/12 Fine tuningとPromptingの位置づけを一部修正 2023/6/16 非機能要件に対応するスライドを何枚か追加。リージョン情報などを更新 アジェンダ 1 GPTの全体像 GPTとは何なのか ~チャットAIを例にした動作イメージ~ GPTによって実現されたサービス MicrosoftのGPT活用 国内のGPT導入の関連ニュース GPTに期待される用

                                                                  0421DS協会_ChatGPTによって描かれる未来とAI開発の変遷.pdf
                                                                • 今日から分散トレーシングに対応しないといけなくなった人のための opentelemetry-go 入門 - Cybozu Inside Out | サイボウズエンジニアのブログ

                                                                  こんにちは。SRE/データストアチーム の飯塚です。 私たちのチームではデータベースを代理で操作したり情報を取得したりするサービスをいくつか作り、それをプロダクトチームが利用できるように gRPC 経由で提供しています。ところで、ある日突然「分散トレーシングを活用していくことになったので、あなたのチームのサービスも対応させてください」とお願いされたらどうすればよいでしょうか?私はこれまでにいろいろなカンファレンスで分散トレーシングや OpenTelemetry についての講演を聞いていたので、理念は理解した、便利そうだ、導入してみたい、と思ったことは何度かありました。しかし実際に導入しようとして SDK のドキュメントを開いてみると、理解しなければいけない(ように見える)概念や、使い方をマスターしないといけない(ように見える)API の数に圧倒されてしまい、後回しにしてしまっていました。

                                                                    今日から分散トレーシングに対応しないといけなくなった人のための opentelemetry-go 入門 - Cybozu Inside Out | サイボウズエンジニアのブログ
                                                                  • 細かすぎるけど伝わってほしい脆弱性診断手法ドキュメント

                                                                    細かすぎるけど伝わってほしい脆弱性診断手法ドキュメント #始めに #本書は、ISOG-J WG1の新技術に対する診断手法分科会によってまとめられたさまざまな技術に関する脆弱性診断手法ドキュメントです。 クロスサイトスクリプティングやSQL Injectionなどの著名な脆弱性は診断手法や対策なども浸透し、日本語で読める良質なドキュメントが複数あります。 本ドキュメントでは、これらの脆弱性ではなく、一般に診断が困難であったり特有の確認方法が必要となるような脆弱性についてターゲットを絞って記載しています。 脆弱性診断員はもとより開発者の方々も、本ドキュメントを参考に、自身のアプリケーションに脆弱性が紛れ込んでいないか確認していただければ幸いです。 執筆者一覧 (敬称略、順不同) #三井物産セキュアディレクション株式会社 廣田 一貴三井物産セキュアディレクション株式会社 山本 健太三井物産セキュ

                                                                    • Cloud FirestoreからPostgreSQLへ移行したお話 - ZOZO TECH BLOG

                                                                      はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースであるCloud Firestoreを当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が掛からず、また安価でスケーラビリティにも優れたハイパフォーマンスなデータベースです。 しかし、Cloud Firestoreを使用して開発・運用していく中で直面した様々な課題からGCPのフルマネージドのリレーショナルデータベースであるCloud SQLのPostgreSQLにデータベースのリプ

                                                                        Cloud FirestoreからPostgreSQLへ移行したお話 - ZOZO TECH BLOG
                                                                      • 分散できないのはどう考えても僕たちが悪い - 点と接線。

                                                                        2016年にMastodonってのが出た。なんでも自由にサーバを建てられるから巨大資本に言論統制されないらしい。ちょうど真新しさに飢えていた人々はさっそくこれに群がった。かくいう僕もその一人だ。学生が建てたサーバがパンクして企業が支援を申し出たり、政治家がお忍びでアカウントを作ったりなんかして、しばらくお祭り騒ぎになった。 しかし分散型SNSが負の側面を露呈せしめるのは割と早かった。自由にサーバを建てられると言っても結局、ほとんどのユーザは人がたくさんいる場所、安定していそうな場所に行きたがる。やがてインフラコストに耐えられなくなった運営者は次々とサーバを手放し、安住の地から放逐されたユーザたちはそそくさと古巣に戻っていった。第一次Mastodonブームの終焉である。以降、Twitterがなにかやらかすたびに分散型SNSは潮の満ち引きを繰り返してきた。 現在、度重なる譲渡の末に国内二強サー

                                                                          分散できないのはどう考えても僕たちが悪い - 点と接線。
                                                                        • Introducing Service Weaver: A Framework for Writing Distributed Applications

                                                                          The latest news from Google on open source releases, major projects, events, and student outreach programs. We are excited to introduce Service Weaver, an open source framework for building and deploying distributed applications. Service Weaver allows you to write your application as a modular monolith and deploy it as a set of microservices. More concretely, Service Weaver consists of two core pi

                                                                            Introducing Service Weaver: A Framework for Writing Distributed Applications
                                                                          • GitHub - ServiceWeaver/weaver: Programming framework for writing and deploying cloud applications.

                                                                            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                              GitHub - ServiceWeaver/weaver: Programming framework for writing and deploying cloud applications.
                                                                            • misskeyの急速な流行と分散型SNSの限界 | 右や左の旦那様

                                                                              はじめに 前回の記事から11日、misskeyを取り巻く環境が日々変化しているので、今回はmisskeyに焦点を当てたブログを書こうと思います。 misskeyとは、misskey.ioとは misskeyは分散型SNSの一種であり、日本製であることから日本人の間でtwitterからの移行先として注目されています。 misskey.ioは中でもmisskey開発者が運営するも所属しているインスタンスであり、misskey派閥の中でも最大規模のインスタンスとなっています。 「分散型SNS」や「インスタンス」について詳しくは前回の記事を参照いただければと思いますが、ざっくり言えばmisskeyというソフトウェアを作った本人が運営してるも所属している最大手のサーバーがmisskey.ioだよ、ということです。 [追記] 開発者本人は運営してないよ、という情報がありましたので訂正します。ごめんなさ

                                                                                misskeyの急速な流行と分散型SNSの限界 | 右や左の旦那様
                                                                              • マイクロサービス化による「DB分割」で開発、運用が難しくなるこれだけの理由

                                                                                大きく変化した「人とシステム」の関係 企業におけるDX(デジタルトランスフォーメーション)の取り組みが加速する中で、「マイクロサービスアーキテクチャ」(以下、マイクロサービス)の注目度が増している。マイクロサービスは、複数の小さなサービスを組み合わせて一つのシステムを構成するという考え方だ。 マイクロサービスのような「疎結合アーキテクチャ」自体は以前からあるが、「クラウド」「モバイル」といった技術や考え方が普及したことで最近特に注目されている。こう語るのは、Scalarの深津 航氏(CEO、COO<最高執行責任者>)だ。 「技術の進歩によって人とシステムの関係が大きく変化した2000年ごろは、社内の情報は社内のシステムに格納され、他社と情報をやりとりするのは主に“人”だった。しかし、2010年ごろになると企業と企業のやりとりも、メールや電話だけでなく、スマートフォンのアプリケーションやWe

                                                                                  マイクロサービス化による「DB分割」で開発、運用が難しくなるこれだけの理由
                                                                                • 分散型SNS「Misskey」、それを支える技術スタック | gihyo.jp

                                                                                  本連載は分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っていきます。第1回はMisskey、ひいては分散型SNSの簡単な紹介とその内部実装の概略を説明します。 はじめまして! はじめまして、Misskey(みすきー)のプロジェクトリーダーをしている、しゅいろ(@syuilo)です! この度連載の機会をいただきましたので、ちょっと仰々しい気もしますが「Misskey & Webテクノロジー最前線」と題して、今後Misskeyやそれに関わる最新のWeb技術について解説をしていく予定です。 今回はMisskey、ひいては分散型SNSの簡単な紹介とその内部実装の概略を説明します。 対象読者は、後半の実装解説の部分においてはある程度のWeb開発の知識がある人を想定しています。 Misskeyとは⁠、そして分散型とは Misskeyは、オープン

                                                                                    分散型SNS「Misskey」、それを支える技術スタック | gihyo.jp