“超”大規模データを扱うからこそ直面した事象。HDFS Erasure Codingの不具合を解消するまで
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY2021 アフターインタビュー」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「大規模なHDFS Erasure Codingにおける技術的課題」です。 LINEのData Platform室では、LINEのさまざまなサービスのデータをApache HDFS（以下、HDFS）に格納しています。HDFSクラスターに保存されているデータ量は、合計で数百ペタバイトと極めて膨大
こんにちは。chicca です。2019年6月12日から14日まで開催された AWS Summit Tokyo に参加してきました。 今回は 2日目に行われたセッション「【初級】AWS ストレージサービス入門」についてレポートします。 Amazon Elastic Block Storage（EBS） Amazon EC2 インスタンスにアタッチして使用 マネジメントコンソール、CLI、SDK から操作 SSD と HDD のボリュームタイプが選択可能 スナップショットの作成と Amazon S3 での保存 保存データ、インスタンス間で移動するデータは暗号化 1つの EC2 インスタンスの複数のボリュームをアタッチ可能 ボリュームタイプ SSD io1: プロビジョンド IOPS SSD gp2: 汎用 SSD HDD st1: スループット最適化 HDD sc1: Cold HDD ス
【入門】Redis - Qiita
背景 現在、自社サービスで Redis を利用していることもあり、あらためて勉強、まとめてみました。 今回は、Redis の概要・特徴・設定・レプリケーションの基礎的な部分を記載しています。 ※間違いなどありましたら、ご指摘いただければ幸いです。 Redis の概要 この章では Redis の概要を記載しています。 Redis = REmote DIctionary Server の略です。 Redis は、Key-Value型 の NoSQL データベースです。 Redis は C 言語で書かれており、Open Source (BSD licensed) で開発されています。 Redis は Client-Server モデル を採用した インメモリデータベースです。 すべてのデータをコンピュータのメインメモリ上に展開しながら動作します。 他にも、インメモリDB として、 memcach
Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 Amazon Aurora は、クラウド向けに構築された MySQL および PostgreSQL 互換のリレーショナルデータベースです。Aurora は、従来のエンタープライズデータベースのパフォーマンスと可用性と、オープンソースのデータベースのシンプルさとコスト効率を持ち合わせています。Amazon Aurora MySQL は MySQL 5.7 と互換性に加え、 MySQL 8.0 とも互換性があります。MySQL 8.0 互換の Aurora MySQL 3 が一般提供されています。 Aurora MySQL 3 は、共通テーブル式 (CTE) のサポート、ロールベースの認証、レプリケーションの強化、ウィンドウ関数、インスタント DDL など、いく
ご注意 本ドキュメントは 2019/12 時点の状況での検証結果をまとめています。 コメントに頂きましたが 2020/9 に CloudSQL がレプリ元をFQDNで指定可能となった (ref) ようで、Aurora -> CloudSQL へ MySQL レプリケーションができるようになった可能性がありますのでご注意ください。 はじめに ZOZOテクノロジーズでSREチームに所属している@hkameです 普段はZOZOTOWNのオンプレ基盤を運用しております ZOZOTOWNはレガシーなシステムから徐々にパブリッククラウドへのリプレイスを実施していまして そのプロジェクトに関わりながら、日々クラウドやk8s・CICDのスキルを吸収している人です マルチクラウドでサービスを構築するための検証として Aurora->CloudSQLの2サービスのみで、MySQLのレプリケーションができるか
【新機能】Amazon RDS の高可用性構成で書き込み性能向上とフェイルオーバーが高速になる！新しい高可用性オプションの Multi-AZ DB Cluster が一般提供になりました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程 RDS の新しい高可用性オプションである Multi-AZ DB Cluster が一般提供となったためレポートします。Multi-AZ DB Cluster は従来の高可用性オプションの Multi-AZ DB Instance と比較して書き込み性能の向上とフェイルオーバーの高速化が期待できるオプションです。 New Amazon RDS for MySQL & PostgreSQL Multi-AZ Deployment Option: Improved Write Performance & Faster Failover なおプレビュー時の紹介はこちらのエントリーです。 Multi-AZ DB Cluster RDS には従来高可用性のためのオプションとして Multi-AZ Instance がありました。従来の Mu
Amazon Web Services ブログ AWS DataSync を使った Amazon S3 へのデータ同期 このブログは2021年8月24日に David DeLuca (Senior Storage Solution Architect)によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 オンプレミスからクラウドへデータを移行する際には、スピード、効率、ネットワーク帯域、コストなど、考慮すべき要素が数多くあります。多くの企業が直面する共通の課題は、大量のデータをオンプレミスから Amazon S3 バケットにコピーする際の適切なユーティリティの選択です。 私はよく、お客様が無料のデータ転送ユーティリティーや AWS Snow Family デバイスを使って、データをS3に取り込むことから始めるケースを目にします。また、同じお客様が AWS DataSy
Data(1) 83％：重要なシステムのダウンタイムが12時間以下でなければビジネスに悪影響が出る Data(2) 29％：データ損失から1日以上データを回復することができなかった 出典：Arcserveが2022年9月に実施したデータ損失に関する調査結果より抜粋 これは中堅・中小企業のIT意思決定者を対象にした調査結果ですが、大学にも該当します。システムのダウンタイムやデータ損失を最低限に抑え、早急に復旧させなければ、大学の業務継続にも悪影響を及ぼすことは明らかです。そのために必要なのはBCP(Business Continuity Plan：事業継続計画)の策定です。 この記事では、大学でのBCP策定に必要な情報を、データ保護ベンダーの視点でまとめています。 大学でBCPを担当する部門の職員の方、あるいはBCPの責任者である学長やその関係者のみなさん、大学のシステム構築にかかわるシステ
【わーい】CloudEndureが無料で利用できるようになりました【ﾀﾀﾞﾀﾞﾖｰ】 | DevelopersIO
中山（順）です CloudEndureをご存じでしょうか？ AWSが今年1月に買収したマルチクラウド対応のライブマイグレーションツールを提供する企業です。 AWSが「CloudEndure」を買収。マルチクラウド対応のライブマイグレーションツール そのCloudEndureが無料で利用できるようになりました。 CloudEndure Migration is now available at no charge いい機会なので触ってみました。 仕組み 移行元の仮想マシンにAgentをインストールし、CloudEndureに登録します。 そして、登録された仮想マシンは移行先にあるReplication Serverを経由して移行されるという仕組みです。 ちなみに、AWSが標準で提供するServer Migration Serviceは、移行元の基盤 (VMware / Hyper-V / M
フューチャー夏休み自由研究連載12本目の記事です。 はじめにはじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。 夏休み自由研究連載の11本目の記事で公開されたSlack×GASの日報テンプレBOTを実務に導入してみたの執筆者である仁木さんと同期です。 私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！ つまったポイントサマリ― これらが理解できるような記事を目指します。 DynamoDBとは公式ドキュメントによると、 Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。
データ指向アプリケーションデザインを読んでLSM-treeインデックスに基づくKVSを作る - 油そば
この記事はMicroAd Advent Calendar 2019の4日目の記事です。 qiita.com はじめに どういうKVSを作るか 手始めにログベースのKVS 書き込み, 読み取り, 削除 ログフォーマットの決定 実装 LSM-treeインデックスを持つKVSを実装する 書き込み MemTableからSSTableの生成 SSTableの反映 SSTableのマージとコンパクション バッファを使ったマージ&コンパクション ステップ1. SSTable毎にキーを読み出す ステップ2. バッファ内の最小のキーの最新の値を読み出す 再起動時の復元 アクターで組み立てる 書き込みのケース 読み取りのケース コード はじめに データ指向アプリケーションデザインは今年買って読んだ技術書の中で最も読み応えがあった本でした。 www.oreilly.co.jp 単に周回で読むだけでも学びが多い本
公開論文から学ぶ Google のテクノロジー : パート 3：データベース技術編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年にわたって構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google のエンジニアは、自分たちが開発した技術の詳細を論文として公開しており、これまでに公開された論文は、Google の研究チーム、Google Research の Web サイトにある Publication Database で検索できます。このブログシリーズでは、次の4つの分野に分けて、Google Cloud の技術に関連の深い論文を紹介していきます。 分散処理基盤（コンテナ技術）とデータセンター ネットワーク技術 データベ
Flinkによるデータプラットフォーム構築の裏話。Ingestion Pipelineの再設計とオートスケーリング
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE株式会社およびヤフー株式会社は、2022年11月17日・18日の2日間にわたり、技術カンファレンス「Tech-Verse 2022」をオンライン（ライブストリーミング形式）にて開催しました。特別連載企画「Tech-Verse 2022 アフターインタビュー」では、発表内容をさらに深掘りし、発表で触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「Flink@Data Platform - Ingestion Pipelineの再設計とオートスケーリング」です。 LINEのData Platform室では、Apache Flinkによるストリーミング処理パイプラインを開発・運用してい
WordPressを安定運用する技術 | CyberAgent Developers Blog
この記事は CyberAgent Developers Advent Calendar 2019 25日目の記事です🎉 AI事業本部の黒崎( @kuro_m88 )です。CyberAgentのアドベントカレンダーを書くのは5回目になりました。普段はDynalystという広告配信プラットフォームのバックエンド開発をしています。 今年は所属している事業部のWordPressのリニューアルを手伝ったのでその話をします。 新サイトはこちらです。 https://cyberagent.ai/ 8月までは「アドテク本部」という部署だったのですが、9月から組織改編があり「AI事業本部」という組織に変わりました。設立の経緯はこちらの記事をご覧ください。 「AIが全ての産業に影響を与える」 AI新時代 に、取締役 内藤が挑む3つのこと サイトをリニューアルするにあたって 社内で組織改編の話が出た時にはサイ
MariaDB MaxScale〜OSSのデータベース向け負荷分散ソフトウェア〜 | OSSのデージーネット
MariaDB MaxScaleとは、オープンソースのデータベース向けプロキシサーバです。特にMySQL互換のデータベースに特化しています。MariaDB MaxScaleはアプリケーションとデータベースの間で処理を中継するプロキシサーバで、データの整合性を保持したまま負荷分散を行うことができます。 MariaDB MaxScaleとは MariaDB MaxScale（以下：MaxScale）は、オープンソースのデータベース向けのプロキシサーバです。MariaDB社が開発しました。特にMySQL互換のデータベースに特化しており、対応するデータベースは、「MariaDB（MariaDB Galera Cluster）」や「MySQL」があります。MaxScaleでは、データベースクラスタへのアクセスを一元化し、クライアント側にクラスタを意識させることなく利用することができます。さらに、Ma
MongoDBとは、ビッグデータやIoTのデータ処理に利用されるオープンソースソフトウェアのNoSQLサーバです。MongoDB Enterprise Advancedという商用版もあります。2019年にはAWSがMongoDB互換のAmazon Document DBの提供を開始するなど、NoSQLとしては最もスタンダードなソフトウェアです。Linuxだけでなく、Windows、MacOS、Soalrisなどでも利用することができます。 MongoDBとは MongoDBとは、ドキュメント指向のデータベースを採用したNoSQLサーバです。2007年にDoubleClickのチームが開発し、オープンソースソフトウェアとして公開しています。商用版はMongoDB Enterprise Advancedです。 MongoDBは、多くのNoSQLが採用しているKVS（Key Value Stor
PC関連の技術情報ウェブサイトBleeping Computerが公開した調査結果で「キヤノンUSAはMAZEのランサムウェア攻撃を受けており、一部のプライベートデータベースなどが失われ、社内の電子メール・ウェブサイト・アプリケーションなどに影響が出ている可能性がある」と報告されました。 Canon confirms ransomware attack in internal memo https://www.bleepingcomputer.com/news/security/canon-confirms-ransomware-attack-in-internal-memo/ Canon's cloud platform has lost users' files – and it CAN'T restore them | Digital Camera World https://www
ElastiCacheがリージョン間レプリケーションに対応！？実際にやってみた！！ | DevelopersIO
こんにちは(U・ω・U) ElastiCacheおじさんを目指して日々鍛錬を続ける深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 そんな僕に次のようなニュースが飛び込んできました。 なんと素晴らしいアップデート。ElastiCacheおじさんたるもの、世の中の皆様にElastiCache最新情報をお届けするのが務めというもの。今回はこの機能をご紹介したいと思います！ グローバルデータストアってどんな機能なの？ ElastiCacheクラスタに保存したデータを複数のリージョン間でレプリケーションできます。グローバルデータストアの主なコンポーネントは次の通りです。 プライマリ（アクティブ）クラスタ レプリケーション元となるクラスタです。通常のElastiCache
「ハイトラフィック運用 〜スループットの向上を目指して〜」という話をしました #devio2020 | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 さて弊社では昨日よりDevelopersIO2020 〜connect〜というイベントが開かれています。 セッションもりもりだよ！ あつまれー！https://t.co/viwYQqiKG7#devio2020_connect — 深澤俊 (@shun_quartet) June 3, 2020 その中で僕は「ハイトラフィック運用 〜スループットの向上を目指して〜」という話でセッションさせていただいたので本ブログではその発表した内容を資料と共にご紹介します！ 動画 資料 セッション内容 今回扱うこと、扱わないこと 今回は観点をメインに紹介します。 それぞれのエンジン等による細かい違いやチューニング方法には触れません。 例：MySQLとPostgras等 メトリクスはCloudWatchのものをご紹介します。 今回はあくまで概要と基本です。
CircleCI関連の月額コストを1日で10%削減する - freee Developers Hub
この記事はfreee 基盤チーム Advent Calendar 2023 の18日目の記事です。 はじめに はじめまして、SRE 統制チームのYです。 現在はコスト統制を重点的に取り組んでおり、予算精度の向上、コスト最適化を目標に業務を推進しています。 本記事では、コスト改善施策の局所的な部分になりますが、弊社が使用しているCI/CDツールの一つであるCircleCIにおいて、手間をそれほどかけずコストカットができる施策を紹介したいと思います。 施策1 ストレージの保存期間を短くする CircleCIにおいてストレージは以下の3種類があります。 キャッシュ ビルド時に使用するファイルをキャッシュするためのもの。npm、Gem パッケージなどを保存 ワークスペース ワークフロー内のデータをダウンストリームジョブに転送 アーティファクト パイブラインで出力したファイルの保管 。 Circle
【レポート】マルチリージョンでディザスタリカバリ(DR) 戦略を検討するためのポイント(AWS-50) #AWSSummit | DevelopersIO
こんにちは。たかやまです。 今回は2022年5月25 - 26日の2日間開催されているAWS Summit Onlineのセッションレポートになります。 セッション概要 タイトル : マルチリージョンでディザスタリカバリ(DR)戦略を検討するためのポイント AWS をご利用されている全てのお客様が直面する可能性のある最大の課題の 1 つに災害イベントがあります。 ワークロードまたはシステムのビジネス目標の達成を妨げるイベントは、 災害として分類されます。 このセッションでは AWS Well-Architected フレームワークで説明されている信頼性の柱のベストプラクティスを基に、AWS における複数リージョンでのディザスタリカバリ (DR) 戦略の考え方とアプローチをご紹介します。 スピーカー : AWS パートナーアライアンス統括本部 ストラテジック SI 技術部 シニアパートナーソ
【レポート】Amazon Aurora with PostgreSQL Compatibility における運用設計のファーストステップ #AWSSummit | DevelopersIO
こんにちは、崔です。 AWS Summit Tokyo 2019 3日目のB3-05のセッションである「Amazon Aurora with PostgreSQL Compatibility における運用設計のファーストステップ」のレポートをお届けします。 Amazon Aurora はクラウドに適したデータベースとは何かを1から考え実装された新しいデータベースエンジンであり、Amazon Relational Database Service (RDS) を使ったマネージド型サービスです。そのため、パッチ適用、バックアップといった時間のかかる管理タスクを自動化し、ユーザが必要な運用タスクにフォーカスすることができます。本講演では、皆様に意識していただきたい運用上のポイントについてご紹介したいと思います。 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューショ
週刊Railsウォッチ（20190819-1/2前編）祝: Rails 6がついにリリース、RailsガイドもRails 6に対応、Arelはpublicだったかほか｜TechRacho by BPS株式会社
2019.08.19 週刊Railsウォッチ（20190819-1/2前編）祝: Rails 6がついにリリース、RailsガイドもRails 6に対応、Arelはpublicだったかほか こんにちは、hachi8833です。休日はトイレの壁紙を剥がして珪藻土を塗り塗りする作業で終わりました。 参考: 【これさえ読めば大丈夫】はじめての漆喰・珪藻土 塗り壁DIY完全ガイド つっつきボイス:「自宅の壁？😆」「冬になるたびにトイレの壁にめちゃくちゃ結露してカビの温床になってました🦠」「構造上結露しちゃう家とかありますよね☺️」「団地ともお的な昭和な団地なので冬場はコンクリから外の冷気がもろに伝わってきます😅」 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついた
マッハバイトのメインDBをAmazon Auroraに移行しました - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 2024年2月に長年の悲願だったマッハバイトのメインDBのAuroraへの移行を完遂しました！！！ この記事では、どのようにマッハバイトのAurora移行を進めていったかを記事として残します。 なお、この記事の中では結構レガシーな部分の対応に苦しんだところも出てくるのですが、DB移行が終わったあとで、弊社内でこのレベルのレガシー対応を行う必要があることはほぼないと考えているので、リブセンスに興味を持っている方も安心して読んでいただければと思います。 やったこと プロジェクトの流れ テックリードから聞く初耳の単語: 『Mroonga』 状況をざっくりと調査 このコード使われてるの？使われてないの？ DMSの検証本格化 移行準備期 ついに、本番移行 Auroraに移行してよかったこと パフォーマンス改善 Performance Insightsが便利！！！ DB移
2024年3月から始まるサポート期間が伸びるけれども費用もかかるAmazon RDS延長サポートとの付き合い方~MySQL 5.7/PostgreSQL 11を例に~ | DevelopersIO
メジャーアップグレードを先延ばしした場合のTCOと移行コストを比較しましょう。 延長サポート移行時のマイナーバージョンアップグレード方法 延長サポートは、特定のマイナーバージョンでのみサポートされています。 RDSを例に取ると、MySQLは5.7.44、PostgreSQLは11.22です。 マイナーバージョンの自動アップグレードを有効にしている場合、すでにこの最新マイナーバージョンにアップグレードされているはずです。 無効にしている場合、標準サポートの終了に伴い、延長サポート対象バージョンへ自動アップグレードされます。 ただし、自動アップグレードの実施タイミングは言及されておらず、メンテナンスウィンドウ中に実施される保証はありません(2024/01/10確認)。 アップグレードのタイミングをコントロールしたい場合、標準サポートが終了する前に、以下のどちらかを実施してください。 手動で実行
Googleが「マシンイメージ」のβ版を発表、「Compute Engine」の新リソース：管理作業を効率化できる Googleは、「Google Cloud Platform」で提供するIaaS「Compute Engine」について、新タイプのリソースである「マシンイメージ」（β版）を発表した。管理作業を効率化できる他、複数のディスクを利用していてもクラッシュ整合性を確保しやすい。このような特徴から、従来の「カスタムイメージ」と比較してより包括的なソリューションだと位置付けた。 Googleは2020年3月10日（米国時間）、「Google Cloud Platform（GCP）」で提供するIaaS「Compute Engine」について、新タイプのリソースである「マシンイメージ」（β版）を発表した。 マシンイメージは、仮想マシン（VM）の作成やバックアップ、リストアに必要な全ての情報
SQL Server 2022がリリース候補に到達。Azure SQLとの双方向DR、Azure Synapseによるリアルタイム分析、Amazon S3へのバックアップ／リストアへも対応へ
SQL Server 2022がリリース候補に到達。Azure SQLとの双方向DR、Azure Synapseによるリアルタイム分析、Amazon S3へのバックアップ／リストアへも対応へ マイクロソフトが開発中のリレーショナルデータベース「SQL Server 2022」がリリース候補版に到達したことが発表されました。 SQL Server 2022には、Microsoft Azure上のマネージドサービスであるAzure SQL Managed Instanceとのリンク機能による双方向ディザスターリカバリー機能、Azure上のデータウェアハウス機能であるAzure Synapse AnalyticsとのレプリケーションによってSQL Serverのデータをほぼリアルタイムに分析できる機能、ブロックチェーンの技術をデータベースに組み込むことでデータの改ざん防止などを可能にする機能など
私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 - Findy Tools
公開日 2024/05/24更新日 2024/05/24私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 近年データベースが急速に進化し、開発にも大きな影響を与えています。そこでファインディでは「私たちはなぜNewSQLを使うのか TiDBを選定・導入した5社が語る選定と活用」と題したイベントを開催。PingCAPの日下さん、LINEヤフーの佐伯さん、アイスタイルの鈴木さん、DMM .comのpospomeさん、コロプラの曽我さん、さくらインターネットの江草さんをお招きし、NewSQLの一つである TiDBについて語っていただきました。 ■パネリスト 日下 太智さん / @ksk_tic PingCAP株式会社 プロダクトマネージャー / シニアソリューションアーキテクト SIerにて国内外問わずEC/小売/製造/サービス/メディア/出版など様
３週間で出来たEvent SourcingでCQRSなアーキテクチャ上でのHBaseのupgrade - Chatwork Creator's Note
プロジェクトのリーダーである、cw-sakamotoがこの超重要プロジェクトを終え、軽い燃え尽き症候群になっているので、代わりにcw-tomitaが代筆しております。 マラソンガチ勢(ベストタイム３時間１７分)であるcw-sakamotoによって、Carbon X(50マイルでの世界記録を出したランナーが履いていたランニングシューズの名前)と名付けられた、このHBase upgradeプロジェクト、 dogsorcaravan.com その名に恥じない、プロジェクト開始から終了まで３週間という短納期で完遂することができました。今回はこのプロジェクトに関して書きました。 tl;dr Event SourcingでCQRSなシステムの上で動いてるHBaseのversion upをblue-green形式で実施した。 計画から実行まで３週間程度で完了するというスピード感で、大きな事故もなく凄く上
【大阪・梅田】Kubernetes Meetup Tokyo #19 大阪サテライト- 2019年5月31日参加レポート -
kubernetes osaka Satellite k8sjp-osaka.connpass.com 大阪からKubernetes Meetup Tokyoに参加できるとのことで、こちらに参加してきました。 Kubernetesの生みの親である3人の内の1人のJoe Bedaから、Kubernetesの歴史の経緯について教えて頂きました。 その話がとてもわかりやすく、なるほどなと思ったので、ぜひとも共有したいと思います。 twitter.com ※ 以降の内容は、私なりの解釈が入っており誤った認識かもしれません。ご了承下さい。 発表の内容は全てYoutubeにありますので、そちらが正しいものです。ご参考下さい。 www.youtube.com Who is Joe Beda ? The origins and future of Kubernetes (en/英語) kubernetes
週刊Railsウォッチ（20190910-2/2後編）buildersconと「20年後のソフトウェアテスト」、はてなブックマークがScalaに移行、「詳解PostgreSQL」、Go 1.13ほか｜TechRacho by BPS株式会社
こんにちは、hachi8833です。 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 毎月第一木曜日に「公開つっつき会」を開催しています: お気軽にご応募ください 今回も第14回公開つっつき会を元にお送りします。ご参加いただいた皆さまありがとうございます！ ⚓DB ⚓そーだいさんの「詳解 PostgreSQL」連載 元記事: 詳解 PostgreSQL［10/11対応］―現場で役立つ新機能と実践知識：特集｜gihyo.jp … 技術評論社 第1章 PostgreSQLの今昔を知る―20年を超える歴史，リリースサイクル，環境構築 第2章 PostgreSQLの内部構造―プロセスやメモリの流れ，特徴的な機能のしくみ 第3章 アプリケーシ
[アップデート] Security Hub に PCI DSS にあわせた自動セキュリティチェックが追加されました！ | DevelopersIO
Security Hub が PCI DSS バージョン 3.2.1 にあわせた自動セキュリティチェックをサポートするようになりました。 AWS Security Hub launches security checks aligned to the Payment Card Industry Data Security Standard これまで CIS ベンチマーク (CIS AWS Foundations Benchmark) に対応していた Security Hub ですが、今回のアップデートにより PCI DSS v3.2.1 の要件チェックできるわけですね。すばらしい。 14 サービス 32 要件に対するチェック 今回の自動セキュリティチェックでは 14 の AWS サービスで 32 の PCI DSS 要件に対して継続的なチェックを行うことで、PCI DSS セキュリティのア
![[アップデート] Security Hub に PCI DSS にあわせた自動セキュリティチェックが追加されました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/dbe3f406587b5b6a944b210452de92d974859a3f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-security-hub.png)
はじめに 初めてこちらのblogに登場いたします。データエンジニアのt-sugai です。 今年の1月頃からアスタミューゼにJOINしています。 前職はJavaをメインとしたアプリケーションエンジニア……だったと思うのですが、エンジニアはエンジニアでいっしょくたの組織でした。そして最近は運用やDBAのような仕事を任されることが多かったこともあり、アスタミューゼではデータエンジニアとして働いています。 今日はデータエンジニアらしくデータベースのお話をしようと思います。 アスタミューゼで利用されているPostgreSQL 国内外の特許の情報をはじめ、様々な技術情報を持っているアスタミューゼですが、RDBMSとしては主としてPostgreSQLを利用しています。 （もちろん、RDB以外のDBMSもデータの量や特性、利用目的に応じていろいろ使っているのですが、今回はRDBのお話です） 私が入社する
[レポート]JAWS-UGコンテナ支部 #19に参加してきました #jawsug_ct | DevelopersIO
2021年6月28日(月)に開催されたJAWS-UGコンテナ支部 #19に参加してきました！今回もYouTube Liveの限定公開にて開催されました。各セッションのレポートをまとめています。 2021年6月28日(月)に開催されたJAWS-UGコンテナ支部 #19に参加してきました！今回もYouTube Liveの限定公開にて開催されました。各セッションのレポートをまとめています。 前回からもう半年。re:Inventも挟みアップデート内容含めて今回も内容が盛りだくさんです！ ※前回ブログものせておきます。 当日Youtube Liveはアーカイブでも見ることができます 1. AWS コンテナサービスアップデート(youtube 00:07:10 ~) 登壇者 by 苅野秀和 - ソリューションアーキテクト / アマゾン ウェブ サービス ジャパン株式会社 内容 2020年12月～のアッ
![[レポート]JAWS-UGコンテナ支部 #19に参加してきました #jawsug_ct | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6547ca3360d00870c109085482ff5cf49c1ca7fe/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F06%2Fjaws_container.png)
ググラビリティがとても悪いのですが https://github.com/siddontang/go-mysql/ というGolangのライブラリがありまして、次のような機能があります。 MySQLのクライアント MySQLプロトコルを受け付けるサーバ MySQLのレプリケーションプロトコルのハンドラ ...etc 三つ目の「MySQLのレプリケーションプロトコルのハンドラ」が面白い機能で、Golangのプログラムでbinlogを出力するMySQLサーバに接続してレプリケーションを処理することができます。 プログラム例 READMEのexampleをもう少し実装してROWS_EVENTを処理するプログラムが以下のようになります。 package main import ( "context" "fmt" "github.com/siddontang/go-mysql/mysql" "git
オラクルはMySQLをこの先どう進化させていくのか、オンプレミスからクラウド上の分散インメモリデータベース、そしてメインストリームなプロダクトへ［PR］
オラクルはMySQLをこの先どう進化させていくのか、オンプレミスからクラウド上の分散インメモリデータベース、そしてメインストリームなプロダクトへ［PR］ MySQLがオラクルの製品群に加わってから10年以上が経過しました。 オラクルが2010年1月にサン・マイクロシステムズの買収を完了したことでオラクル製品群の一部となってからも、MySQLはオープンソースの代表的なデータベースとして、GPLと商用版のデュアルライセンスを維持し続けています。 と同時にMySQLは2010年以降も着実に機能や性能を向上させてきました。 2010年に登場したMySQL 5.5ではInnoDBがデフォルトのデータベースエンジンとなり耐障害性や性能が大きく向上。 2015年に登場したMySQL 5.7ではさらに最大で3倍の性能向上とマルチソースレプリケーションなどのレプリケーション機能などの強化、 2018年に登場
スペースマーケットでSREを担当しています小見です。 今回は、2022年11月に発表されたばかりのAWS-Aurora B/Gデプロイを利用して、 サポート終了となるAurora1のアップグレードを実施した時の調査や、躓いたところをまとめていきます。 実践している記事がほぼ皆無なため情報は公式の情報とAWSサポートに問い合わせた内容となります。 https://aws.amazon.com/jp/blogs/aws/new-fully-managed-blue-green-deployments-in-amazon-aurora-and-amazon-rds/ https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/blue-green-deployments.html 概要 今回実施したことは、Aurora1からAuror
2021年09月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 今回もバラエティ豊かなラインナップです。 ちなみにAWSの最新情報をキャッチアップするだけなら週間AWSがおすすめですが、DevelopersIOのブログを読むとAWSさん公式とはまた違った知見や解説、面白さがありますの
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜 - ZOZO TECH BLOG
こんにちは、MA部MA開発1ブロックの齋藤（@kyoppii13）です。 8/29-8/31に開催されたGoogle Cloud Next '23へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3日間に渡って開催されたGoogle Cloud Nextの会場はモスコーニ・センターという大きな展示施設で、メインルームではキーノート、他ルームでセッションが発表されるというものでした。発表以外にもワークショップやたくさんの企業ブースがあり大変賑わっていました。 Moscone Center Ma
Amazon RDS または Amazon EC2 を使ってホストされているデータベースで実稼働ワークロードを実行するためのストレージのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon RDS または Amazon EC2 を使ってホストされているデータベースで実稼働ワークロードを実行するためのストレージのベストプラクティス AWS は、OLTP ワークロードを処理するデータベースをホストするために複数のオプションを提供しており、Amazon EC2 インスタンスで独自のマネージドデータベースをホストする、または AWS が管理する Amazon RDS を使用することができます。RDS は、高可用性、自動バックアップ、データベースのアップグレード、OS パッチ、セキュリティ、およびリードレプリカを管理します。RDS は、クラウドネイティブのオプションである Amazon Aurora データベースエンジンも提供し、このエンジンは MySQL および PostgreSQL に対応しています。Aurora は、標
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【レポート】【初級】AWS ストレージサービス入門 #AWSSummit | DevelopersIO
Aurora->CloudSQLへMySQLレプリケーションはできるのか - Qiita
AWS DataSync を使った Amazon S3 へのデータ同期 | Amazon Web Services
大学でBCPを策定するポイントと堅牢なデータ保護を実現する２つの方法
【入門】私を苦しめたDynamoDB | フューチャー技術ブログ
MongoDB〜OSSのNoSQLサーバ〜 | OSSのデージーネット
キヤノンUSAがランサムウェア攻撃によりデータを大量消失した可能性
Googleが「マシンイメージ」のβ版を発表、「Compute Engine」の新リソース
PostgreSQL の バグ修正状況を調べてみた。 - astamuse Lab
go-mysqlを使ったレプリケーション - Qiita
Aurora B/Gデプロイを本番利用してみた