株式会社MIXIで「家族アルバム みてね」（以下みてね）のSREグループに所属している清水と申します。 みてねのインフラはAWSを全面的に利用しています。サービスがリリースされた2015年から2021年ごろまではAWS OpsWorksというAmazon EC2のオーケストレーションサービスの利用をしておりました。その後Amazon EKSに移行し、AWSのインフラにおける大きな変化となりましたが、同様にモニタリングやオブザーバビリティに関わるツール、サービスについても大きく変化してきました。 本記事ではオブザーバビリティにまつわるツールやサービスの変遷、工夫点などについて紹介します。 オブザーバビリティとは何か 開発したソフトウェアをシステムにデプロイして運用を始めた後、システムが正常に動作し、良いパフォーマンスが出ているのかをモニタリングするというのは開発者にとってよくある習慣です。
Modern applications at AWSAugust 28, 2019 • 2269 words Innovation has always been part of the Amazon DNA, but about 20 years ago, we went through a radical transformation with the goal of making our iterative process—"invent, launch, reinvent, relaunch, start over, rinse, repeat, again and again"—even faster. The changes we made affected both how we built applications and how we organized our comp
Amazon Aurora MySQL のマイナーバージョンアップ、ブルー/グリーンデプロイメントを使う？ゼロダウンタイムパッチ適用を狙う？ - でこてっくろぐ ねお
AWSのDB、Auroraを使っているみなさま元気でしょうか。Auroraに限らずSaaS的なサービスを使っていると"このバージョンはEOLだ"と言ってバージョンアップが必要になる場合があります。みなさまも覚えがあるのではないでしょうか。 問題はどのようにバージョンアップを行うかです。 今回は、Aurora MySQL (not serverless)でマイナーバージョンアップを行う際にどういう手法があるかを、AWSのドキュメントや実際にやってみた経験をもとに考えたいと思います。Aurora PostgreSQLも同様かもしれませんがそちらは調べていません。 目次 目次 考えられる方法2つ そもそもRDSのブルーグリーンデプロイメント機能とは？ それぞれの嬉しい点、使いづらい点 インプレースアップグレード(ゼロダウンタイムパッチ適用を狙いつつ) 嬉しい点 使いづらい点 ブルーグリーンデプロ
【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ | Amazon Web Services
Amazon Web Services ブログ 【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ 2023 年 5 月 18 日に「AWS で実践！ Analytics Modernization ～事例祭り編～」を開催しました。今回の事例祭りでは AWS の Analytics サービスをご利用いただいている ミーク株式会社様、ニッセイ情報テクノロジー株式会社様、 ビットバンク株式会社 様、株式会社 Gunosy Gunosy Tech Lab DR&MLOps 様、にご登壇いただきました。本ブログでは当日の各発表内容を紹介いたします。 Amazon OpenSearch Serverless のご紹介 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 深見 修平 資料ダウンロード AWS の深見からは 2023 年 2 月
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年12月号 | DevelopersIO
データアナリティクス事業本部 コンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートとそのブログを追っています。 明日からre:Invent2023が始まります！ ということで、今回は re:Invent2023 が始まる11/27までのアップデートを紹介します。今年のre:Invent2023 アナリティクス関連のセッションについて、事前にチェックすることをおすすめします！ Amazon Redshift 新機能・アップデート 2023/11/01 - Amazon Redshift マルチ AZ が RA3 クラスター向けに一般提供開始 昨年のre:Invent2022に発表された Amazon Redshift RA3 クラスターのマルチ AZ 配置がついに一般提供（GA）になりました。Redshiftを複数のア
はじめに Amazon GuardDutyはどんなサービス？ S3 Protection EKS Protection Malware Protection RDS Protection Lambda Protection Runtime Monitoring Runtime Monitoring 自動エージェント設定 Runtime Monitoring 手動エージェント設定 信頼されているIPリスト/脅威IPリスト マルチアカウント管理におけるAmazon GuardDutyの活用 Amazon GuardDutyを活用したマルチアカウント設計・運用のポイント ①全てのAWSアカウント、全ての利用リージョンで有効化する ②検出結果を定期的に確認する ③Security Hubとの連携 ④世界観、コスト、体制を考慮したGuardDutyの活用 Amazon GuardDutyを活用したマ
[レポート]Amazon Aurora Multi-Master:書き込み性能のスケールアウト #DAT404 #reinvent | DevelopersIO
はじめに こんにちは、崔です。 セッションDAT404-R：Amazon Aurora Multi-Master:Scaling out database write performanceに参加しましたので、そのレポートをお届けします。 セッション概要 In this session, learn how the Multi-Master capability of Amazon Aurora MySQL enables applications to scale out write performance and achieve continuous read/write availability. Engineering experts dive into the design concepts of Aurora Multi-Master and provide real-worl
![[レポート]Amazon Aurora Multi-Master:書き込み性能のスケールアウト #DAT404 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
クォーラムモデルを使用したAWSデータベースサービスの違い、共通点の比較 －Amazon Aurora、Amazon DocumentDB、Amazon Neptuneの比較表 － - NRIネットコムBlog
小西秀和です。 2020年度に続き2021年、2022年、2023年もJapan AWS All Certifications Engineer(旧称：APN ALL AWS Certifications Engineer)、Japan AWS Top Engineer(Services) (旧称：APN AWS Top Engineer)に選出していただきました。これも多くの方に読んでいただいたAWS認定記事に依るところが大きいと思いますが、今後はAWS認定以外の記事も書いていこうと思います。まずはデータベースに関するテーマからです。 AWSのデータベースサービスには現在、Amazon Aurora、Amazon DocumentDB、Amazon DynamoDB、Amazon ElastiCache、Amazon Keyspaces (for Apache Cassandra)、Am
[アップデート] やったー！Aurora PostgreSQL で T3 インスタンスが使えるようになりました！ | DevelopersIO
うれしいアップデートが流れてきたのでシェアします！ これまで R4/R5 インスタンスしか選択できなかった Aurora PostgreSQL 互換で、ついに T3 インスタンスが使えるようになりました！ Amazon Aurora with PostgreSQL Compatibility Supports T3.Medium Instances さっそく確認 さっそく AWS コンソールから確認してみましょう。 たしかに選択できるようになってました！東京リージョンで、確認してますよ！ 使用可能な条件 T3 インスタンスを選択できるようになりましたが、執筆時点において実機確認した限りでは以下の条件のようです。 T3 が選択できるのはAurora PostgreSQL 互換 10.7 のみ 10.6以下、9.6.x では T3 インスタンスはリストに表示されませんでした。 選択できるのは
![[アップデート] やったー！Aurora PostgreSQL で T3 インスタンスが使えるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d060bd8586f3cd19615ef358e9ba4ece1e5b6a3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-aurora.png)
歴史・年表でみるAWS全サービス一覧(参考資料編) －アナウンス日、General Availability(GA)の参考URL－ - NRIネットコムBlog
小西秀和です。 歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめの記事で参考にしたURLが多すぎるため、こちらに別記事としてまとめました。 AWSサービスの概要など「歴史・年表でみるAWS全サービス一覧」のメインコンテンツは本編を御覧ください。 ただ、見方によってはこの記事の方が面白いかもしれません。 [English Edition] AWS History and Timeline - Almost All AWS Services List, Announcements, General Availability(GA) AWS全サービスの歴史年表に記載したアナウンス日・GA日(一般提供開始日)の参考URL 「What's New」のURL(例：https://aws.amazon.com/about-
Amazon Aurora マルチマスタークラスターが東京リージョンに対応しました | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora マルチマスタークラスターが東京リージョンに対応しました みなさん、こんにちは。アマゾン ウェブ サービス ジャパン、シニアエバンジェリストの亀田です。 Amazon Auroraのマルチマスタークラスター機能が東京リージョンに対応しましたのでお知らせいたします。 Amazon Auroraは、MySQL および PostgreSQL と互換性のあるクラウド向けのリレーショナルデータベースであり、従来のエンタープライズデータベースのパフォーマンスと可用性に加え、オープンソースデータベースのシンプルさとコスト効率性も兼ね備えたAWSにより設計されたデータベースです。標準的な MySQL データベースと比べて最大で 5 倍、標準的な PostgreSQL データベースと比べて最大で 3 倍高速です。また、商用データベース
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
テックカンパニーをテックカンパニーたらしめているものはなにか？技術か、人か、それともチームなのか。 連載「Technology Company Internals」では、テックカンパニーの内側で働くエンジニアに、技術に精通したエキスパートが対面で話を聞き、テックカンパニーとは何か？を探るだけでなく、テックカンパニーを目指す企業の指針となることを目指します。 コロナ禍は飲食業界のDXを促進する 白石: 本日はよろしくお願いします。自己紹介からお願いします。 鄧: 鄧 皓亢（デン ハオカン）と申します。CTOを務めています。普段の仕事は、一言でいうと「なんでも屋」ですね。アーキテクト的な役割を担うこともあれば、お客様に価値を少しでも早くお届けするためにソリューションをチームに提案したり、場合によっては自分でもコードを書いたりします。 北川: 北川 真理（キタガワ マコト）です。フロントエンドエ
データ駆動型経営の時代 昨今、データドリブンビジネス、ないしはデータ駆動型経営という言葉が語られるようになって久しい時代です。インターネット、そしてスマートフォンの発達に後押しされたソーシャルネットワークの高度な発展により、多くのユーザーはより自由にそしてより気軽に意見を発信できるようになっています。 これにより、企業が関与しないところで様々なサービスや商品が評価され続け、SNSに投稿されたその評価は暗黙的に別のユーザーの購買行動に影響を与え続けています。またそれと同時に、公的な人格、私的な人格等、複数人格をユーザーが使い分けた際の可視化も可能となり、ユーザーの購買行動は細分化を続ける一方です。 このような背景を踏まえて企業のマーケティング活動は、従来の作りこんだ販売戦略型から、オーガニックグロースと言われるユーザーがユーザーを呼び込む行為を促進させる方向へシフトしつつあります。このために
アマゾンウェブサービスジャパンは、任天堂が2018年9月から展開しているNintendo Switch向けオンラインサービス「Nintendo Switch Online」で、Amazon Web Services（AWS）のクラウドサービスが採用されていると、12月25日に発表した。 AWSは需要に応じて容易にスケールアップ・ダウンができるため、ネットワークを利用したゲームやサービスが増える中「需要拡大に容易に対応できている」と、任天堂はコメントしている。 Nintendo Switch Onlineは、Switchのゲームのオンラインプレイやセーブデータ保存、ファミコンやスーファミのゲーム配信などができるサービス。 クラウド向けリレーショナルデータベース「Amazon Aurora」とコンピューティングエンジン「AWS Fargate」、コンテナ管理サービス「Amazon Elasti
Amazon Aurora MySQL 5.7 は、サポートされる機能のリストを拡張して、パフォーマンスと管理性を改善
本日より、AWS Lambda 関数の同期呼び出し、ホット行の競合、Backtrack、ハッシュ結合などの Amazon Aurora の多くの機能が Aurora の MySQL 5.7 互換エディションで利用可能になり、パフォーマンスと管理性が向上します。Amazon Aurora の MySQL 5.7 互換エディションは、JSON サポート、空間インデックス、生成された列などの機能強化をすでに提供しています。 AWS Lambda 関数の同期呼び出しを使用すると、Aurora MySQL データベースの機能を拡張し、データの変更に応じて動作する外部アプリケーションを呼び出すことにより、サーバーを考慮することなくコードを実行できます。
[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るか - Qiita
[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るかPythonPySimpleGUIChatGPT 目論見 エンジニアにとってAWSの知識はあればあるだけ良い。しかし既存の退屈な勉強法に興味が持てない。 なので、モチベーションが上がる仕組みを用意してみようと考えた。 ChatGPTとGUIを使用したら面倒くさい学習を簡単にゲーム化出来て、「やべえ、楽しい！」ってなりながら自動的に学べるんじゃないか という仮説が出てきたので、これを検証していくことにした。 アプリ画像(暫定版) 使用するライブラリ PySimpleGUI … 簡単にGUIを作成できる、tkinterのラッパー。 polars … データの前処理。pandasはもう古くなりそう。 pip install polars 問題の作成方法 ChatGPT4に作成させる。 ネ
![[実験] ChatGPT4とPySimpleGUIで学習のゲーム化をしたら、AWSの知識をどこまで習得出来るか - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/84f415e3bf926cb434b3d0dfb0fe7de89c3cb5de/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU1JUFFJTlGJUU5JUE4JTkzJTVEJTIwQ2hhdEdQVDQlRTMlODElQThQeVNpbXBsZUdVSSVFMyU4MSVBNyVFNSVBRCVBNiVFNyVCRiU5MiVFMyU4MSVBRSVFMyU4MiVCMiVFMyU4MyVCQyVFMyU4MyVBMCVFNSU4QyU5NiVFMyU4MiU5MiVFMyU4MSU5NyVFMyU4MSU5RiVFMyU4MiU4OSVFMyU4MCU4MUFXUyVFMyU4MSVBRSVFNyU5RiVBNSVFOCVBRCU5OCVFMyU4MiU5MiVFMyU4MSVBOSVFMyU4MSU5MyVFMyU4MSVCRSVFMyU4MSVBNyVFNyVCRiU5MiVFNSVCRSU5NyVFNSU4NyVCQSVFNiU5RCVBNSVFMyU4MiU4QiVFMyU4MSU4QiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NGQ4N2JjOTRhMGM5ZjkwZTI2ODEzZDBhNDlhYTA4MTg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwa2FrYXJpODg4OCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MGIxYWMxZjk5ODNhNmI0OTg4MTUzZWRmNjY0MmE4N2Q%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3De0e8e9d904cc86885f2125f8ec8fd3fa)
【週刊 Ask An Expert #07】チャットサービスに適した DB は？AWS Loft Tokyo で受けた質問まとめ #AWSLoft | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #07】チャットサービスに適した DB は？AWS Loft Tokyo で受けた質問まとめ #AWSLoft 皆さんこんにちは。ザビオです。 この記事は、週刊 Ask An Expert 7 回目です。最近蒸し暑い日が続いていますが体調崩さないようにお気をつけください。 「参考になった！」「いい内容だ！」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けて拡散して頂ければと思います。もちろん、改善点・要望もお待ちしております。 Ask An Expert？ さて、皆さん AWS Loft Tokyo はご存知でしょうか？ 目黒セントラルスクエア17Fにある、AWS を利用中のスタートアップとデベロッパーのためのコワーキングおよびイベントスペースです。その中に、AWS のエキスパート – Solutions
【週刊 Ask An Expert #19】AWS で動画配信プラットフォームを作るには？先週の #AWSLoft で受けた質問10選 | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #19】AWS で動画配信プラットフォームを作るには？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップソリューションアーキテクトの針原 (Twitter: @_hariby) です。このブログ記事では週刊 Ask An Expert 第19回目をお届けします。「参考になった」「いい内容だ」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けてシェアしてください。もちろん、改善点・ご要望もお待ちしております。 Ask An Expert ? 皆さん AWS Loft Tokyo はご存知でしょうか？ 目黒セントラルスクエア17Fにある、AWS を利用中のスタートアップとデベロッパーのためのコワーキングおよびイベントスペースです。その一角に AWS のエキスパート – Solutions A
Amazon Web Services ブログ Aurora PostgreSQL クエリ計画管理の概要 すべての AWS サービスと同様に、Amazon Aurora PostgreSQL のロードマップは、主にお客様のご意見と製品強化のご要望によって推進されます。Oracle と Microsoft SQL Server から Amazon Aurora にデータベースを移行した、複数の企業お客様からいただいたフィードバックは、2 つの点を示唆しています。重要なアプリケーションのデータベースワークロードを実行する企業は、最適なデータベースパフォーマンスを必要とします。また、企業には Aurora PostgreSQL と互換性のあるデータベースでさまざまなシステム変更を行っても、安定かつ一貫性を保つパフォーマンスが必要です。 PostgreSQL データベースのパフォーマンスが変動する
【感想】『基礎から学ぶ サーバーレス開発』: AWS Serverless 2020 を知ろう - Rのつく財団入り口
基礎から学ぶ サーバーレス開発 タイトルに「AWS」が入っていませんが、AWSに限定してサーバーレス周りの開発の基礎を一通り解説した本。作者陣はCIerとしても有名なアイレット社の方々。JAWS-UG運営の方もいらっしゃいますね。そういえば2019年のAWS Summitに行った時にcloudpackのノベルティをもらった覚えがあります…… 基礎から学ぶ サーバーレス開発 CHAPTER01 サーバーレスとは CHAPTER02 サーバーレス開発でよく使うサービス CHAPTER03 サーバーレスアプリケーションの構築 CHAPTER04 サーバーレスの運用・監視 CHAPTER05 サーバーレス開発におけるセキュリティ CHAPTER06 サーバーレスの構築例 完全サーバーレスでのWebページ構築事案 APIバックエンドにRDSを用いた事例及び2019年のアップデートについて サーバーレ
Preparing for Amazon Aurora MySQL-Compatible Edition version 1 end of life - Amazon Aurora
Preparing for Amazon Aurora MySQL-Compatible Edition version 1 end of life Amazon Aurora MySQL-Compatible Edition version 1 (with MySQL 5.6 compatibility) is planned to reach end of life on February 28, 2023. Amazon advises that you upgrade all clusters (provisioned and Aurora Serverless) running Aurora MySQL version 1 to Aurora MySQL version 2 (with MySQL 5.7 compatibility) or Aurora MySQL versio
New – Amazon DevOps Guru for RDS to Detect, Diagnose, and Resolve Amazon Aurora-Related Issues using ML | Amazon Web Services
AWS News Blog New – Amazon DevOps Guru for RDS to Detect, Diagnose, and Resolve Amazon Aurora-Related Issues using ML Today we are announcing Amazon DevOps Guru for RDS, a new capability for Amazon DevOps Guru. It allows developers to easily detect, diagnose, and resolve performance and operational issues in Amazon Aurora. Hundreds of thousands of customers nowadays are using Amazon Aurora because
Google Cloudは大規模分散データベース「Cloud Spanner」でのPostgreSQL互換インターフェイスの提供を正式版としてリリースしました。 SpannerのPostgreSQL互換インターフェイスは2021年10月に行われたイベント「Google Cloud Next '21」で発表され、プレビュー版となっていました。 参考：Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒間10億以上のリクエストを処理可能。Google Cloud Next '21 Cloud Spannerは地球規模で大規模分散処理を行うスケーラブルで高速なリレーショナルデータベースで、強い一貫性とトランザクション処理、SQLによるクエリなどを実装したマネージドサービスです。 Cloud Spannerはクエリ言語としてANSI SQL
[レポート]ニンテンドーアカウント リノベーションプロジェクト CUS-20 #AWSSummit | DevelopersIO
こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 2023年4月20日〜21日に開催されているAWS Summit Tokyo 2023、皆さん参加してますか？ 今回はそんな4年ぶりに開催されている最高のオフラインイベント、AWS Summit Tokyo 2023のセッションレポートを書いてみました。 さて皆さん、好きなゲームハードは何ですか？ゲームボーイ？ゲームボーイアドバンス？ゲームキューブ？ セッション概要 ニンテンドーアカウント リノベーションプロジェクト ニンテンドーアカウントは 2015 年のリリース当初は Amazon EC2 を中心としたインフラ構成を採用していましたが、システム規模の拡大や時間の経過に伴い、徐々にシステムの継続性にリスクが生じるようになってきたため、リノベーション(システムの大規模な改修)を実施しました。 リノベーションで
![[レポート]ニンテンドーアカウント リノベーションプロジェクト CUS-20 #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92906dcb785a4c93120a3f47650fb23b9bcad275/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Fbnr_AWS_smt_tokyo2023_1200x630_SR.png)
Aurora MySQLからCloud SQLへのレプリケーション構築における注意すべき2つのポイント - ZOZO TECH BLOG
こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGoogle Cloud SQLへレプリケーションします。そして、BigQueryのFederated Query機能を利用してリアルタイムにデータを参照できるようにしています。 本記事ではその中の、Aurora MySQLからCloud SQLへのレプリケーション部分にフォーカスします。Aurora MySQLがマネージドサービスだからこそ発生する大きな注意ポ
[レポート] (ANT307) Athena deep dive #reinvent2019 | DevelopersIO
こんにちは！DA事業本部の石川です！ 本記事はAWS re:Invent 2019のセッション「(ANT307) Athena deep dive」のレポートです。Amazon Athenaの最新機能の紹介になります。 セッション概要 Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to manage, and you pay only for the queries that you run. Learn how customers are using Athena to query their data l
今回は2023年1月〜3月のAWSアップデート情報を見ていきます。これから業務で使えそう/知っておいたら得しそうな観点で8つに絞ってアップデート情報を記載しています。 最も大きいアップデートは「Amazon Linux 2023」の公開かと思います。 それではアップデート内容を1つずつ見ていきます。 1/24(火)ーAmazon RDS Blue/Green Deployments機能で、Amazon Aurora MySQL 3 (with MySQL 8.0 compatibility)対応まず RDS Blue/Green Deploymentsは、以下のようなサービスです（公式からの引用） Amazon RDS ブルー/グリーンデプロイのサポートが開始され、Amazon Aurora と Amazon RDS のデータベースのより安全、簡単、迅速な更新が可能になりました。ブルー/グ
Azure Automationを利用してSQL Databaseをオートスケールしコスト削減させた話 - ZOZO TECH BLOG
こんにちは、開発部の鶴見です。 ZOZOTOWNのリプレースを担当しています。 ZOZOTOWNリプレースですが、オンプレからクラウドに単純に置き換えるのでなく「運用が楽になる」などメリットを考えながら作り替えています。 主にデータベースは、AzureのRDBであるSQL Databaseを利用しています。 先日までSQL Databaseのパフォーマンスとコストがネックになっていました。そこでAzure Automationを利用しSQL Databaseを定期的にスケールアップ/ダウンさせリソース、コストの最適化をしました。 その方法をご紹介します。 はじめに スケールアップ/ダウンについて 多数のモデルが存在するSQL Database モデル選定 オートスケールを考える サンプル（CPUコア数変更） サンプル（クエリ発行） 参考情報（スケールアウト） サンプル（Geoレプリケーショ
Aurora MySQL improves performance and failover recovery time when binlog is enabled
Amazon Aurora MySQL-Compatible Edition now supports a new, enhanced binary log (binlog). The enhanced binlog reduces the compute performance overhead caused by enabling binlog, which, in certain cases, can reach up to 50%, down to 13%. The enhanced binlog also improves database recovery time by up to 99% after restarts and failovers, as compared to when native MySQL binlog is enabled. One of the m
今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここで、「[AWS Startup ゼミ]よくある課題を一気に解説！御社の技術レベルがアップする 2021」をテーマに、松田氏と齋藤氏が登壇。続いて、「オンプレミスへの納品がしたい」「Amazon RDS/Auroraをスケールアップする運用を辞めたい」という2つの要望に対する解決方法を紹介します。前回はこちらから。 相談3：オンプレミスへの納品がしたい 齋藤祐一郎氏（以下、齋藤）：バトンを引き継ぎまして、齋藤からご案内いたします。3番目のテーマです。エンタープライズ企業からの要望で、オンプレミスのデータセンターへ納品をしたいという要望を時々もらいます。 特にBtoB
世界3大クラウドが進化を続けている。米Amazon Web Services（アマゾン・ウェブ・サービス）の「AWS（Amazon Web Services）」、米Microsoft （マイクロソフト）の「Microsoft Azure」、米Google（グーグル）の「Google Cloud」である。最近ではDX（デジタル変革）推進のニーズを受けて、アジャイル開発や高度なデータ分析に必要な機能に注目が集まる。今どのクラウド、どのサービスが秀でているのか。3大クラウドのサービス内容、機能、サポートなどについて39項目で徹底比較する。 今回は、3大クラウドが提供するデータベースサービスを比較する。リレーショナルデータベース（RDBMS）、NoSQLデータベース、データウエアハウス（DWH）の順で、2018年からの5年の進化を見ていこう。 まずはRDBMSである。最近のユーザーの利用動向を見る
オンデマンドに自動スケールする Amazon Aurora Serverless を採用する機会がありましたので、導入時の参考になりそうなポイントをご紹介します。 まずは結論から Aurora Serverless はワークロードが大きく変動し、要件がシビアでないシステムに対して、オペレーションコストを下げる目的で導入するのが向いています。 割り切ったシンプルさをそのまま受け入れるのが大事であり、減点主義な環境に導入したり、制約をワークアラウンドでがんばって乗り越えようとするのはオススメしません。 「サーバーレス」の意味を正しく理解する 「サーバーレス」という文字が含まれているので、サーバーレス・アーキテクチャーに特化されたデータベース(どのようなDBなのか興味ありますが)という印象を持ちますが、実態は全く異なります。 「サーバーレス」は「クラスターがオンデマンドで自動スケールするのでプロ
Rettyマネタイズを支える商品開発 (2019年振り返り - データビジネスソリューション・PMP) - Retty Tech Blog
※ Retty Advent Calendar 2019 2日目の記事です。 昨日は 西村さんの記事で、 Amazon Aurora 移行大全 #1 でした。 はじめに こんにちは。広告コンテンツ部門の進藤です。 広告コンテンツ部門がなにをしているか。 一言でいうと、Rettyサービスを収益化する部門になります。 Retty のビジネスモデルは大きく3つあります。 飲食店向けの集客支援事業 企業向けのプロモーション支援事業 データビジネスソリューション事業 このうち、2.『企業向けのプロモーション支援事業』と、3.『データビジネスソリューション事業』を、広告コンテンツ部門が担当しています。 本ブログでは、2019年の広告コンテンツ部門での取組みを振り返り、まとめました。 とくに注力してきた『データビジネスソリューション』『PMP(プライペート・マーケット・プレイス)』を中心にお話していきま
当ブログサイト(DevelopersIO)のDBを「Aurora Serverless v2」に移行してみた | DevelopersIO
AWSチームのすずきりょうです。 当ブログサイトの「DevelopersIO」2015年より記事のデータベースとして Amazon Aurora を利用しています。 先週一般公開された Aurora Serverless v2 への移行する機会がありましたので、紹介させていただきます。 事前準備 Aurora Serverless v2 をサポートする DBエンジンへのアップグレードを実施しました。 切替作業 Serverless v2 リーダーの追加 DBインスタンスクラス「Serverless v2」のリーダー(リードレプリカインスタンス)を追加しました。 フェイルオーバ優先順位は「tier-1」、ライターインスタンスと同等のDB性能を維持する指定としました。 「db.r6g.large」(vCPU:2、メモリ:16GiB)のライターでは、「tier-1」指定の 「Serverless
AWS announces Amazon Aurora MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now available in public preview. This feature enables near real-time analytics and machine learning (ML) on petabytes of transactional data stored in Amazon Aurora MySQL-Compatible Edition. Data written into Aurora is available in Amazon Redshift within seconds, so you can quickly act on it without having to build and maintain comple
check-mysql の通信を暗号化できるオプションを追加しました ほか - Mackerel お知らせ #mackerelio
こんにちは。Mackerelチーム CRE の三浦（ id:missasan ）です。今回のアップデート内容をお知らせします。 check-mysql の通信を暗号化できるオプションを追加しました MySQLのバージョンによって取得できていなかったメトリックを取得できるように修正しました Amazon Aurora PostgreSQL互換インターフェースへの対応を行いました check-mysql の通信を暗号化できるオプションを追加しました go-check-plugins v0.40.0 にて check-mysql に以下3つのオプションを追加しました。 これらのオプションにより、プラグインとデータベース間の通信を暗号化することができます。 --tls Enable TLS connection --tls-root-cert The root certificate used f
【週刊 Ask An Expert #08】AWS Glue の Python shell ジョブはいつ Python 3 に対応する？ AWS Loft Tokyo で受けた質問まとめ #AWSLoft | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #08】AWS Glue の Python shell ジョブはいつ Python 3 に対応する？ AWS Loft Tokyo で受けた質問まとめ #AWSLoft こんにちは、ソリューションアーキテクトの針原 (Twitter: @_hariby) です。 関東甲信地方は梅雨入りしましたが、いかがお過ごしでしょうか。タイトルにある AWS Glue の Python shell ジョブは、ちょうど先週 Python 3.6 に対応しました。そんなやり取りがある週刊 Ask An Expert 第8回目をお届けしたいと思います。「参考になった！」「いい内容だ！」と思っていただけたら、ぜひハッシュタグ #AWSLoft を付けてシェアしてください。もちろん、改善点・ご要望もお待ちしております。 なお今週は AWS Sum
Amazon RDSやAuroraのスナップショットをParquet形式でS3へ保存可能に。スナップショットに対する分析処理も
Amazon RDSやAuroraのスナップショットをParquet形式でS3へ保存可能に。スナップショットに対する分析処理も Amazon Web Services（AWS）は、データベースサービスとして提供しているAmazon RDSやAmazon Auroraのスナップショットを、Amazon S3にApache Parquetフォーマットで保存する機能が追加されたことを発表しました。 Parquetフォーマットは、もともとHadoop上で高速な分析を可能にする「Parquet」で用いられていたデータフォーマットです。 カラム型データベースではデータを列方向に格納することでデータの連続的な読み出し性能が高く、高速な分析が可能です（ただしトランザクション処理は遅いか、できないことが一般的です）。しかも列方向のデータは基本的にすべて同じ型であり、似たような値が並んでいる可能性も高いため、
［速報］Aurora PostgreSQLにSQL Server互換レイヤを実装する「Babelfish for Aurora PostgreSQL」発表。オープンソースとしても公開へ。AWS re:Invent 2020
［速報］Aurora PostgreSQLにSQL Server互換レイヤを実装する「Babelfish for Aurora PostgreSQL」発表。オープンソースとしても公開へ。AWS re:Invent 2020 Amazon Web Services（AWS）は、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、Amazon Aurora PostgreSQLにSQL Serverの互換レイヤを実装する「Babelfish for Aurora PostgreSQL」を発表。 同時に、これをオープンソースプロジェクト「Babelfish for PostgreSQL」としてGitHubに公開することも発表しました。 SQL ServerからAWSが提供するAmazon Auroraなどのデータベースへ移行する場合、データベースについてはAWS Data
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「家族アルバム みてね」におけるオブザーバビリティの取り組み | gihyo.jp
Modern applications at AWS
マルチアカウント管理におけるAmazon GuardDutyの活用方法 - NRIネットコムBlog
Go, Clojure, マイクロサービス…コロナを技術で乗り越えろ！飲食スタートアップの挑戦
高まるデータ分析の重要性とそれを支えるAWS | gihyo.jp
「Nintendo Switch Online」もAWS採用 「需要拡大に容易に対応できている」と任天堂
Aurora PostgreSQL クエリ計画管理の概要 | Amazon Web Services
Google Cloud SpannerのPostgreSQL互換インターフェイス、正式版に
2023年1月〜3月のAWSアップデートーAmazon Linux 2023の公開とか
「オンプレミスの納品」「スケールアップ運用解消」に必要な思考フロー 課題から「本当にしたいことは何か」を掘り下げて解決
AWS・Azure・Google Cloud、クラウドのデータベースをリードするのはどれか
Aurora Serverlessの導入時に気をつけるべきこと | DevelopersIO