分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ
はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなどを通して社内利用されています。 このデータ連携処理にはいくつかの課題があり、それを解決するためにEmbulkからAurora S3 Export機能を用いた連携処理に切り替えることにしましたので、それについて紹介していきたいと思います。 ※この切り替えについては現状、試験的に一部のDBのみの切り替えとなっていますが、運用上の大きな課題が出てこなければ徐々に切り替えていく予定です。 切替前のデータ連携処理 先述した通り、BAS
［速報］AWS、必要なときに1分以内にキャッシュが提供され自動的にスケールする「Amazon ElastiCache Serverless」正式サービス化を発表。AWS re:Invent 2023
［速報］AWS、必要なときに1分以内にキャッシュが提供され自動的にスケールする「Amazon ElastiCache Serverless」正式サービス化を発表。AWS re:Invent 2023 Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」で、トラフィックに基づいてRedisやMemcachedを用いて即座にキャッシュが提供される「Amazon ElastiCache Serverless」の正式サービス化を発表しました。 Offload #Database overhead—& cache in on simplicity. Amazon #ElastiCache Serverless lets you create a highly available cache in under a minute—sca
クラウドのコスト削減は、今も昔も、多くのエンジニアにとって悩みのタネだ。2月1日に開催された「第1回 AWSコスト削減 天下一武道会」に、オンラインと現地参加を合わせて3,600名以上の申込があったことからも、関心の高さが伺える。そこで本記事では、イベントレポートを通じて、クラウドコストを削減する上で重要な考え方と、エンジニアがどのようにしてコスト削減に取り組んだかを紹介する。 100社のコスト診断から見えてきたもの まずは株式会社DELTA 丹 哲郎氏による「100社のコスト診断から見えてきた、コスト削減の王道とケモノ道」の内容を紹介する。 株式会社DELTA 丹 哲郎氏 株式会社DELTAは、CTOのための技術支援サービスを提供する企業。なかでもインフラコスト削減サービスは、削減額に応じた費用を支払う成果報酬型で、発注する側から見れば実質無料というユニークなサービスだ。2022年の創業
crowdworks.jpのマスタデータベースをAWS RDS MySQL 5.7から8.0にアップデートしました - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。 crowdworks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました（ようやく！）。 今回はMySQL 8.0へのアップデートの手順と対応が必要な変更点について書いていきます。 MySQL 8.0にアップデートした理由 MySQL 8.0にアップデートした理由はAWS RDS MySQLのEOL対応のためです。 AWS RDS MySQL 5.7のEOLは2023年10月（のちに2023年12月に変更されました）であり、8.0へのアップデートが必要でした。 crowdworks.jpで使用している他のMySQLデータベースは8.0へのバージョンアップを完了していました。 しかしcrowdworks.jpのマスタデータベースは30億行を保持し、1日に約
EC2インスタンスの踏み台を用意したくない こんにちは、のんピ(@non____97)です。 皆さんはEC2インスタンスの踏み台を用意したくないと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスター、OpenSearch Service ドメインなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台(Bastion)が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect そして、踏み台となるリソースとして採用される多くがEC2インスタンスだと考えます。EC2インスタンスの場合、OS周りの面倒をみる必要があります。OS内のパッケージのアップデートが面倒であれば「踏み台が
KubernetesクラスターからAWSリソースへのアクセスを制御してくれる「IRSA」とは？ - Qiita
「アクセス制御」ってややこしいですよね。 AWSでもIAMが苦手！って方多そうですが、Kubernetesの世界でもアクセス制御を知っておかないとセキュリティ事故に繋がります。 今回はそれらの合わせ技となる、AWS上でKubernetesを使う際の両プラットフォーム間でのアクセス制御の組み合わせについてのお話です。 AWS上でKubernetesを使う際のセキュリティ課題 EKSを使ってKubernetesワークロードをAWS環境上でホストしてるよ！という方は多いんじゃないかと思います。 特にAWSでKubernetesを使っていると「PodからAWSリソースにアクセスさせたい」という要件が出てきます。 以下のようなプロダクトを例として想像してみましょう。 この例では同じEKSクラスター上でKubernetes Podを2種類がバックエンドアプリケーションとして稼働しています。 Pod①へ
この記事は freee 基盤チーム Advent Calendar 2023 の 22 日目の記事です。 こんにちは、freee のDBRE (Database Reliability Engineering) で ジャーマネ（マネージャー）としてDBRE組織を運営管理しているJuni です。 今回は何故integration環境*1を相乗り化してきたのかという話しをしていきたいと思います。 始まる前に、タイトルにも書いてある「DB相乗り」に関して一度定義していきましょう。 DB相乗りとは、複数の論理Databaseを1つの物理cluster内にまとめて乗せておく事です。 何故integration環境を相乗り化しようとしたのか？ freeeでのintegration環境は主にproductionへのリリースの前の機能テスト、QAなどで使われていまして、数十環境が構築されています。 それぞ
AIの発達により、かつてはスーパーコンピューターを長時間稼働させて行ってきた天気予報が、短時間かつ高精度で行えるようになりつつあります。そんな中、Microsoftが天気予報と同時に大気汚染を瞬時に予測できるAIモデル「Aurora」を発表しました。 Introducing Aurora: The first large-scale foundation model of the atmosphere - Microsoft Research https://www.microsoft.com/en-us/research/blog/introducing-aurora-the-first-large-scale-foundation-model-of-the-atmosphere/ Superfast Microsoft AI is first to predict air pollut
Amazon Aurora の KMS キーをシュッと差し替える - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシでは RDB に Amazon Aurora MySQL を使っています（以下 Aurora と略します）。また、データ保護の追加レイヤーとして KMS を使って DB クラスターを暗号化しています。 docs.aws.amazon.com ここまでは良いのですが、KMS キーに AWS マネージドキーが設定されていました。普段から AWS を使っている方であれば「あちゃ〜」と思われるでしょう。 なぜ Aurora の KMS キーに AWS マネージドキーを使うのが「あちゃ〜」なのか KMS キーには、AWS マネージドキーとカスタマーマネージドキーの 2 種類があります。 AWS マネージドキーはユーザーに代わって作成されるキーで、RDS の場合は aws/rds というエイリアス名が付いています。
社内で AWS Workshop を開催しました！ - カミナシ エンジニアブログ
こんにちは。 カミナシでソフトウェアエンジニアをやっている Taku です。 先日、社内で AWS の Workshop を開催してみたところ良い反応をいただいたのでその共有となります。 Workshop 開催の目的 今回 Workshop を開催した主な目的はAWS の自己学習を推進するためです。 カミナシには学習・実験・検証を目的とした「AWS アカウント(検証用個人 AWS アカウント)」を発行して利用できる制度があります。 もっとこの良い制度を活用していきたいという思いと、特に新しく入社した人にはあまり知られていない状態をカイゼンしようと思い、 Workshop を開催することで気軽に AWS を触っていただけるようにしたいと考えました。 Workshop でやったこと Workshop の題材としては、昨年末に参加した AWS re:Invent で体験した以下を利用することとし
pt-online-schema-change の実行が必要かどうか判断するタイミングをより早くした話 - Repro Tech Blog
Repro では Aurora MySQL を使用しています。いくつか数千万行を越えるデータを持つ大規模なテーブルもあります。 大規模なテーブルのスキーマを変更するときは pt-online-schema-change1 を使用していますが、今回はその必要性を判断するタイミングを早めた話です。 pt-osc が必要になる理由等は次の記事が詳しいです。 - pt-online-schema-changeの導入時に検討したこと、およびRailsアプリとの併用について - freee Developers Hub 解決したい課題 Repro では Rails アプリケーションが管理画面や API を提供しています。これらについて、目的別に複数の環境を用意しています。 member: 主に管理画面の動作確認目的で開発者が自由に使ってよい環境 いくつかのミドルウェアは dev_staging と共用
Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate | Amazon Web Services
Containers Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate Introduction An Amazon Elastic Container Service (Amazon ECS) task is a number of co-located containers that are scheduled on to AWS Fargate or an Amazon EC2 container instance. Containers use Linux namespaces to provide workload isolation—and with namespaces—even though containers are scheduled together in an Amaz
MySQLのtable collationが意図した値になっているかテストするActions Workflowを作った - 風に吹かれても
文字セットと照合順序 MySQLに限らず多くのRDBMSには文字をどのようにバイト列で表現するかを決めるルールである文字セットがあります。 また文字セットに対応して文字同士を比較するときのルールである照合順序*1という概念があります。MySQLの場合、この照合順序は1つの文字セットに対して複数存在する概念です。なのでそれぞれの文字セットに対してデフォルトの照合順序があります。 照合順序が何に設定されているのかを把握していないと思わぬ結果を招くことになり、有名なのが寿司ビール問題と呼ばれるものになります。これは寿司の絵文字とビールの絵文字がMySQLのutf8mb4_general_ciという照合順序の下で等価であると判定されることが原因です。 blog.kamipo.net ここまで照合順序の話をしましたが間違ったことを話している可能性があるので公式ドキュメントを参照してください。 dev
AWS、スケーラブルなNFS「Amazon EFS」で、長期保存データ用の「Amazon EFS Archive」提供開始
AWS、スケーラブルなNFS「Amazon EFS」で、長期保存データ用の「Amazon EFS Archive」提供開始 Amazon Web Servicesは、Amazon EFSの新機能として長期保存データ用の「Amazon EFS Archiveストレージクラス」の提供を開始したと発表しました。 また、既存のAmazon EFS Infrequent Access（IA）ストレージクラスのストレージ価格が36%引き下げられたことも同時に発表されました。これによりAmazon EFSはデータの長期保存において、従来よりもさらに低コストなソリューションとなりました。 Slim down #CloudStorage costs while keeping cold data easily accessible with #AWS. From ML training & predicti
2023年8月で新卒から約13年半勤めたSIerを退職します。関係者の方々、本当にお世話になりました。 9月から新しい職場で働くのですが、転職活動が初めてということもあり、色々と試行錯誤しながら進めたのでここにまとめたいと思います。 なお、具体的な企業名やそのプロセス、オファー条件はここには記載しません。企業名、特に前職は色々調べるとわかる情報なのですが、企業名で検索してこの記事が出てくるのもちょっと違う気がするのであえて書いておりません。 転職に向けてどう準備、活動したかにフォーカスして書こうと思うので何かしら参考になれば幸いです。 自己紹介、私の経験値 なぜ転職するのか 企業探し 選考準備 読んだ本 問題解決力を鍛える!アルゴリズムとデータ構造 データ指向アプリケーションデザイン ［試して理解］Linuxのしくみ システム設計の面接試験 世界で闘うプログラミング力を鍛える本 コーディン
Prime Day 2023 Powered by AWS – All the Numbers | Amazon Web Services
AWS News Blog Prime Day 2023 Powered by AWS – All the Numbers As part of my annual tradition to tell you about how AWS makes Prime Day possible, I am happy to be able to share some chart-topping metrics (check out my 2016, 2017, 2019, 2020, 2021, and 2022 posts for a look back). This year I bought all kinds of stuff for my hobbies including a small drill press, filament for my 3D printer, and irri
re:Invent2023 で登場した AWS Backup Restore testing でリストア検証を手軽に始める #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは！バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。今期の呪術廻戦のアニメは原作にない描写が描かれてて最高でした。 この記事は LayerXテックアドカレ 49日目の記事です。前日は id:watau_lx さんによる 継続的なパフォーマンス改善のプロセスを紹介します でした。明日は kakeruさんが担当します。この記事では AWS の学習型カンファレンスである、re:Invnent 2023 で登場した AWS Backup Restore testing を検証した内容をまとめていきます。なお、re:Invent 2023 でのアップデートや新サービスをさらえる AWS re:Invent 2023速報 の資料と動画をもしチェックされてない方がいたら年末年始のタイミングでチェックしてみてください🔎
[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた | DevelopersIO
[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた いわさです。 Aurora グローバルデータベースでは書き込み転送機能があります。 リーダーエンドポイントのみのセカンダリリージョンで書き込み操作を行うと、プライマリリージョンへ書き込みを転送してくれる機能です。 このグローバルデータベースでサポートされていた機能が単一リージョンの Aurora クラスターでも利用できるようになりました。 この機能を有効化することで、クライアントからリードレプリカに対して書き込み操作を行った場合に、リーダーインスタンスがライターインスタンスに書き込み操作を転送してくれます。 従来リードレプリカを導入する場合はクライアントアプリケーション側でライターエンドポイントとリーダーエンドポイントを管理しなければいけませんでした。 いくつか制限事
![[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0daaf3649414b6f27679779d9a4b12e219c67548/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-aurora.png)
出典：Waymo公式サイト米ライドシェア最大手のUber（ウーバー）は2023年11月1日までに、自動運転タクシーサービスをアメリカ国内で開始した。アリゾナ州フェニックスで、Uberアプリを通じてGoogle系Waymoの自動運転タクシーの配車が可能になった。 すでにライドシェアで多くのユーザーを抱えるUberがGoogle陣営と提携したことで、自動運転タクシーの大本命に踊り出た。なおUberとWaymoは、配車・配達において複数年にわたるパートナーシップを結んだことを今年5月に発表している。 ■マッチングの際にユーザー側に確認フェニックスにおいて、UberのアプリでUberXやUber Green、Uber Comfort、Uber Comfort Electricをリクエストしたユーザーは、Waymoの自動運転タクシーがマッチングされる可能性があるという。 なおUberXは一般的なライ
AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能
Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。ze
Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート2 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート2 本記事は、Amazon Aurora MySQL version 2 (with MySQL 5.7 compatibility) to version 3 (with MySQL 8.0 compatibility) upgrade checklist, Part 2 を翻訳したものです。 最初のパートでは、 Amazon Aurora MySQL互換エディション v2 から v3 へのアップグレードの事前チェックが失敗する原因となる最も一般的な問題を説明しました。この投稿ではアップグレードが長引いて失敗する最も一般的な原因について説明します。 クラスターにプリ
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡大しているのが、顧客との取引やコミュニケーションの履歴やアンケート結果、ソーシャルメディアのデータなど、さまざまな種類の膨大なデータを蓄積し分析することで、適切かつ効果的な顧客や顧客候補とのエンゲージメントを実現するためのデータの蓄積と分析基盤としての役割です。 データを活用して企業と顧客とのエンゲージメントを高めるサービス「MicoCloud」を提供するMicoworks社は、まさにこうした新しいデータベース基盤の実現と利用によって急成長している企業の1つです
結成たぶん10年くらいのチーム白金動物園（mirakui, sorah, rosylilly）として ISUCON 13 に参加してきました。ここ数年はなんだかんだ運営側であることが多かったので、いち選手としては随分久しぶりな気がします。 結果は694チーム中18位で、最終スコアは 103,838 でした。 ISUCON13 受賞チームおよび全チームスコア : ISUCON公式Blog 優勝経験のあるチームとしては満足のいく結果ではありませんが、Rubyを使ったチームの中では一番スコアが高かったようです。 上位30チームに限定すると以下となりました Go 29組 96.7% Ruby 1組 3.3% ISUCON13 利用言語比率 : ISUCON公式Blog この1組が我々です。 あとLINEヤフー社が提供してくださった会場に入場した順では僕が1位を取りました。 ISUCON
Findyの新規サービス Findy Toolsはどのようにして開発されたのか？ - Findy Tech Blog
こんにちは。 Findy で Tech Lead をやらせてもらってる戸田です。 先日、弊社からFindy Toolsがリリースされました。 今回は、そのFindy Toolsがどのようにして開発されたのか、開発の背景や工夫点などを紹介していきます。 それでは見ていきましょう！ Findy Toolsの概要 紹介 Findy Tools は開発ツールに特化したレビューサイトです。第三者の視点で実際にツールの選定をした企業の生の声を集めることで、ツール選定に関する不安を解消し、導入検討に必要な情報を提供します。 「Findy Tools」を開発ツールの導入検討をしているユーザーが利用すると、実際にツール選定をした大手企業やメガベンチャー企業の技術責任者やエンジニアによるレビューを集めることができ、導入検討がスムーズになります。 また、開発ツールを掲載するベンダーには、実際の利用企業の声を活か
AWS JDBC Driver の Failover Plugin を使って3秒でAurora DB ClusterのWriterをフェイルオーバーしてみた | DevelopersIO
Amazon Auroraのフェイルオーバー時間を短くしたい こんにちは、のんピ(@non____97)です。 皆さんはAmazon Auroraのフェイルオーバー時間を短くしたいなと思ったことはありますか? 私はあります。 Auroraのフェイルオーバー時間は60秒未満と言われています。しかし、「60秒では長すぎる。せめて10秒程度でフェイルオーバーは完了させたい。」といったこともあると思います。 フェイルオーバー時間を短くする方法はクライアント側でMariaDB Connector/JやPostgreSQL JDBC Driverなどのドライバーを使用したり、RDS ProxyやProxySQLなどプロキシを挟むパターンがあります。 他にもフェイルオーバー時間を短くする方法が何かないかと探しているとAWS公式ドキュメントにフェイルオーバー時間を短くするための方法がまとまっていました。
この記事はfreee 基盤チーム Advent Calendar 2023 の24日目の記事です。 はじめに はじめまして！ kanno と申します。freee SREで、freeeサインのプロダクトSREを担当しておりAWSインフラの改善や運用を主に行っています。初回の投稿で拙い文章になりますが、直近で実施したfreeeサインのAWSリージョンを移行した話を書こうと思います。 背景 元々、freeeサイン(旧ninja-sign)はHeroku上にアプリケーションをデプロイしていましたが、2022年の年末頃にAWSに移行しています。その際、元々のHerokuがus上で稼働していたことが影響して、AWSのバージニアリージョンに移行された状態でした。私がfreeeのサインチームにjoinしたのがこの時で、AWSリージョン移行を担当することになりました。 AWSリージョン移行のモチベーション
Amazon MSKを用いてMySQLに対してChange Data Captureを実現する - ZOZO TECH BLOG
はじめに こんにちは。基幹システム本部・物流開発部の作田です。現在、ZOZO社内で使用している基幹システムのリプレイスを担当しています。 現在行っているリプレイスでは、既存の基幹システムから発送機能を切り出し、マイクロサービスに移行しています。リプレイスの詳細については、ZOZOBASEを支える発送システムリプレイスの取り組みをご覧ください。 techblog.zozo.com マイクロサービスは発送業務の各作業が完了したことを基幹システムに連携しており、この連携を実現するためにAmazon Managed Streaming for Apache Kafka（以降、Amazon MSK）を採用しました。今回は、サービス間のデータ連携にAmazon MSKを採用した理由やAmazon MSKでの実装例と考慮点について紹介します。MySQLなどのリレーショナルデータベースに対してAmazon
tblsのViewPoint機能を用いたGithub Actions上でのDBドキュメントの自動生成 - Safie Engineers' Blog!
この記事はSafie Engineers' Blog! Advent Calendar 2日目の記事です。 セーフィー株式会社でテックリードをやっております鈴木敦志です。 セーフィーはクラウドカメラのSaaSを提供しており、現在22万台程度のデバイスに対してカメラ映像をクラウドから視聴する機能を提供しています。 それに加えエンタープライズ向けの権限管理機能や社内向けの販売管理ツールなど複数のサービスを運営しており、各サービスでMySQLのDBを共有しているためDBのテーブル数が肥大化し構造がわかりにくくなり、新機能開発の妨げとなっていました。 本稿ではデータベースのドキュメンテーションツールである tbls を導入し、DBスキーマ管理ツール skeema、ドキュメント生成ツール mkdocs、Github Actionsなどと組み合わせてスキーマ管理からドキュメント生成までをやっていきます
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 熊崎 宏樹:良いですね。日曜大工でRDBMSを作るのはもっと市民権を獲得しうる趣味だと確信しています。 分散システムを作る際に気をつける事を語ると毎度長くなってしまうのですが、データ指向アプリケーションデザイン、通称イノシシ本に書いてある事をベースラインに説明すると明快であると気づきました。 * レプリケーションされるのはトラ
Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 Amazon Aurora は、クラウド向けに構築された MySQL および PostgreSQL 互換のリレーショナルデータベースです。Aurora は、従来のエンタープライズデータベースのパフォーマンスと可用性と、オープンソースのデータベースのシンプルさとコスト効率を持ち合わせています。Amazon Aurora MySQL は MySQL 5.7 と互換性に加え、 MySQL 8.0 とも互換性があります。MySQL 8.0 互換の Aurora MySQL 3 が一般提供されています。 Aurora MySQL 3 は、共通テーブル式 (CTE) のサポート、ロールベースの認証、レプリケーションの強化、ウィンドウ関数、インスタント DDL など、いく
工場で製造されたモノを販売店舗まで運ぶ運送業界に、間もなく自動運転トラックが革命をもたらす可能性があると、The Washington Postが指摘しています。 Autonomous semi trucks are coming, despite job fears and lack of regulation - The Washington Post https://www.washingtonpost.com/technology/2024/03/31/autonomous-semi-truck-jobs-regulation/ Prioritizing Safety: A Spotlight on Driverless Trucking Capabilities https://blog.aurora.tech/safety/driverless-trucking-capabil
私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 - Findy Tools
公開日 2024/05/24更新日 2024/05/24私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 近年データベースが急速に進化し、開発にも大きな影響を与えています。そこでファインディでは「私たちはなぜNewSQLを使うのか TiDBを選定・導入した5社が語る選定と活用」と題したイベントを開催。PingCAPの日下さん、LINEヤフーの佐伯さん、アイスタイルの鈴木さん、DMM .comのpospomeさん、コロプラの曽我さん、さくらインターネットの江草さんをお招きし、NewSQLの一つである TiDBについて語っていただきました。 ■パネリスト 日下 太智さん / @ksk_tic PingCAP株式会社 プロダクトマネージャー / シニアソリューションアーキテクト SIerにて国内外問わずEC/小売/製造/サービス/メディア/出版など様
10月28日に開催された「VueFes Japan 2023」のイベントレポートをダイジェストでお届けします。 なお、公式サイトのタイムテーブル内に、一部の講演の資料がアップロードされています。 オープニング 実行委員長・ユーザーグループ代表の川口和也氏から、挨拶がありました。 今回は4トラックでスピーカーは35名、コアチームの来日など充実した内容になっています。またオフラインでの開催は5年ぶりです（台風やコロナの影響で、2018年以来です）。 川口氏は、フェイス・トゥ・フェイスで開催できる嬉しさやスポンサーへの感謝を述べました。 Evan You氏によるキーノート 基調講演はVue.jsの作者であるEvan You氏。広い会場で立ち見もでるほどの盛況でした。Evan You氏は、台風やコロナで日本に来れなかったため、久々の来日とのことです。 Evan You氏はVue.jsとVite
［速報］AWS、SPARCサーバを仮想化してAWSに載せる「Virtualization for SPARC on AWS with Stromasys」発表。AWS re:Invent 2023
［速報］AWS、SPARCサーバを仮想化してAWSに載せる「Virtualization for SPARC on AWS with Stromasys」発表。AWS re:Invent 2023 Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」で、SPARCプロセッサを搭載したサーバ環境を仮想マシンとしてAWS上で提供する新サービス「Virtualization for SPARC on AWS with Stromasys」（以下、SPARC on AWS）を発表しました。 これによりSPARCサーバ上で動作するアプリケーションに変更を加えることなく、AWSに移行できます。 x86マシン上の仮想マシンとしてSPARCサーバを実現する技術は、以前からStromasys社が提供しており、2019年にはAWS Marke
Join the preview of Amazon Aurora Limitless Database | Amazon Web Services
AWS News Blog Join the preview of Amazon Aurora Limitless Database Today, we are announcing the preview of Amazon Aurora Limitless Database, a new capability supporting automated horizontal scaling to process millions of write transactions per second and manage petabytes of data in a single Aurora database. Amazon Aurora read replicas allow you to increase the read capacity of your Aurora cluster
日本ケンタッキー・フライド・チキン株式会社｜可用性の高いシステム設計、高い分散処理性能を持つシステム開発 日本ケンタッキー・フライド・チキン株式会社「ケンタッキーフライドチキン 公式アプリ」のリニューアルを担当し、UX/UI設計～アプリ開発、コンテンツ運用をご支援させていただいております。 ＜プロジェクト詳細＞ One to One・パーソナライズドマーケティングという構想を実現するためのCRM強化を目的とした開発を実施しました。 本開発では、システム全体には「マイクロサービスアーキテクチャ」を採用し、各システムが疎結合となることで、今後も進化発展していくデジタルマーケティング基盤として、可用性の高いシステム設計となっています。 プラットフォームにおいては、全国の店舗から集約した膨大な購入データに対し、数十分でチキンマイル（※後述）を付与することが可能な高い分散処理性能を持つマイルプラット
［速報］AWS、ARMベースの最新独自プロセッサ「Graviton4」発表、Graviton3より30％高速、より高効率に。AWS re:Invent 2023
Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、同社が独自に開発しているARMベースの最新プロセッサ「AWS Graviton4」を発表しました。 Graviton4は2021年に発表されたGraviton3と比較してコア数が50％、メモリ帯域が75％増加し、演算性能が30％向上しており、より高性能かつ電力利用効率が高いプロセッサとなっています。 また、全ての物理ハードウェアインタフェースを完全に暗号化することで、より高いセキュリティを実現しました。 AWS CEOのAdam Selipsky氏は、Gravtion4はGraviton 3と比較してデータベース処理で40％高速になり、Javaアプリケーションでは45％高速になったと説明。 Graviton4はメモリ最適化されたAmazon EC2 R8gイ
GitHub - instant-dev/instant: JavaScript API framework with ORM, migrations and vectors
instant.dev provides a fast, reliable and battle-tested ORM and migration management system for Postgres 13+ built in JavaScript. For those familiar with Ruby on Rails, instant.dev adds functionality similar to ActiveRecord to the Node.js, Deno and Bun ecosystems. We have been using it since 2016 in production at Autocode where it has managed over 1 billion records in a 4TB AWS Aurora Postgres ins
機体の制御に、方向舵や昇降舵、フラップ、エルロンなどをひっくるめた「動翼」ではなく、「アクティブ・フロー・コントロール(AFC)」と呼ばれる加圧ジェットを用いるジェット機「X-65」が、2025年夏に初飛行予定であることがわかりました。 DARPA Moves Forward on X-65 Technology Demonstrator https://www.darpa.mil/news-events/2024-01-03 DARPA's wild X-65 CRANE aircraft aims for 1st flight in summer 2025 | Space https://www.space.com/darpa-crane-x-65-aircraft-aurora-flight-sciences X-65はアメリカ国防総省の国防高等研究計画局(DARPA)とボーイングの
マッハバイトのメインDBをAmazon Auroraに移行しました - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 2024年2月に長年の悲願だったマッハバイトのメインDBのAuroraへの移行を完遂しました！！！ この記事では、どのようにマッハバイトのAurora移行を進めていったかを記事として残します。 なお、この記事の中では結構レガシーな部分の対応に苦しんだところも出てくるのですが、DB移行が終わったあとで、弊社内でこのレベルのレガシー対応を行う必要があることはほぼないと考えているので、リブセンスに興味を持っている方も安心して読んでいただければと思います。 やったこと プロジェクトの流れ テックリードから聞く初耳の単語: 『Mroonga』 状況をざっくりと調査 このコード使われてるの？使われてないの？ DMSの検証本格化 移行準備期 ついに、本番移行 Auroraに移行してよかったこと パフォーマンス改善 Performance Insightsが便利！！！ DB移
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSコストを大幅に削減する秘訣は覚悟と根性!? Elephant in the Roomから逃げるな！
AWS CDKでECS Fargate Bastionを一撃で作ってみた | DevelopersIO
複数の検証環境でのDB相乗り化 - freee Developers Hub
Microsoftが10日間の世界の天気と大気汚染をたった1分で予測する超高速AI「Aurora」を発表
転職活動の記録〜クラウドと英語〜 - fu3ak1's tech days
ついにUberが自動運転タクシー展開！Google製車両を採用、業界の大本命に | 自動運転ラボ
チーム白金動物園としてISUCON13に参加しました - 昼メシ物語
freeeサインのAWSリージョンを移行した話 - freee Developers Hub
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 | Mond - 知の交流コミュニティ
運送業界に革命をもたらす「自動運転トラック」がアメリカで間もなく高速道路を走行し始める
VueFes Japan 2023イベントレポート | gihyo.jp
実績紹介(日本ケンタッキー・フライド・チキン様 オフィシャルアプリ) | ゆめみ
飛行機から「動翼」を取り払う実験用ジェット機X-65が2025年夏に初飛行予定