Aurora - クラウド時代のDBアーキテクチャ - 発明のための再発明
はじめに Amazon Auroraは、AWSを触る人ならほとんどの人が利用を検討したことがあるでしょう。 Amazon社内ではOracleを止めたというtweetもありました SHUTDOWN ABORT the last Oracle database running Amazon Fulfillment! pic.twitter.com/DorqTua2Lt— John Darrow (@jdarrow) 2019年3月29日 そんなAuroraは、従来のRDBとは違いクラウド上で動くことを念頭に設計されています。 また、ログが中心的な役割を持つことから「The log is the database」と表現されることもあります。 そんなAuroraの仕組みについての論文を読んだので紹介します。 読んだ論文は以下の２つです。 Amazon Aurora: Design Conside
AWS Lambda Supports Go
You can now develop your AWS Lambda function code using Go. Lambda lets you run code without provisioning and managing servers. You simply upload your Go executable artifact as a ZIP file through the AWS CLI or Lambda console and select the go1.x runtime. With Lambda, you can use Go's native tools to build and package your code. Read our documentation for more details. You can also use the AWS Ser
［速報］AWS Lambdaが機能強化。.NETとGo言語をサポート、サーバレスアプリケーションのリポジトリも登場。AWS re:Invent 2017
Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2017」で、サーバレスコンピューティングを提供するAWS Lambdaの機能強化を発表しました。 API GatewayとVPCとの統合機能、3GBメモリサポート、コンカレンシー制御の強化などに加え、.NET Core 2.0のサポートおよびGo言語のサポートが発表されました。 Amazon.com CTOのWerner Vogels氏がGo言語のサポートを発表すると、会場からは大きな拍手があがりました。「たくさんの人から、Go言語はサポートしないのかと聞かれた」（同氏） さらにサーバレスアプリケーションを再利用可能にする公開リポジトリの「AWS Serverless Application Repository」が登場。 AWS コンソールからサーバレスアプリケーションの登録
Amazonの推薦システムの20年
IEEE Internet Computingの2017年5・6月号に "Two Decades of Recommender Systems at Amazon.com" という記事が掲載された。 2003年に同誌に掲載されたレポート "Amazon.com Recommendations: Item-to-Item Collaborative Filtering" が Test of Time、つまり『時代が証明したで賞』を受賞したことをうけての特別記事らしい 1。 「この商品を買った人はこんな商品も買っています」という推薦で有名なAmazonが1998年にその土台となるアルゴリズムの特許を出願してから20年、彼らが 推薦アルゴリズムをどのような視点で改良してきたのか 今、どのような未来を想像するのか その一端を知ることができる記事だった。 アイテムベース協調フィルタリング 20年前も
IT業界に衝撃! "Java Father" ジェームズ・ゴスリングがAWSにジョイン | gihyo.jp
「そろそろ変化のときのようだ。私はたくさんの思い出とともに、Boeing Defense（旧Liquid Robotics）を離れる。そして今日、アドベンチャーをAmazon Web Servicesで始める」 5月22日（米国時間）、かの"Java Fahter"として知られるジェームズ・ゴスリング（James Gosling）氏が自身のFacebook上でAWSにジョインすることを明らかにし、世界中のITに関係者に大きな衝撃を与えました。AWSもゴスリング氏の入社を正式に認めており、Amazon CTOで"Cloud Father"と称されるヴァーナー・ボーガス（Werner Vogels）氏はTwitter上で「ジェームズ・ゴスリングのAWSファミリへの参加を歓迎する」とコメントしています。 Welcome James Gosling to the #AWS family! ht
AWS Batch とは何か - Qiita
AWS re:Invent 2016 で発表された AWS Batch。 語感から、誤解されるサービス No.1 な気がします。 定時バッチなどとは何がどう違うのかをメモ。 機能概要 以下公式資料とドキュメント、実際さわってみた所感を合わせて。 AWS Batch – 簡単に使えて効率的なバッチコンピューティング機能 – AWS AWS Black Belt Online Seminar「AWS Batch」の資料およびQA公開 結局何なのか 科学技術計算・ハイパフォーマンスコンピューティング用途で真価を発揮する、 大規模なスケール、ジョブの依存定義 が可能なマネージド 並列分散 処理基盤。 主な機能、ポイント クラスタ管理、ジョブキュー、ジョブスケジューラを AWS にお任せできる 処理すべきジョブの数に応じ、適切に 自動伸縮1 するクラスタ ジョブに 依存関係 が定義できる（B は A
インフラチームと開発チームの垣根をなくすためにAWSのCI環境を構築した話 - CARTA TECH BLOG
こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 PHPカンファレンス2016 の「老舗メディアが改善に取り組んでいる話」でもお話した通り、長年オンプレミス環境で稼働してきたECナビを、AWSに移転しようというプロジェクトが進行しています。 そしてなんと先日、約24時間のメンテナンスを経てECナビの本体(Webサーバ, 管理画面サーバの一部, データベースサーバ)がAWSに移転しました！ AWS移転において得た知見, 構築したシステム等は数多くありますが、今回はCloudFormationとTravis CIを用いて 生産的 で 安全 で 手軽 なAWSのCI環境を構築したお話です。 背景 ECナビは、500万人を超える会員を抱えたVOYAGE GROUPが運営している中でも特に大きなメディアの1つです。 今回、そんなECナビのインフラ調達期間の削減、検証環
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
［速報］顧客のデータセンターに大型トラックで乗り付け、100PBのデータを吸い上げる「AWS Snowmobile」発表。AWS re:Invent 2016
［速報］顧客のデータセンターに大型トラックで乗り付け、100PBのデータを吸い上げる「AWS Snowmobile」発表。AWS re:Invent 2016 AWSは大容量のデータを顧客のデータセンターからAWSのクラウドへ物理ストレージを利用して効率よく転送するために「Amazon Snowball」を2015年に発表しました。 今回のAWS re:Invent 2016では、このAmazon Snowballの進化形として「AWS Snowball Edge」が発表されました。 Snowball Edgeは100TBの頑丈なストレージにコンピュート機能などを内蔵したことで、処理中のサーバに接続し、ストレージとして直接データを受け取るといったことが可能になります。 しかし「企業が保存しているデータがエクサバイトだったらどうだろう？」と、AWS CEOのAndy Jassy氏。「エクサバ
【新機能】Amazon SQSにFIFOが追加されました！（重複削除/単一実行/順序取得に対応） | DevelopersIO
SQSの大型アップデートです！ オンプレでエンタープライズな開発を行ったことがある方であれば、分散キューシステムの設計が大変だったと思います。実際のところは高額ライセンス商品を買うしか選択肢はなかったのではと。Amazon SQSの登場によって、今まで実装が大変だったノンコア機能のキューが、超安価に簡単に使えるようになったのは衝撃でした。これだけでクラウドを使う理由になりました。 そして、年月は流れ、この度SQSが進化しました！まずは、今までのSQSの課題についておさらいしたいと思います。 標準キュー 今までのSQSは、メディアエンコーディングや大量タスクの分散処理などに適していましたが、いくつかの用途においてフィットしなかったり、独自実装をする必要がありました。 順番が保証されない SQSは高可用性を持った分散キューシステムですので、1つのエンドポイントに投げられたメッセージは複製され蓄
［速報］「VMware Cloud on AWS」をAWSとVMwareが共同発表。Amazonクラウドのベアメタル上でVMware環境を提供、ハイブリッドクラウドを実現（更新終了）
［速報］「VMware Cloud on AWS」をAWSとVMwareが共同発表。Amazonクラウドのベアメタル上でVMware環境を提供、ハイブリッドクラウドを実現（更新終了） Amazon Web ServicesとVMwareは、13日（日本では14日午前5時半）、Amazonクラウドのベアメタル上でVMware環境を実現し、ハイブリッドクラウドの構築を容易にする「VMware Cloud on AWS」を共同で発表しました。 ライブストリーミングによる発表には、AWSのCEO Andy Jassy氏とVMware CEO Pat Gelsinger氏が登場。 ハイブリッドクラウドサービスとして「VMware Cloud on AWS」の発表とともに、AWSとVMwareは、相互に主要なパブリッククラウドとプライベートクラウドのパートナーになるという両社のパートナーシップについて
Lambda+RDSはアンチパターン - Qiita
何が起きたのか 作成していたアプリではサーバレス構成にてLambdaからRDS(MySQL)を呼び出していました。 リクエストが増えるとRDSのコネクション数が増加して すぐにDBコネクションエラーになってしまいました。 最大コネクションの上限値 結論から言うとLambdaとRDS(MySQL)は相性が良くないです。 理由はLambdaからRDSのDBコネクションを貼ると リクエスト単位でコネクションを張ってしまうため 仕組み上、同時接続に耐えられません （RDSのコネクション上限数が少ない） さらにVPC設定すると・・・ セキュリティのため、RDSをLambdaからのみアクセスさせるためには LambdaとRDSを両方とも VPC領域に置く必要があるのですが、Lambdaの起動が遅くなる場合があります。 これは、一定時間Lambdaがコールしない場合にスリープ状態になり、 起動する際にE
Amazon、クラウドIDEを提供する「Cloud9」買収。AWSが統合開発環境をSaaSとして提供する布石か
Amazon、クラウドIDEを提供する「Cloud9」買収。AWSが統合開発環境をSaaSとして提供する布石か Webブラウザから使える統合開発環境、いわゆるクラウドIDEを提供するCloud9は、Amazon.comに買収されたと発表しました。 We will be joining the Amazon Web Services family, and we're looking forward to working together on terrific customer offerings for the future. 私たちはAmazon Web Servicesファミリーに合流する予定です。私たちはすばらしいお客様の未来に向けてともに働けることをとても楽しみにしています。 （Cloud9のブログ「Great News!」から引用） Cloud9はクラウドIDEを提供しているベ
AWS Solutions Architect ブログ
SAの西谷（@Keisuke69）です。 本日よりAWS LambdaでNode.js 4.3.2が利用可能になりました。利用にあたってはファンクションの作成時もしくは更新の際にランタイムの選択で「nodejs4.3」を選ぶだけです。なお、Node.js 0.10を利用したファンクションの作成もサポートされますが、2016年10月にNode.js 0.10がEOLとなるためこれ以降は新規作成はできなくなります。 ここではNode.js 4.3.2が利用可能になったことに伴う変更点について簡単に御案内します。 主な変更点 Node.jsのv4ではJavaScript界隈では非常に重要なアップデートであるES6（ECMAScript 2015、ES2015）のサポート範囲が拡大しています。もちろんPromiseも利用可能になっています。これまでNode.js 0.10だったためにPromise
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon ECS とマネージドサービスを活用したフルコンテナ構成によるゲームサーバの構築と運用 / Amazon-ECS-game-server
Testable Lambda｜AWS Summit Tokyo 2017
Testable Lambda: Working Effectively with Legacy Lambda
James Gosling - It's time for a change. I'm leaving Boeing...
TechCrunch
物理サーバを選定する際のポイント – Eureka Engineering – Medium
