【Elasticsearch】1900万点に及ぶ商品データ作成の時間を約67%短縮できた構成と工夫 - MonotaRO Tech Blog
初めまして、EC基盤グループ サーチチームの壷井です。 モノタロウでは2019年10月頃より新規検索システムの設計・開発を進め、今年の4月頃にECサイト(monotaro.com) 検索ページの裏側の検索システムを従来のSolrからElasticsearchに100%移行*1しました。この移行は将来の商品点数やリクエスト数の増加を見据えたバックエンドの大規模な改修で、ここまで約2年半ほどプロジェクトを進めてきました。今後もECサイトのすべてのページの完全移行に向け引き続き開発・運用を行っていきます。 今回はこのプロジェクトのなかで私が担当してきたElasticsearchへの日々のデータの洗い替え（日次更新と呼んでいます）ワークフローのシステム構成と工夫などについてお話します。 モノタロウの検索システムの紹介 日次更新のシステム構成 処理の流れ ① リアルタイムデータ同期 ② 日次商品デー
コードで学ぶAWS入門
各方面でご好評をいただいている本講義資料ですが，この度増補・改訂のうえ書籍として出版することが決定いたしました！ 書籍限定の書き下ろしの３章 (約100ページ分！)を新たに追加して，2021年9月27日に発売予定です． この資料を気に入っていただいた方は，手に取っていただけるとありがたいです． ここで公開している資料は引き続きオンラインで無料で読めますので，ご安心ください🙇
CORS(Cross-Origin Resource Sharing)によるクロスドメイン通信の傾向と対策 | DevelopersIO
CORS(Cross-Origin Resource Sharing)って何？ CORS(Cross-Origin Resource Sharing)は、その名の通り、ブラウザがオリジン(HTMLを読み込んだサーバのこと)以外のサーバからデータを取得する仕組みです。各社のブラウザには、クロスドメイン通信を拒否する仕組みが実装されています。これは、クロスサイトスクリプティングを防止するためです。Aというサイトに訪問したのに、Bというサイトに向けて個人情報を送っていたというのは困りますよね。例えば、オリジンから読み込んだHTML内のJavaScriptでJSONデータを読み込むとしましょう。JSONデータが同じサーバにあれば普通に読み込めますが、別のサーバにある場合は読み込めません。まぁ実際のところはJSONPという仕組みを使ってできちゃったりしますが、抜け道的なやり方で使われていました。CO
技術的なお問い合わせに関するガイドライン | AWS サポート
AWS サポートでは、お客様の課題の解決を効率的かつ迅速に行いたいと常に考えています。本ページでは、お客様が技術的なご質問をサポートケースに起票いただく際に、早期解決に役立つポイントをまとめました。例文も掲載していますのでぜひご参照ください。 なお、サポート全般についての一般的な情報は、AWS サポートをご参照ください。 サポートレベル毎の技術サポートへのアクセスについては、AWS サポートのプラン比較をご参照ください。 基本情報の入力について サービス／カテゴリー お問い合わせ内容に最も近い項目をご選択いただくことで、適切な回答が早期に得られる可能性が高まります。 お問い合わせ言語 日本語を選択します。英語での技術支援をご希望の場合には English を選択します。 連絡方法 多くの場合、Web を推奨します。連絡方法の詳細については、連絡方法（Web、電話、Chat）の選択についてを
AWS料金早見表
サーバレスアーキテクチャ構成にしたときに 実際のところ、どれくらいの料金になるのか気になったので算出してみようと思います。 (あくまでシミュレーションしたものでAWS側で値段や計算方法が変わったりするため、責任は負いかねますので導入する際は自己責任でお願いします。) AWSのどこにどれくらいの料金がかかっているのか知ることは大事だと思ったのですが、トータルだとなかなかまとまってなかったのでまとめてみました。 間違ってたらご指摘いただけると助かります。 サーバレスアーキテクチャって何？って方はこちら参照してください 世界に先駆けてAWSサーバレスアーキテクチャでユーザ認証とAPI認可の実装をしてみた AWSサーバレスアーキテクチャでCloudFrontからWAFをかけてAPI Gatewayを呼ぶ Lambda+RDSはアンチパターン 全部教えます！ サーバレスアプリのアンチパターン とチュ
料金 - Amazon SES | AWS
Amazon Simple Email Service (SES) は、送受信される E メールの量に基づく従量制料金のサービスです。サブスクリプションや契約交渉、最低料金はありません。 AWS 無料利用枠の一部として、SES では、必要な SES の E メール機能を無料でお試しできる柔軟な無料利用枠を提供しています。無料利用枠のお客様は SES の使用開始後の最初の 12 か月間は、毎月最大 3,000 件のメッセージ料金が無料になります。 以下の SES 製品からのメッセージ料金は、SES 無料利用枠の対象となります。 送信 E メール 受信 E メール Virtual Deliverability Manager の送信 E メール処理 1 通の送信 E メールは 1 件のメッセージ料金に相当し、1 通の受信 E メールも 1 件のメッセージ料金としてカウントされます。アカウントで
【速報】T3インスタンスがリリースされました！ | DevelopersIO
はじめに 中山（順）です。 みなさん、T2インスタンス使ってますか？お安いので検証環境などでは御用達という方／負荷が低い本番環境でバリバリ使ってるぜって方も多いと思います。 そんな中、T3インスタンスがリリースされました！ New T3 Instances – Burstable, Cost-Effective Performance Burstable Performance Instances 提供されるインスタンスタイプ t2インスタンス同様のラインナップです。 t3.nano t3.micro t3.small t3.medium t3.large t3.xlarge t3.2xlarge 利用できるリージョン 以下の12リージョンで利用可能です。 US East (Ohio) US East (N. Virginia) US West (N. California) US Wes
よくある質問 - Amazon S3 ｜AWS
Q: Amazon S3 とは何ですか? Amazon S3 は、任意の量のデータの保存と取得をどこからでも行えるように設計されたオブジェクトストレージです。S3 は、業界をリードする耐久性、可用性、パフォーマンス、セキュリティ、および事実上無制限のスケーラビリティを非常に低コストで提供する、シンプルなストレージサービスです。 Q: Amazon S3 で何ができますか? Amazon S3 はシンプルなウェブサービスインターフェイスを提供しており、いつでも、どこからでも容量に関係なくデータを保存および取得できます。このサービスを利用すれば、クラウドネイティブなストレージを使用するアプリケーションを簡単に構築することができます。Amazon S3 は高度にスケーラブルで、お客様は使用したものに対して支払えばよいので、性能または信頼性を犠牲にせずに、アプリケーションを望むとおりに拡張すること
S3の料金体系が分かりにくいと聞かれたので纏めた - Qiita
課金ポイントは3つ そんなに難しいことはないと思いますが 課金ポイントは3つ あります。 ストレージ容量 単純に保存容量に対して課金されます。 低冗長化ストレージを指定すると2割くらい安くできます。 ログだとか家族写真の保存だとかメインだとデータ転送よりここにお金がかかってきます。（容量でかいけど古いやつは殆どアクセスしないようなのはライフサイクル設定でGlacierに移動する手もあります） データ転送 課金されるのは(S3からの)送信だけです。受信（S3へのアップロード）は無料です。 また、インターネットへの送信と別のAWSリージョンまたはCloudFrontへの送信で別料金が設定されてますが、小～中規模のシステムならサーバ群は1リージョンに纏まってることが多いでしょうから、CroudFront利用時くらいにしかその料金は発生しないと思います。しかもCroudFront利用時は殆どのトラ
AWS Direct Connectの「3つのメリット」と「導入方法」を理解する｜BUSINESS NETWORK
国内企業によるAWSの採用が加速しているが、多くの企業はAWSと社内イントラの間を閉域網で接続できる「AWS Direct Connect」を活用している。今回は、AWS Direct Connectのメリットを整理するほか、その具体的な仕組みと導入方法を紹介する。 AWS Direct Connectの3つのメリットとは？ 前回はAWS Direct Connectが日本的クラウドファーストを支える重要なサービスの1つになっていることを紹介したが、AWS Direct Connectを選択するメリットは具体的には次のように整理できる。 （1）セキュリティに関する懸念解消 まずはセキュリティに関する懸念解消だ。AWSと社内イントラなどの間をセキュアに接続する方法としては、インターネットVPN（IPsec VPN）も用意されており、シスコやジュニパー、ヤマハのルーターなどが対応している（対応
AWSを学ぶために最初に構築するアーキテクチャパターン５選 - log4ketancho
先日書いた AWS の勉強方法をまとめた記事（AWSを学ぶ上でやってよかった勉強法５選 - log4ketancho）で、「簡単なWebサービスをAWSで運営するといい勉強になるよー」と書きました。その中で、 今まで経験したり今いるところはどこもオンプレばかりでAWSとかのクラウドの知識が全くつかないからどこかで勉強したいし個人サービス運用とかしたいんだけど、1年過ぎるといきなりコストがドカンとかかりそうで…… や 「２）簡単なWebサービスをAWSで運営する」は誰もが考えることだが、最初の無料期間1年間以外、AWSで個人ブログなりを運用するのはコスト悪すぎだろ…。 というような利用料金が気になってしまう、、というコメントを幾つかいただきました。 この気持ちとても分かります！業務で使う分にはサーバー何台立てようが気になりませんが（は言い過ぎですがｗ）、個人でサービスを運営する場合はそうはい
サーバーレスアーキテクチャとは何か？ AWSの「Lambda」と「EC2」を比較して解説
ITインフラの選択肢が広がる中で、Amazon.com（以下、アマゾン）により提供されているクラウドサービス「Amazon Web Service（以下、AWS）」が存在感を示しています。今回は、数多くのAWSプロジェクトに携わるcloudpack CTO 鈴木宏康 氏が、近年エンタープライズIT業界で注目されつつある新たな概念である「サーバーレスアーキテクチャ（サーバーレス）」の定義やメリット・デメリット、AWSにおけるサーバーレス型サービス「AWS Lambda（以下、Lambda：ラムダ）」と「EC2」の違い、サーバーレス普及によるITインフラの将来像などについて解説します。 アイレット株式会社取締役CTO。1975年、愛知県生まれ。東京工業大学大学院修士課程修了。在学時よりベンチャー企業でインターネットに関する業務に携わり、現在はクラウド（主にAmazon Web Services
AWSの料金を「ざっくり」計算できるサイトを作る - Qiita
AWSの料金、ややこしいですよね。 サービスの選択肢が多く構成が柔軟なおかけで、さまざまな要件をカバーできるのは嬉しいのだけど、そのぶん料金体系がややこしいので、やるせない気持ちになります。 この気持ちはなんだろう、この気持ちはなんだろう、と自問しているうちに春になってしまったので、AWSの料金を「ざっくり」計算できるサイトを作り始めました。 ざっくりAWS 公式ツールの存在 Simple Monthly CalculatorというAWSの料金を計算できる公式のツールがあるのですが、悲しいことに名前ほどシンプルではありません。 正確な料金を算出するために入力項目が多いのは仕方がないとは思うのですが、サイトを開いたときの威圧感がすごいので、もう少しさっぱりできないかという気持ちがありました。 なので、公式ツールの敷居が高いと感じる自分のような人向けに、料金を「ざっくり」計算できるサイトを作り
» アダルトサイトをAWSで運用する時に信頼性と料金節約を両立する為のノウハウ | アダルトサイト制作会社
弊社で大規模なアダルトサイトの運用を行う上でのAWS利用構成を紹介させて頂きます。 利用料金を抑えたいというビジネス的な観点と、サービスを止めない為の障害回避を念頭に構成を紹介します。 関連：AWSのt2.microで月間100万PVに耐えるアダルトサイトを制作した話 この記事は技術者向けの内容になっています。 システム開発の発注をお考えの方は、こちらアダルトホームページ制作のご案内をご覧下さい。 サービスを止めない為のAWS利用構成 サービスを止めない事は弊社では2つの思想によって設計をしております。 障害を防ぐ為の堅牢な設計とする 障害が起きた時に瞬時に復旧、あるいは回避する 前者はイメージしやすいと思いますが、弊社では後者のフェイルオーバーも非常に大事であると考えています。 システム障害が起きない様にスペックを十分に確保する等は当然の事ですが、 万が一障害が発生した場合に即座に代替機
AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita
前置き 情けないことだが、自身の過失により、GitHubで長年Privateリポジトリで運用していたリポジトリを、とある事情でpublicに変更したのだが、その中にAWSのS3のアクセスキーとシークレットキーがファイルに直接ハードコーディングされているのにすっかり気づかず、自身のAWSのアクセスキーとシークレットキーが流出してしまうという失態を起こしてしまった。 その不正利用により届いた請求金額は約300万円。請求を見た時は頭が真っ白になり冷や汗ものだったが、過去に同様のミスとその状況と対応をまとめてくださっていた方々のおかげで、なんとか深呼吸して対応することができたので、自分も少しでも今後起きうる同様の状況の方に対する助けになればと、一部始終を共有しておくことにしようと思う。 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 AWS で不正アクセスされて凄い
Amazon Web Services Simple Monthly Calculator
This Calculator provides an estimate of usage charges for AWS services based on certain information you provide. Monthly charges will be based on your actual usage of AWS services, and may vary from the estimates the Calculator has provided. Give us your feedback on our Developer Center Feedback forum.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSマンガ 全話を読む| AWS
AWS コマンドラインインターフェイス（CLI: AWSサービスを管理する統合ツール）| AWS
Amazon RDS のモニタリング - Amazon Relational Database Service
株式会社ビットクリア | システムインフラに関する設計・構築・運用に関するご相談を承っております。東京・神奈川を中心に展開しております。
