前の会社は僕が入ったときにkubernetesでクラスタ組んでて問題頻発かつ構築した人が退職済みで誰も管理できる人がいない状態だった。だから僕もそのときk8sさっぱりだったので提案してECSへ移行したんだけど今kubernetes… https://t.co/IZnpunTGoE
前の会社は僕が入ったときにkubernetesでクラスタ組んでて問題頻発かつ構築した人が退職済みで誰も管理できる人がいない状態だった。だから僕もそのときk8sさっぱりだったので提案してECSへ移行したんだけど今kubernetes… https://t.co/IZnpunTGoE
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス(EC2レス)なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い(データベースへの格納など)はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
Amazon Web ServicesとVMwareの提携による「VMware Cloud on AWS」の発表は、意外性のある大型発表でした。この提携が両社にとってどんな意味をもつのか、考えてみました。 最強のハイブリッド環境を手に入れたAWS Amazon Web Services(以下AWS)は、クラウド市場において競合他社を圧倒的にリードする巨人です。そのAWSに弱点があるとすれば、ハイブリッドクラウドのソリューションに乏しいという点でしょう。 AWSを猛追するマイクロソフトはハイブリッドクラウドのソリューションが充実していることもあり、この弱点をどう補うのかが、AWSにとって最大の課題だったといえます。 その意味で、オンプレミスにおける仮想化のリーダーともいえるVMwareと提携し、その仮想化基盤とシームレスなAmazonクラウドとの接続を実現したことは、同社にとって最強のハイブ
Packerとは? Packerはマシン・イメージの自動生成や管理をするコマンドライン・ツールです。Packerの背景や機能解説のほか、AWS(Amazon Web Services)とDigitalOceanで実際にPackerを使う方法、Atlasとの連携方法をご紹介します。 マシン・イメージ管理とPacker Packerは何を解決するのか? クラウド(IaaS)や仮想化環境を使う上で避けて通れないのが、マシン・イメージをどのように管理するべきかという課題です。ベンダーから用意されているマシン・イメージは、OS環境がほぼ初期状態のままです。その状態から、タイムゾーンや言語設定、管理用アカウントの作成、開発環境のインストール、ミドルウェアや各種サーバのセットアップなどを済ませて、実際に使える環境を整えるのに時間がかかります。 この課題を解決するのが、ある程度準備された環境をテンプレート
はじめに AWSのEC2でサービスの運用しているんだけど、手元のPCでも環境を再現したいなーと思うことって無いですか?ここではAWSのEC2インスタンスのイメージを取得し、VirtualBoxで利用する方法を記述します。 全体の流れ EC2インスタンスをRAWイメージで取得 新しいRAWイメージファイルを用意 最初に取得したRAWイメージを新しいイメージファイルにコピー 新しいイメージファイルにGRUBをインストール 新しいイメージファイルをVMwareのvdiフォーマットに変換 VirtualBoxで起動 手順 0.事前準備 コピーしたいEC2インスタンスにGRUBをインストールしておきます コピーしたいEC2インスタンスにsudoできるサーバアカウントを作成しておきます EC2だとrootアカウントのパスワードがわからないため、VirtualBoxで起動した後にコンソールからログインし
VMwareユーザーをAmazonクラウドへ引き込む「AWS Management Portal for vCenter」、vCenterでEC2もEBSも管理可能に。Amazonクラウドがリリース Amazonクラウドがエンタープライズ市場で戦う上でもっとも欠けていた重要な要素は、オンプレミスとの連係に弱いこと、特にオンプレミスでもっとも影響力のあるVMwareの製品群との互換性でした。 VMwareはこの点を突いて、独自のクラウドサービス「vCloud Hybrid Service」をオンプレミスのVMwareとシームレスに接続できるパブリッククラウドとして展開しています。 そのVMwareに、Amazonクラウドが強烈な一撃を見舞う発表を行いました。VMwareの管理ツールであるvCenterからAmazonクラウドの管理を可能にするプラグイン「AWS Management Port
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く