この記事は Gunosy Advent Calendar 2017 の1日目の記事です(フライング) qiita.com §1. はじめに こんにちは。データ分析部ロジックチームの @mathetakeです。いつもはデータ分析ブログにいるのでテックブログは初めてです。怖いです。Twitterとかやったことないですね。 最近は仕事でニュースパスというプロダクトの記事配信ロジックの改善を行っており、その一環としてパーソナライズロジックの開発プロジェクトに従事しています。 パーソナライズとはユーザーひとりひとりに対して別々の記事配信を行う事です。下記の記事でパーソナライズプロジェクト発足に至るまでの背景が語られているので、興味のある方はぜひご覧ください。 gunosiru.gunosy.co.jp この記事ではニュースパスの記事配信アルゴリズムのパーソナライズプロジェクトに関連して、 パーソナラ
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
事の発端 社内から静的コンテンツをホストしてHTTPS使える環境が欲しいんだよねー。と要望を受けた。 私はAWSが得意なので考えた。 「静的コンテンツならs3か」 「s3でHTTPSならs3の前段にCloudFrontでSSL証明書入れるか(ちょっと面倒だな)」 「CloudFrontにSSL入れるなら無料のACMだな」 「ACM使うならメール認証だしSES要るな(面倒くせぇ)」 「SESでメール受信するならs3・・・・・・・・・・」 ガシャーン!(ちゃぶ台の音) 「俺がしたいのはこれじゃない感」 ということで 何か上の環境を一発で作れるツールあるかなぁ。と調べているとNetlifyというサービスが引っかかった。 Netlifyってなに? どうも静的コンテンツをホストしてくれて、SSLが使えるとな。Githubと連携して? ふむふむ。使ってみよう。 ということでGithubにリポジトリを作
2009/04/02 米アマゾンの子会社、Amazon Web Services(AWS)は4月2日、多数のOSインスタンスを起動して大規模分散処理を行える「Amazon Elastic MapReduce」のベータサービスを開始した。 Amazon Elastic MapReduceは、オープンソースの分散処理フレームワークApache Hadoop 0.18.3を利用したサービスで、Webブラウザベースの管理コンソールやコマンドラインツール、APIを使ってジョブを投入することで、大量データの解析や計算量の多い科学計算、統計処理が可能。大量のログ処理や機械学習、金融計算、データマイニング、Webサイトのインデクシング処理などに使えるという。 ジョブを処理するノードは、従来からAWSが提供しているAmazon EC2で稼働し、データの入出力にはAmazon S3が使える。データの入力にはイ
よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエントリーでも書きました。 可用性 (availability) と拡張性 (scalability) 本題はジョブWorkerですが、WebサーバやDBサーバの可用性と拡張性を先におさらいしておきましょう。 Webサーバ この考えで構築する最も基本的な構成が、Webシステムにおける ELB + Webサーバ の構成です。この構成マルチAZと呼び、片方のAZが丸ごとダウンしたとしても、サービス自体はダウ
試しに、digコマンドを利用して、yahoo.co.jpに名前解決してみましょう。 $ dig yahoo.co.jp ; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.62.rc1.56.amzn1 <<>> yahoo.co.jp ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 57517 ;; flags: qr rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 0 ;; QUESTION SECTION: ;yahoo.co.jp. IN A ;; ANSWER SECTION: yahoo.co.jp. 60 IN A 182.22.59.229 yahoo.co.jp.
When I reviewed the Espresso Display last year, I concluded that it would be a great addition to a mobile office setup for workers who needed additional screen real estate without taking up too much s Braid, a four-year-old startup that aimed to make shared wallets more mainstream among consumers, has shut down. Founded in January 2019 by Amanda Peyton and Todd Berman (who left in 2020), San Franc
先週、株式会社あくしゅさんの新しいオフィスに遊びに行ったとき、 "Wakame" という不思議な名前のソフトウェアのプレゼンテーションがあった。それは衝撃的なソフトウェアで、三年後「あれはイノベーションだった」と言われても不思議ではないと、本気で思った。すごく興奮していたが、「来週水曜にリリースするからそれまで黙っててね!」と言われていて、今日やっと "Wakame" についてブログに書くことができるので、僕が見たこと、感じたことを包み隠さず、いまからここで書きます。 "Wakame" は、 Amazon EC2 上で自律的に動作する、サーバマネージングソフトウェアだ。 Amazon EC2 を知っている人向けにごくごく簡単に説明すると、コマンド一発でインスタンスの増減やアプリケーションの複製を管理できる。 Amazon EC2 を知らない人(まぁ僕のブログの読者にそういう人はあまり多くな
半年くらい下書きフォルダーにあったGitLabのインストール記事をサルベージしました。今回は、Amazon Linux AMIと最新のGitLab 4.1系でインストールしています。が、あまりに長く面倒くさいので、三行でまとめてみました。 GitLabはGitHubのクローンで、セキュリティー・ポリシー的にGitHubがNGな会社に最適 GitLabの中身は、Git + GitoliteをラッパーしたWebインターフェース インストールが死ぬほど面倒くさいので、後でAWSのPublic AMIとして公開するよしたよ →GitLabのPublic AMIを公開しました。 以下、手順です。気が長い人は読んでください。 ライブラリのインストール 素のAmazon Linux AMIを立ち上げたら、まずライブラリをインストールしましょう。一部sudoでやっていくと詰まるところがあったので、素直にr
マウンテンデュー単価で考える個人開発用クラウドサーバ比較 ( AWS-EC2、GCP-GCE、Azure-VM、さくらのクラウド )AWSAzureEC2さくらのクラウドgooglecloud 更新 ・2018/11/11 マウンテンデュー単価で考える個人開発用サーバ VPSサーバ編へのリンクを追記 ・2018/11/13 評価の観点に前提を追記 突然だが、諸君はマウンテンデューは好きだろうか? マウンテンデューとは、(英名Mountain Dew)とはレモン・ライム風味の薄黄色の弱炭酸飲料である。 一般的な炭酸飲料によくありそうな味だが、炭酸が強すぎずゴクゴク飲みやすい。 ニコニコ大百科:マウンテンデューより引用 自分は信仰している。 あの独特の風味(鋼の意思)がもたらす清涼感が病みつきで学生時代は毎食500ml缶をお伴していたくらいだ。 マウンテンデュー is God ルートビア is
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
最近、私のまわりにもAmazonのレンタル・バーチャル・サーバーであるec2を使用している人、もしくは使用を真剣に検討している人が増えて来た。「自分でサーバーを用意するのとどっちが得か?」という話は、ビジネスにもよるのでさまざまだが、ごくシンプルな「事務所サーバー」(もしくは「マンションサーバー」)を比較対象のモデルとして簡単に損得勘定を計算してみた。 もっとも安価な Small Instance (1.7 GB of memory, 1 EC2 Compute Unit, 160 GB of instance storage, $0.10/hour)だと、一日24時間使い続ければ月に720時間、つまり月に72ドル必要となる。 同じようなマシンを事務所(もしくはマンション)に置く場合、Dellのエントリーレベルのサーバー(Dual core Pentium, 1GB memory, 160
世界中のエンジニアから愛されるオブジェクト指向スクリプト言語Ruby。多くの人々がこの言語にコントリビューションし、その成長を支えてきました。なかでも、特定バージョンのリリースの責任を持つ“リリースマネージャー”の功績はとても大きいものです。彼らの存在があったからこそ、Rubyのリリースは滞りなく行われてきました。 しかし、リリースマネジメントの歴史はけして平坦な道のりではありませんでした。歴代の担当者たちが、適切な運用方法について試行錯誤しながら、少しずつ改善を続けてきたのです。その過程には、全てのエンジニアにとって参考になるプロジェクトマネジメントの知見が詰まっています。 今回は、歴代のRubyリリースマネージャーである卜部昌平さん(@shyouhei)、園田裕貴さん(@yugui)、遠藤侑介さん(@mametter)、成瀬ゆいさん(@nalsh)にインタビュー。これまで担ってきた役割
複数のWebサーバでロードバランス環境を構築する際には、セッション情報の保持を考慮しなければならない。初期設定のPHPは、セッション情報をファイルとして保持しているため、異なるWebサーバに処理が割り振られるとセッション情報が消失してしまうからだ。こういった環境においてセッションを維持する方法は2つある。 セッション維持方法 同じユーザは同じサーバに割り振る セッション情報をサーバ間で共有する 1の手法は、Webサーバに手を加えなくて良い反面、Webサーバが故障した場合はセッション情報が失われる。2の方法はセッション情報の共有コストが発生するが、サーバ故障による障害を防げるし、負荷状況に応じて動的にWebサーバの数を増減させることもできる。そこで、2の方法をつかってセッション情報の共有を試してみた。幸い、PHPにはmemcachedを用いたセッション管理機能がある。この機能を適切に設定する
概要 背景 複数人数で一つの環境をコードで管理する場合の移行期と運用期の特性 移行期 運用期 Terraformの採用理由 実際の運用 ディレクトリ構成 stateファイルの配置 環境の定義 tfvarsによる切り替え 環境固有のリソース定義 GitHubのPRフロー よかったこと・課題 よかったこと 課題 概要 どうも。篠田です。 「特定の"インフラ担当"・"開発メンバー"」や「古の記憶」に頼らず、『開発メンバー全員が拡張や移行作業を気軽にできるインフラ』を実現するために、私のチームで採用しているTerraformを使ったAWS環境運用フローをご紹介いたします。 Terraformで移行および運用するフローにしたことで、構成全体に対する変更の柔軟性が高まり、コードがあることで運用および拡張期において設計の変更や手戻りを恐れずに開発を進められるようになりました。 次は概要図です。 背景 先
はじめに こんにちは、中山です。 Terraformを使用していく中で、どのようなディレクトリ構造(tfファイルの配置方式)がベストなのかと考えたことはありませんか。私自身いろいろと試している最中なのですが、現時点で私が考えるベストプラクティスをご紹介します。 ディレクトリ構造 いきなりですが、以下のとおりです。 ├── Makefile ├── README.md ├── app.tf ├── bastion.tf ├── cloudfront.tf ├── db.tf ├── elasticache.tf ├── elb.tf ├── envs │ ├── dev │ │ ├── main.tf │ │ └── variables.tf │ ├── prd │ │ ├── main.tf │ │ └── variables.tf │ └──
信頼性が高く、スケーラブルなオンデマンドのインフラストラクチャにアクセスできます。99.99% の可用性の SLA コミットメントにより、数分で容量をスケールできます。 アプリケーションのセキュアなコンピューティングを提供します。セキュリティは、AWS Nitro System によって Amazon EC2 の基盤に組み込まれています。 AWS Graviton ベースのインスタンス、Amazon EC2 スポットインスタンス、および AWS Savings Plans などの柔軟なオプションで、パフォーマンスとコストを最適化します。 Amazon Elastic Compute Cloud (Amazon EC2) は、極めて幅広く、奥深いコンピューティングプラットフォームを提供します。また、ワークロードのニーズに最も適切に対応できるように、750 を超えるインスタンスを提供するほか、
この記事は下記のブログに移行しました この記事の目的 上記の記事で 個人開発における特有のインフラ周りの悩み それぞれのサーバー、インフラを使った人の生の声 パターン別のおすすめサーバー などをまとめています。 個人開発や広告マネタイズなどtwitterで発信しているのでその辺興味ある人は気軽にフォローしてください。 Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationWhat you can do with signing up
「でかいインスタンスを建てればAWSの料金が高くなっていく…。」 「大量購入すればお金が飛んでいく…。」 こんにちは(U・ω・U) AWS事業部の深澤です。 おそらく皆さん、上記のようなお話はご存知かと思います。弊社のエンジニアにもカジュアルに「AWSでお金いっぱい溶かすならどうしますか?」と聞いたところ、「リザーブドインスタンスをまとめ買いする」と即答されました。 しかしAWSには豊富なサービスがあり、料金の掛かり方も多様です。使い方を一歩間違えるとお金がどんどん溶けていくと行った事態になりかねません。そこで、今回は意外と気が付かない料金を調査したのでまとめてみました! 注意 今回ご紹介するものは実際に検証したものではありません。AWSの料金表を確認して、実際このくらい溶けるのではと計算した理論値になります。 日本円のレートは執筆時現在のレートとなります。 リージョンは東京です。 それぞ
Amazonクラウドを運営するAmazon Web Servicesの日本法人、Amazon Data Services Japanが活動を開始しました。現在、同社には社員が2人在籍し今後さらに陣容を拡大していくと、同社のマーケティングマネージャー 小島英揮(おじまひでき)氏が、昨年の12月25日に行われた「Amazon EC2ユーザ会」で明らかにしました。 Amazon Data Services Japanマーケティングマネージャの小島氏。前職はアドビシステムズでFlashなどのマーケティング担当だった マーケティングマネージャの小島氏がAmazon Data Services Japanに入社したのは昨年の12月。同社にはデータセンターを担当するもう1人の社員がおり、現在さらにテクニカルサポート、ソリューションアーキテクト、営業統括などの役割を担う社員を募集中。「われこそはと思う方は
CircleCI 2.1 の新機能を使って冗長な config.yml をすっきりさせよう! 福井祐人 2018.10.11 280 585115102 こんにちは。スタディサプリ English の開発を担当しているwebフロントエンドエンジニアの福井です。 CircleCI で 2.1 configuration がプレビューとして使えるようになりました。試しに使ってみたところ冗長なconfig.ymlが ものすごくすっきりした ので簡単な例を交えて紹介します。 参考 CircleCI-Public/config-preview-sdk CircleCI new configuration documentation 2.0 の冗長な config.yml 今回用意したconfig.ymlはwebフロントエンドの典型的な例で、下記のような流れで順次ジョブを実行します。 setup -
全国1000万人の大トロ好きのみなさんこんにちは。 Hashicorpから新たにOttoと呼ばれるプロダクトがリリースされました。 OttoはVagrantの後継となるもので、開発からデプロイまで一気通貫で行うことができるソリューションでマイクロサービスでの活用も考慮されて作られているということで早速試してみました。 軽く触った印象としては、Vagrant、Packer、Terraform、ConsulなどいままでHashicorpが提供してきたツールを組み合わせて一気通貫で操作できるようになった、と考えるとわかりやすそうです。 インストール https://ottoproject.io/downloads.html にアクセスして自分の環境にあったバイナリをダウンロードして展開します。展開したら実行できるようにPATHに追加します。 僕の場合はアーカイブを~/tools/otto/に配置
設定ファイルと格闘せずにDNSを運用管理 始めてみよう、Amazon Route 53 並河 祐貴 株式会社サイバーエージェント 2011/6/23 Amazon Web Services(AWS)の「Amazon Route 53」は、API経由でDNSの運用管理を可能にするサービスです。Firefoxのアドオン「R53 Fox」を使って、その導入、設定を行う方法を紹介します(編集部) Webサイト運用に欠かせないDNS 今日、一般に公開されているWebサイトでは、IPアドレスを直接公開するケースはほとんどありません。多くのケースでは、ドメイン名(「google.co.jp」や「yahoo.co.jp」など)を公開し、ユーザーはそのドメイン名を基にブラウザでURLを入力したり、検索したりしてアクセスすることとなります。 そのためWebサイトの運用に当たり、ドメイン名とIPアドレスをひも付
Amazon SES を利用してメール送信する際に必要となるスパム対策の基礎知識と、環境構築や利用申請の方法については具体的にステップ・バイ・ステップで説明します。SESのメール送信では、SESの利用方法や応用例をご紹介します。 SES とは Amazon SES(Simple Email Service)は Amazonが提供するフルマネージド型のメール配信サービスで以下の特徴があります。 初期費用無し、低価格 配送機能のみ提供 *1 Email配送API Amazon SES クエリ(HTTPS) AWS コマンドラインインターフェイス AWS Tools for Windows PowerShell AWS Software Development Kit(SDK) Android、Browser、iOS、Java、.NET、Node.js、PHP、Python、Ruby、および G
夏の自由研究に「Eucalyptus」でクラウドを作ってみないか? 連載「自分たち専用のクラウドを作ろう」では、Amazon EC2互換の環境構築を目指したOSSプロジェクト「Eucalyptus」の成果を利用して、「自分たち専用のクラウド」を作ることを目的に解説を行ってきた。連載終了にあたり、総目次をまとめた。 2009-08-10 12:00:00 OSSのクラウド基盤「Eucalyptus」を使う(8)--応用編〜おわりに この連載では、Amazon EC2互換のクラウド基盤であるOSS「Eucalyptus」を使い、「自分たち専用」のクラウド環境を構築することを目標に解説を行ってきました。今回は最後のまとめとして、ビルド専用環境の構築方法を考えてみましょう。 2009-08-04 15:35:01 OSSのクラウド基盤「Eucalyptus」を使う(7)--Eucalyptusでの
ご機嫌いかがでしょうか、豊崎です。 ELB(Elastic Load Balancing)はその名の通りロードバランサーなので、負荷分散のイメージが強いと思いますが、 ここではWEBサーバが1台でも前段にELBを置いた方がいい理由についてまとめたいと思います。 WEBサーバが1台でもELBを置いた方が良い理由 インスタンスの差し替えが容易 運用が開始した後、EC2に対して修正を行う必要がでた場合、インスタンスの差し替えが容易になります。 DNSの変更を行うことなく、バックエンドの切り替えが可能です。 ELBのヘルスチェックで監視 ELBのヘルスチェックを利用してWEBサーバの死活監視を行うことができます。 CloudWatchアラームを組み合わせて通知が可能です。 HTTPSのSSL終端をELBへ SSLを利用する場合、EC2でSSLを終端させるとOpenSSLなどの管理が発生します。 一
はじめに 面白そうなツールを見つけたので紹介します。 構成図を作成するとAWS環境が構築できる「VisualOps」というツールです。 何ができるか ・構成図を描いてAWS環境に構築 ・CloudFormationのjsonファイルもimportしてVisualOps上で構築 ・VPCをimportしてVisualOps上で構築 ・作成した構成をjsonファイル、CloudFormationのテンプレートとしてexport可能 やってみた 今回は、構成図を描きAWS環境が構築できるか試してみました。 サインアップしアカウントを作成 VisualOpsのサイトにアクセスしてサインアップします。 登録します。 Get Startedをクリック Dashboardはこんな感じです。Create new stack を選択します。 Regionを選択して Create Stack を選択します。
「毎日の料理を楽しみにする」を理念に、料理レシピの投稿・検索サービスや生鮮食品に特化した EC サービスなどを展開するクックパッド。2018 年 4 月には、広告と連動した料理動画の事業化を行う部門が事業会社の CookpadTV として独立しました。現在、日本最大級の料理動画サイネージ『cookpad storeTV』と、有名人と一緒に料理が楽しめるクッキング Live アプリ『cookpadLive』の運営をメインに事業を展開しています。 料理動画サイネージの cookpad storeTV は、スーパーマーケットの売場にタブレット型の Android 端末を設置して、料理動画を配信するサービスです。「買い物中にスマートフォンで検索しなくても、クックパッドの人気レシピ動画を見ながら献立のヒントが得られるコンセプトで企画しました。肉売場では肉を使ったレシピ動画、魚売場では魚のレシピ動画と
Wantedly Advent Calendar 2015 18日目です。 インフラチームインターンの @dtan4 です。 Wantedly では Terraform を用いたインフラのコード化 (Infrastructure as Code) を全面的に取り入れています。インフラリソースの追加や修正は、コードを書くこと・CI 上での自動適用によって行われています。 この記事では、今年5月から半年以上の間 Terraform を運用してきた中での なぜ Terraform でインフラをコード化しようとしたのか どのように Terraform を運用しているのか Terraform 運用にあたって注意すべき点 既存リソースから Terraform コードを生成する Terraforming について ということを紹介したいと思います。 Terraform とは Terraform は、Va
SQSの大型アップデートです! オンプレでエンタープライズな開発を行ったことがある方であれば、分散キューシステムの設計が大変だったと思います。実際のところは高額ライセンス商品を買うしか選択肢はなかったのではと。Amazon SQSの登場によって、今まで実装が大変だったノンコア機能のキューが、超安価に簡単に使えるようになったのは衝撃でした。これだけでクラウドを使う理由になりました。 そして、年月は流れ、この度SQSが進化しました!まずは、今までのSQSの課題についておさらいしたいと思います。 標準キュー 今までのSQSは、メディアエンコーディングや大量タスクの分散処理などに適していましたが、いくつかの用途においてフィットしなかったり、独自実装をする必要がありました。 順番が保証されない SQSは高可用性を持った分散キューシステムですので、1つのエンドポイントに投げられたメッセージは複製され蓄
We’d like to give you some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on the morning of February 28th, 2017. The Amazon Simple Storage Service (S3) team was debugging an issue causing the S3 billing system to progress more slowly than expected. At 9:37AM PST, an authorized S3 team member using an established playbook executed a com
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く