バッチ処理について再考 - プログラマでありたい
作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。 利点 バッチ処理には以下のような利点がある。 ・多くのユーザーがコンピュータのリソースを共有できる。 ・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。 ・人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。 ・高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。バッチ処理 - Wikipedia これだけみると、人件費に対してコンピュータリソースが高い時代の産物なんですよね。今は、クラウドの登場で、有り余るコンピュータリソースをほぼ自由に低コストに使える時代です。そもそもバッチ処理である必要があるか、考える必要がありますね。特に夜間バッチにつ
【翻訳】Amazon Lambdaを使った機械学習 | POSTD
はじめに 既にお気づきでしょうが、私たち2lemetryはAmazonの最新AWS製品であるLambdaに興奮を抑えきれません。LambdaがMQTTプロトコル（訳者注：pub/subモデルに基づく軽量なメッセージプロト […]はじめに 既にお気づきでしょうが、私たち2lemetryはAmazonの最新AWS製品であるLambdaに興奮を抑えきれません。LambdaがMQTTプロトコル（訳者注：pub/subモデルに基づく軽量なメッセージプロトコル）やThingFabric（訳者注：2lementry社のIoTプラットフォーム）と共にどのように稼働するかを我が社の数名のエンジニアが検証しました。私も、IoT（モノのインターネット）においてLambda内でニューラルネットワークがどのように機能するのかを確かめるため、実際に使用してちょっとした実験を行ってみることにしました。私たちのCEOであ
Amazon SNSでモバイルPush/HTTP Push通知
Transcript Amazon Simple Notification Service ᕵΔʂ !CVNQ@PG@LJIBSV� ,*)"36�4"4",*� Ϛελʔ�λΠτϧͷॻࣜઃఆ� ࣗݾհ� +"84�6(ઍ༿ࢧ෦ͷίΞϝϯόʔ͍ͯ͠·͢� 2 ϑϦʔϥϯεͰɺWebσβΠϯγεςϜ։ൃΛ͍ͯ͠·͢ɻ https://www.facebook.com/kiharu.sasaki @bump_of_kiharu http://bump.hatenablog.com/� Kiharu Sasaki Ϛελʔ�λΠτϧͷॻࣜઃఆ� ຊ͓͍ͨ͜͠ͱ� "84ΠϯϑϥΤϯδχΞ͚ͩͷαʔϏεͳͷ͔ʁ� 3 • "84*BB4ͳͷ͔ʁ� • ΞϓϦΤϯδχΞʹؔͳ͍ʁ� SaaS BaaS PaaS IaaS Ϛελʔ�λΠτϧͷॻࣜઃఆ� ΞϓϦΤϯδχΞ
Amazon EC2再入門 2015年1月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
玉川、AWSやめるってよ！走り続けた5年と卒業後を聞く (1/3)
クラウド黎明期からAWSのエバンジェリストを務め、今や「AWSの顔」となった玉川憲さんが、3月にADSJ（Amazon Data Services Japan）を辞める。起業の夢とその挫折、クラウドにのめり込んだきっかけ、コミュニティと歩んで来たAWSの5年、そして“卒業後”のステージについて聞いた。 本連載は、日本のITを変えようとしているAWSのユーザーコミュニティ「JAWS-UG」のメンバーやAWS関係者に、自身の経験やクラウドビジネスへの目覚めを聞き、新しいエンジニア像を描いていきます。連載内では、AWSの普及に尽力した個人に送られる「AWS SAMURAI」という認定制度にちなみ、基本侍の衣装に身を包み、取材に臨んでもらっています。過去の記事目次はこちらになります。 明らかにオーバーテクノロジーだったAWSにインパクト 大学で医療機械を、その後大学院でバーチャルリアリティを学んで
AWSチーム社内勉強会「git-flow」レポート | DevelopersIO
こんにちは、虎塚です。 先日、git-flowをテーマに社内勉強会を行いました。講師役は、AWSチームの都元さんにお願いしました。 クラスメソッドではお客様向けにクラスメソッド・メンバーズというサービスを運営しています。このサービスの会員向けポータルサイトの開発で、Gitとgit-flowを採用しています。そこで、メイン開発者である都元さんにgit-flowの概要を話してもらって、皆で聞こうということになりました。 いつもはAWSコンサルティング部のメンバーで実施している勉強会ですが、今回はテーマが開発寄りなので、AWSソリューション部の人たちにも参加してもらいました。AWSソリューション部は、システム開発を中心に行っている部署です。 上は秋葉原オフィスの会場です。札幌オフィス、上越オフィス、リモートワークのメンバーも、Googleハングアウトで接続して開催しました。 それでは、勉強会の内
AWS 対応した GitHub Enterprise v2 へスムーズに移行した話 - クックパッド開発者ブログ
技術部 id:sora_h です。今回は v2 より AWS 上での運用に対応した GitHub Enterprise を、オフィスにある既存の環境から AWS へスムーズに移行した話について説明します。 GitHub Enterprise v2 GitHub Enterprise (以下 GHE) とは、github.com を自前の環境で運用できるアプライアンスです。クックパッドでは主に GHE 上で開発を行っています。 従来まで GHE の実行環境として VMware vSphere, VirtualBox 上の実行しかサポートされていませんでしたが、11 月にリリースされたアップデート v2 より、AWS での実行がサポートされました。 クックパッドでは全面的に AWS を利用していますが、いままで GHE を AWS 上で動作させる事はできませんでした。そのため、オフィス内に E
0から始めるAWS入門：概要 - Qiita
研修向け。0からAWS上に基本的なWEBアプリケーションの環境構築していく。 前提 ・一般的なLAMPのWEBアプリケーション向け(※1)に環境を構築しますが、それらミドルウェアのインストール・設定等はあまり対象にしてません。 ・すでにAWSのアカウントを取得しているものとします。サインアップはこちら ちなみに、新規登録であれば無料枠があるため、この研修向け内容をやったとしても$3ぐらいに収まります。 ※1 アプリケーションの要件・内容には触れませが、一般的なLAMPアプリケーションでも同様になるかと思います。 構築する環境 今回のシリーズで目指す環境は、下記の通り。 簡単に各AWSサービス紹介 Elastic Compute Cloud (EC2) 一般的に言う仮想サーバー。スケーラブルに展開可能。 今回はここにアプリケーションを配置する。 詳細はこちら Relational Datab
プッシュ通知の基礎知識＆秒間1万を超えるプッシュ通知基盤のアーキテクチャと仕組みとは
連載目次 プッシュ通知とは？ なぜ開発者はアプリにプッシュ通知機能を搭載するのか スマートデバイスにおける「プッシュ通知」はアプリにとって欠かせない機能の一つであり、メールマガジンと同様に重要な集客ツールです（図1）。スマートフォンをお使いの方でしたら、一度はプッシュ通知を受け取ったことがあるのではないでしょうか。 プッシュ通知はユーザーがスマートデバイスを起動していなくても通知を送ることができる仕組みであり、以下の特徴があります。 開くと直接アプリを起動するためアクションにつながりやすい アプリをインストールしているユーザーのみに届くため開封率が高い 上記のような特徴から、プッシュ通知は以下の用途で使うことが多くなります。 リアルタイムな情報配信 直接アプリ起動につながるため、ニュースなどリアルタイム性の高い情報の配信に向く ユーザーのアクティブ率向上 開封率が高いため、定期的にアプリを
AWSでmongoを動かしてみる(AutoScale対応) - Qiita
Advent Calendar2014ということで、mongoの枠が余ってたので書いてみることにした。他の人達がシャーディングがどうこう言っている中で、１人だけ超初心者投稿だけど頑張る。 今回作ったサンプルのレポジトリ https://github.com/KeitaMoromizato/mongosample 前置き 取り急ぎAWSでmongoを動かしてみたいときは普通にインスタンスにmongoをインストールすればいい。ただしそれだとAutoScaleした時に困る。インスタンスがそれぞれ別のDBを見ていたらデータがおかしな事になってしまうから。 RDBMSなら、AWSにはRDSという便利なサービスがあってDBサーバだけ切り出すことができる。AutoScaleしたインスタンスはそれぞれ同じRDSを見に行けばいい。mongoにはそれが無い。 そんなときはインスタンスをもう一つ立ち上げるのです
JavaScript フレームワーク - ペパボテックブログ
フロントエンド周りの技術は驚異的なスピードで進化し、また多様化しています。それらを全てマスターするのは途方もなく大変なので、ペパボでは、社内のエンジニア・デザイナが「最低限これだけはおさえておこう」というスタンダードを文書化することにいたしました。社内向けを想定した文書ではありますが、社内のみに留めず多くの方に役立てたいと考えたため公開します。 この項目の担当 @hadashiA どうしてフレームワークを使う？ (1) ドメインロジックとプレゼンテーションの分離 (2) SPA（シングルページアプリケーション） 流行り廃り (1) MVC (2) MVVM (3) Virtual DOM どれを使う？ どうしてフレームワークを使う？ (1) ドメインロジックとプレゼンテーションの分離 まずこちらの画面を見てください。 ©任天堂 スーパーマリオワールド スーパーマリオが右にダッシュすると、マ
コストを下げろと言われたら~AWSでまずやること~ - Qiita
こんにちは。CYBIRDエンジニア Advent Calendar 9日目のgucchonです。 新卒2年目、webエンジニアです。 8日目はkeitarouさんのGitHubをもっと便利にするためのChrome拡張とかでした。 全くGitHub使えてなかったんだな…と身にしみる内容でした。お恥ずかしながら… 本日の内容 「サーバ費、もっと下がらない？」 なかなか聞きたくない言葉ですね。サービスを継続させていく上では当然コスト面をしっかり考えて運用をしていかなくてはいけないのですが、まぁ正直めんd...少しばかり手間です。ただ、AWSならある程度簡単にコスト管理ができて、対応策も用意されているので助かりますね。それでも誰もやりたがらないけど(ﾎﾞｿｯ ということで、コストを下げろと言われてしまったとき、CYBIRDのコストカッター、gucchonがまずやっていることをご紹介したいと思います
EC2の新しいリザーブドインスタンスのオプションが発表 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日リザーブドインスタンス(Reserved Instance：RI)に新しい料金体系が発表されました。内容を確認すると注意すべき点があるのでまとめてみました。 2014/12/3 07:40 従来のRI購入が可能である事を追記 本記事で算出しているAWS利用価格は2014/12/3 7:00 JSTの料金表を元に計算しています。 変更内容の概要 オプションの種類 今までのRIは、期間が2種類、使用量が3種類あり、組み合わせで6種類のオプションがありました。 １年 軽度使用 １年 中度使用 １年 重度使用 ３年 軽度使用 ３年 中度使用 ３年 重度使用 これからは、期間が2種類、支払方法に3種類、組み合わせで5種類(3年の場合は支払方法が2種類)のオプションになります。EC2のPrice Listページ(英語)は新体系にアップデートされ
クラウド専業CIerがAWS監視運用でZabbixを使う理由 - サーバーワークスエンジニアブログ
CloudWatchがあればZabbixとできること大して変わらないし 「CloudWatchでだいたいの要件は満たせそうですね。」 とおっしゃる方もいらっしゃるようですが私たちServerworksが、そして私伊藤がなぜZabbixをおすすめするのか今回はそのことについてお話ししたいと思います。 統合監視ができる CloudWatchはあくまでもAWSの中の事象だけを見ます。 しかし実際のシステム運用ではAWSだけでなく他のクラウドシステムやオンプレミス、 クラウドとの接続ポイントとなるネットワーク機器など、監視すべき部分はAWSの中だけではありません。 そういった場合すべてを統合的に見られる監視ツールが必要となります。 またAWSの中だけであったとしてCloudWatchではアカウント毎に表示されることになります。 たとえば経費分割のために1つの会社で事業部毎に別々のAWSアカウントを
AWS環境での監視について調べる CloudWatchとZabbixの比較 | DevelopersIO
○：標準で使えます ×：標準で使えません 補足 1.リソース監視の監視項目 CloudWatchはデフォルトでメモリー使用率やディスク使用量、ロードアベレージがないので必要であればカスタムメトリクスとして追加する必要があります。監視項目は以下のページをご覧ください。 [CloudWatch]グラフの確認方法と確認できるグラフ一覧(EC2/ELB/RDS) Zabbixエージェント - Zabbixオフィシャル日本語サイト 2.Zabbixからフルマネージドサービスを監視 ZabbixではRDSやELBのリソースを監視する機能はありません。Zabbixでフルマネージドサービスを監視したい場合はCloudWatchから値を取得するスクリプトを実装する必要があります。 ZabbixでAWS/CloudWatchの値を取得してみた 3.カスタムメトリクスを使えば可能 カスタムメトリクスの追加方法は
Amazon EC2 t1.micro インスタンスでswapを使用する - blogですかい
m1.small 以上のインスタンスにはswap用のデバイスが存在し、デフォルトでswapとしてマウントされるようですが、残念ながらt1.microインスタンスにはそれがありません。 t1.microインスタンスでの free コマンド実行結果例 $ free total used free shared buffers cached Mem: 626524 550784 75740 0 113388 208792 -/+ buffers/cache: 228604 397920 Swap: 0 0 0 上記のようにSwap: 0 0 0と、星のカービィ スーパーデラックスを想起させる絶望的な数字が出力されます。 Swap領域を自分で作成する ただでさえRAMが少ないt1.microでswapが無いとなると不安で夜も眠れなくなるので、 自分で用意するのが吉です。 デバイスを追加することはで
何故S3（オブジェクトストレージ）を使わなければいけないのか - komagataのブログ
怖話を作っていてインフラを含めた設計で迷っている箇所がいくつか溜まってきたのですが、もしいい方法があったら教えて欲しいという点をブログに書いていきたいと思います。 前提 エンジニアは僕一人だけなので極力手間を減らしたい怖話は広告モデルなのでアクセス辺りの収益が低い。なるべく安く（できれば無料に）したいデザイナーやインターンの人も開発するので複雑にしたくない（例えば怖話をローカルで開発する環境を作るのにredisとかfluentdとかいろんなサーバープロセスを立てないと画面が確認できないとか） 画像の置き場所に困る怖話はアクセス負荷的にappサーバーの2台目が必要かな？ぐらいの状態にあります。 appサーバーが複数台になると画像などのアップロードされるファイルの置き場を共通にする必要が出る。 一度はappサーバー2台でS3 + CloudFrontにしましたが、転送料が高いからappサーバー
AWS re:Invent2014【保存版】全セッションを網羅！非公式まとめ | DevelopersIO
AWS re:Invent 2014に、残念ながら参加できなかった方向けに275のBreakout Sessionsをまとめてみました 。セッションごとの日本語タイトル(超訳)、公式Webページ、スライド、動画と関連するブログ記事を1ページにまとめています。量が多いので、ページ内検索などでキーワード検索をかけていただくのがオススメです。SlideShare / YouTube / MP3とも徐々に公開されているので、順次追加していきます！ 2014/11/24 22:30 SlideShare / YouTubeのリンクを追加しました！ 公式Webページ(英語) AWS re:Invent 2014 公式現地レポート(日本語) AWS re:Invent 2014 現地レポート Part 1.（11/12） AWS re:Invent 2014 現地レポート Part 2.（11/13）
AWSのデータセンターの中身を、設計総責任者が話した
AWSのデータセンターの中身を、設計総責任者が話した：「ここまで話していいの？」（1/2 ページ） Amazon Web Services（AWS）のバイスプレジデント兼ディスティングイッシュド・エンジニア、ジェームズ・ハミルトン氏は、AWSが11月11～14日に開催した「AWS re:Invent 2014」で、データセンターの構成、サーバーやスイッチの自社設計、SR-IOVなどについて語った。 [2014/11/21訂正]記事の初出時に、ハミルトン氏がAZ間の距離を「数キロメートル」と言ったと記述しましたが、数十キロメートルである可能性もあります。ハミルトン氏はAZ間が「multiple kilometers」であると表現しています。後出のハミルトン氏の議論では、例えばロサンゼルスとニューヨークの間の伝送遅延は74ミリ秒だが、これを1、2ミリ秒に抑えるためにAZ間は近くなくてはならない
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3とnanocで作る 安い・落ちないwebサイト
