アプリケーションエンジニア向けのAWS本を書きました - プログラマでありたい
たまに呟いていましたが、『Amazon Web Services パターン別構築・運用ガイド』に続くAWSの第二弾として、『Amazon Web Services クラウドネイティブ・アプリケーション開発技法』という本を書きました。今回も、所属している会社であるNRIネットコム株式会社の同僚たちと書いています。そして今回の本は、主にアプリケーション・エンジニアを想定して書いています。何とEC2の使い方が一切でてきません。 Amazon Web Services クラウドネイティブ・アプリケーション開発技法 一番大切な知識と技術が身につく 作者: NRIネットコム株式会社,佐々木拓郎,佐藤瞬,石川修,高柳怜士,佐藤雄也,岸本勇貴出版社/メーカー: SBクリエイティブ発売日: 2016/04/20メディア: 単行本この商品を含むブログを見る 本を書いた理由 前回の『Amazon Web Ser
AWSとシステムの認証認可を考える - プログラマでありたい
原稿執筆が追い込みの為に、すっかりとブログから遠ざかっていました@dkfjです。最近、モバイルアプリについて考えることが多いのですが、その中のテーマの１つがシステムの認証認可です。先日、JAWSUGのアーキテクチャ支部で、それをテーマに議論してきたので今時点の課題意識を整理しておきます。 当日の資料 Lambda認証認可パターン from Takuro Sasaki www.slideshare.net 説明が何も書いていないので、これだけ見てもさっぱり解らないと思います。順を追って、説明します。 認証と認可 まず認証と認可の違いです。認証は本人性の確認であり、認可はリソースに対する利用権限の付与です。多くのシステムでは、認証と同時に認可を行いますが、本質的には別々の機能ですよねという話です。もちろん、１つのシステムの中で同時に実現することの問題もありません。 Cognitoを利用した認
サーバレスアーキテクチャとは？ - プログラマでありたい
サーバレスアーキテクチャの整理です。少し前は、2-Tier Architecture（クラウドネイティブなアーキテクチャ）と3-Tier Architecture（従来のアーキテクチャ）という対比で論じられることが多かったです。しかし、API Gatewayの登場により、3-Tierな構造でもクラウドネイティブなアーキテクチャにしやすくなりました。ということで、サーバレスアーキテクチャ（ServerLess Architecture）と呼ばれることが多いです。 サーバレスアーキテクチャのパターン それでは、従来型のアーキテクチャ（旧3-Tier）と2-Tierパターン、API Gatewayを利用したサーバレスアーキテクチャをそれぞれ見てみましょう。 従来型のパターン（ アプリケーションサーバ・パターン） まずは従来型のアーキテクチャです。間にELBを挟んでAutoScaleにすることは多
クローラー／スクレイピング本がざくざく - プログラマでありたい
2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py
オフィスグリコの規模 - プログラマでありたい
ふと気になったので、調べたメモです。 オフィスグリコって、ご存知でしょうか？富山の置き薬のごとく、企業内にお菓子を満載したボックスを置いて、定期的にやってくるグリコのおにーさん（？）が補充・代金回収する奴です。ポイントは、性善説に基づいた代金回収モデルです。商品を入れている箱は、ただの引き出しなのでお金を入れなくても開けれます。商品を取ったら、カエルさんの口の代金箱に入れるという仕組みです。タダ食いをしようと思ったら、幾らでも出来る仕組みです。 これがどれくらいの規模なのか気になって、ググると良い記事が出てきました。jp.reuters.com 2013年度で、売上が45億円です。注目すべきは、設置数。10万事業所に12万台の菓子ボックスと、1万7千台だの冷蔵庫とのことです。10万という数字は、全国のコンビニの合計数である5万件を軽く凌駕しますね。そして、代金の回収率は95%とのことです。
実行計画が解れば怖くない。SQL実践入門 - プログラマでありたい
技術評論社さんから、SQL実践入門を献本いただきました。ありがとうございます。 SQL実践入門の主題 この本の目的は、「パフォーマンスの良いSQLの書き方、特に大量データを処理するSQLの性能向上の方法を理解すること」とあります。そのパフォーマンス向上の為の解として、SQLが内部的にどう処理されているかを表す実行計画の読み解き方を、いろいろなケースを上げながらひたすら解説しています。そして、何故その実行計画になるのか、データ構造やDBの動きとともに説明しています。ということで、実行計画大事という基本かつ当たり前のことを、正面から取り扱っている良質のSQL本です。 SQL実践入門の構成 SQL実践入門の章立ては、下記の通りです。 第1章：DBMSのアーキテクチャ──この世にただ飯はあるか 第2章：SQLの基礎──母国語を話すがごとく 第3章：SQLにおける条件分岐──文から式へ 第4章：集約
「Amazon Web Services パターン別構築・運用ガイド」の執筆環境 - プログラマでありたい
Amazon Web Services パターン別構築・運用ガイド 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,小西秀和,佐藤瞬出版社/メーカー: SBクリエイティブ発売日: 2015/03/25メディア: 大型本この商品を含むブログ (2件) を見る 今回の「Amazon Web Services パターン別構築・運用ガイド」は、会社の同僚たち4人で書き上げました。会社の同僚といっても、東京と大阪に別れていたり、日中に打ち合わせをする時間もないので、ほぼリモートのやり取りだけで完結させました。かなりスムーズにいったのですが、幾つか課題もあるので、忘れないうちにメモです。 執筆を支えるシステムの全体像 リモートでやり取りをする為に、幾つかのツールを組み合わせて簡単な環境を作りました。方針としては、執筆に集中するために出来るだけSaaSを利用し、余計な時間を取られないようにしまし
『Amazon Web Services パターン別構築・運用ガイド』を書きました - プログラマでありたい
たまに呟いていましたが、AWSを題材に『Amazon Web Services パターン別構築・運用ガイド』という本を書きました。今回は、所属している会社であるNRIネットコム株式会社の同僚たちと書いています。 Amazon Web Services パターン別構築・運用ガイド 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,小西秀和,佐藤瞬出版社/メーカー: SBクリエイティブ発売日: 2015/03/25メディア: 大型本この商品を含むブログ (1件) を見る 本を書いた理由 前回執筆した『Rubyによるクローラー開発技法』が好評だったこともあり、SBクリエイティブさんからAWS本を出さないかという打診を受けました。AWSは長年親しんできたこともあり、また仕事でもAWSに関する事業を進めている関係で、願ったり叶ったりでした。 一方で、やはり本を出すというのは大変です。私個人の問
バッチ処理について再考 - プログラマでありたい
作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。 利点 バッチ処理には以下のような利点がある。 ・多くのユーザーがコンピュータのリソースを共有できる。 ・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。 ・人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。 ・高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。バッチ処理 - Wikipedia これだけみると、人件費に対してコンピュータリソースが高い時代の産物なんですよね。今は、クラウドの登場で、有り余るコンピュータリソースをほぼ自由に低コストに使える時代です。そもそもバッチ処理である必要があるか、考える必要がありますね。特に夜間バッチにつ
Excel VBA+IEでのスクレイピング - プログラマでありたい
書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手を染めたのはこのExcel VBAスクレイピングでした。毎月定期的に所定のデータを観測するという仕事があって、面倒くさくて仕方がない私は記録用のExcelを魔改造して勝手に取得するようにしました。1時間くらい掛かってた作業も、ボタンポチになったので随分楽になったと記憶しています。（結局、ボタンを押すのも面倒くさくなって、毎日サーバサイドで動かすようにしましたが） スクレイピングの手始めにピッタリのExcel VBAスクレイピングです。環境の用意が簡単なので、ノンプログラマーでも
AWSのアカウント管理の話 - プログラマでありたい
AWS Advent Calendar 2014の7日目です。あと、全部俺Advent Calendarも開催中です。 運用絡みで何か書くと宣言したので、AWSのアカウント運用について書いてみます。テクニックや技術より、考え方の面での整理です。 AWSのアカウントの種類 AWSで利用するアカウントは２種類あります。AWSアカウントとIAMアカウントです。AWSアカウントは、マスターアカウントと呼ぶこともあって大元のアカウントになります。AWSにサインアップ時に作るものが、AWSアカウントで１つだけ存在します。それに対して、IAMアカウントはユーザアカウントです。AWSの管理コンソールから、個々のユーザ向けなどに作成します。 AWSアカウントの取扱について AWSアカウントは、全権限を持っています。強力すぎるアカウントで、日常の運用に利用するには危険すぎます。日常の運用には使わないというのが
クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 - プログラマでありたい
2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み
プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」 - プログラマでありたい
「Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー／スクレイピングをオンラインで実行できるWebサービス（SaaS）です。クローラー本を書いておいて何ですが、９割の人は自分でクローラーを作らずに、この手のサービスを利用すれば事足りると思います。（書かなかった理由は、Ruby縛りサービスの継続性とスケジュールの問題です。主に最後） kimonolabsとは？ kimonolabsは、先述のとおりWebスクレイピングをしてくれるSaaSです。会員登録してChromeの拡張をいれれば、すぐに使えるようになります。一般的に、Webスクレイピングする場合は、次のような手順が必要です。 対象ページのダウンロード ダウンロードしたページから、特定の箇所を抜き出す 抜き出したデータの保存 対象ページのダウン
Chefの辞典こと、「Chef活用ガイド コードではじめる構成管理」 - プログラマでありたい
献本頂いて随分と時間が経っているのですが、@sawanobolyさんに「Chef活用ガイド コードではじめる構成管理」を頂きました。執筆段階から原稿見せて頂いていたのですが、製本したものを見ると圧巻としか言えない分量の大作です。頂いたものの、分厚すぎて持ち歩けないので即効で電子版で買ったほどです。ある人は、鈍器のようなChef本と呼んでいます。 そんな分厚いChef本ですが、内容は分厚さに違わずChefの網羅率および詳しさはピカイチです。Chefの概念から始まり、Chef-ServerやSoloなど色々あるChefの利用形態、縁の下の力持ちであるOhaiについてそれぞれ章を費やしています。また、Chefの基本的な使い方が始まり、実際のChef利用の肝となるData Bag、Environment、Roleも詳しく書かれています。その上、開発だけでなくテストや運用フェーズまで含まれています。
Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath - プログラマでありたい
RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの１つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概要と主要な機能を紹介してみます。 Nokogiriとは何か？ ReademeによるとNokogiriとは、「HTMLとXMLとSAXとXSLTとReaderのパーサー」で、特徴としては、XPathとCSS3セレクター経由で探索する機能を持つことのようです。他にもHTMLやXMLのビルダーの機能を持っていますが、HTMLとXMLのパーサー（構文解析器）と覚えておけばよいでしょう。 Nokogiriのクラス構造 Nokogiriは、なかなか巨大なライブラリです。10以上のモジュールと70以上のクラスで構成されていて、yardでダイア
今まで読んで良かった本 100冊 - プログラマでありたい
今まで読んできて良かったなぁという本をまとめてみました。せっかくなので100冊をまとめて一挙公開です。趣旨としては名著を紹介する訳ではなく、考え方の上で参考になった本を紹介するという方針です。しかしロクに記録していないし記憶も定かではないので、本当に良いと思ったものでも抜けているものも多数あると思います。また技術書については、専門外の人には意味が無いので省いています。 一般的に本を勧めるうえで、100冊並べるというのは一番効率が悪い方法です。書評ブログとしては、1冊もしくは類似の２〜３冊くらいを紹介するのが一番効率が良いのです。でも、私は意地悪なので、本を１冊紹介してくださいと言われると、10冊紹介するようにしています。暇な時に眺めてください。 歴史関係の本 私がジャンルとして一番好きなのは、歴史関係の本です。時間が許す限り延々と読んでいたいですが、そうも言っていられないのが現実です。面白
掃除機は、ダイソンよりルンバさんより、マキタの充電式クリーナー - プログラマでありたい
小さな子供がいるので、食事の時にパンくずなどをボロボロとこぼして家族のストレスの一因となっていました。そんな時に勧められて購入してみたのが、充電式クリーナーです。これが中々良かったです。勧めてくれた人は、以下の３点を強調していました。 充電式クリーナーのお勧めのポイント 軽くて使いやすい 手軽に使えて便利 ちょこっと使いが出来る まず軽さですが、重さが1kgと片手で簡単に扱えるレベルです。一般的な掃除機は3〜4kgが主流なので、それに較べて格段に軽く感じます。次に手軽さ。軽いということに加えて、コードレスというのが大きいです。従来だと、掃除機を運んで電源コードを挿して、別の部屋を掃除する時はまた電源コードを挿し直してという手順が必要でした。それが、コードレスだとささっと掃除出来ます。思った以上に便利です。 そして、最後のちょこっと使いが出来るという点ですが、上記2点の結果です。軽くて手軽な
ワインの品種。まずは3つだけ覚えておけば大丈夫 - プログラマでありたい
プログラマ系ブログですが、ワインの記事が好評で生き方に迷っています。さてワインを選ぼうとする時の最初の障壁は、品種だと思います。ワインのリストは大抵の場合、銘柄の他に生産地と品種が書いています。銘柄を知らないとしたら、生産地と品種（と値段）で選ぶしかありません。でも、ワインのブドウの品種は多すぎてとてもじゃないけど覚えられませんよね？そんな人に、最低限覚えておいて欲しい赤ワイン用の３つの品種を紹介します。 覚えておくと良い品種は、３種類だけ ワインのブドウの品種は、基本的にはフランスのボルドー＆ブルゴーニュの系列とイタリア＆スペインの系列がメインです。そして、イタリア＆スペインの品種はかなり細分化しているので最初は覚えるのを諦めて、フランス系の品種を覚えましょう。アメリカ・チリ・オーストラリア・ニュージランド・南アフリカで栽培される品種は、フランスとほぼ同じです。そうすると、品種をみるだけ
私が旨いと思う、普段飲みの1,000円台のワイン - プログラマでありたい
昨日、軽い感じで1000円台のワインの選び方を書いたら、かなりの反響を頂きました。一方で、内容がないとか、解ってないとか、店員に聞けとか、割とフルボッコだったので少しグヌヌとしております。私はマズいワインに当たらない確率を上げる方法を書いたつもりですが、その当たりは余り伝えられなかったようです。一方で、地域にとっては状況が違うの部分が多いので出来るだけ抽象的に書いたのは問題だったかもしれません。その分、ブコメで俺が考える最強のワインを披露してくれているので、まぁ良いかなと思います。 味覚については人それぞれなので、私が勧めるものも合う人も合わない人もいると思います。でも、折角なので私が定期的に購入してセラーに入れておいているワインを紹介します。好きなように突っ込んでください。 ナパ・セラーズ ピノ・ノワール アメリカ 楽天で見ると2,000〜3,000円くらいで売っているけど、たまにヤマヤ
身も蓋も無い1,000円台のワインの選び方 - プログラマでありたい
フランス人じゃないですが、日常的にワインを飲んでいます。しかし、お大尽ではないので、必然的にコストパフォーマンスの良いワインを探すことになります。だいたい1000円台のワインを飲むことが多いです。最近では選び方が解ってきたので、千円台のワインであれば比較的大外れすることもなくなりました。 大体のポイントをまとめてみると、身も蓋もない結果になりました。賛否両論だと思いますが、参考にして頂ければと思います。 スーパーで買わない まず1つ目ですが、スーパーで買わないということです。以前にも書きましたが、大手スーパーは大量仕入れが前提となります。それに答えられる生産者は、大量生産する生産者だけになります。大量生産の生産者は自前の畑だけではぶどうが足りないので、近隣の農家からぶどうを買い集めることになります。その構造になると、ぶどうを納める農家側の行動原理は、出来るだけ多く納めることになります。そう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
