www.megamouth.info 「日本のエンジニアの実力はかなり低いと感じています。」 これに関してです。ブックマークのコメントだと気持ちが足りなかったので、結構グローバルにIT土方としてやってる自分の考えを書きたくなりました。 自分の所謂受託の会社をクロアチアという国で経営していますが、社員は今２０人位で、客は主にアメリカ、ヨーロッパー各国で、去年あたりから中東、アフリカの案件も増えてきました。まぁこれだけいろんな国とやり取りしてるってことは、億単位のデカイ案件とかじゃなくて、まぁスタートアップ的な会社とのやり取りが多いです。自分が日本人なので、日本向けの所謂オフショア開発としてスタートしたけど、辛すぎて日本との取引はもう受託はやっていないですね。製品販売は日本でもやっています。 で、日本のエンジニアに関して。客が主に中小企業なので客のエンジニアとか入っている別の会社のエンジニアと

Lambda処理内容 SNSのメッセージから、処理対象となるS3のバケット、キーを取得します。 ログの時刻情報として期待するカラムのデータが日付フォーマットに一致しない場合や、カラム数が異常なレコードはエラーレコードとして除外します。 「request」カラムに含まれるURLを「urlparse」モジュールを利用してパースし、解析時に利用頻度の高い「HOST」や「PATH」を事前に抽出します。 「json」モジュールを利用してJSONエンコードを行い、Firehoseに対しバッチ転送を行います。 4: Firehose 今回、出力先はS3のみとしましたが、Amazon Elasticserach Service、Redshiftと連係も可能です。 Firehoseのバッファ時間はELB(ALB)のログ出力間隔にあわせ、300秒としました。 Firehoseの後処理をLambda関数で実装す

ディープラーニングおじさん 私の会社には「ディープラーニングおじさん」がいます。「います」といっても私が勝手に一人で心の中でそう呼んでいるだけですが…ともかく、今日はその「ディープラーニングおじさん」が、機械学習経験ゼロから、最終的に会社を動かすまでの華麗なる軌跡を紹介したいと思います。 なお、会社に関する情報は、私の都合である程度、虚実入り混じった情報になることご了承ください。今回の話で伝えたいことに関しては、影響は無い範囲とは思っています。 ディープラーニングおじさんの華麗なる軌跡 自分のツイートを「ディープラーニングおじさん」で検索したら、最初に引っかかったのが2016年10月ころでした。もう1年半くらい前ですね。 自分も個人で少しだけディープラーニング試したりしてるので、ディープラーニングおじさんに少しだけ自分の知ってる情報を提供してみたけど、おじさん何も聞かずに特攻しててワロタw

はじめに AWSの運用構築をまかされたインフラエンジニアのかたに向けて、セキュリティで考えるべき視点と代表的なソリューションをご紹介します。 AWSでのセキュリティを考える前に、私達自身のセキュリティを考えてみましょう。 "外出前に鍵をかける"、"ひとけのない道はなるべく通らない"など最低限やっておくべき対策があります。 たくさんのお金をかけてボディガードを雇っても、鍵をあけて外出しては意味がありません。 AWSのセキュリティ対策も同様です。 追加のコストを払ってセキュリティソリューションを導入する前に、最低限やっておくべき対策があります。 特に代表的なものをご紹介します。 出所が不明なAMIは使わない EC2の作成元となるAMI（マシーンイメージ）は誰でも公開できます。 中には悪意のあるソフトウェアが含まれるAMIも含まれます。 AWSや信頼できるベンダーが提供するAMIを使いましょう。

GlusterFSとは GlusterFSとはオープンソースの分散ファイルシステムです。 複数のサーバ上の記憶領域を集約して、１つのファイルシステムとして扱うことができます。 例えば、10台のLinuxサーバから、それぞれ100GBのディスク領域をGlusterFS用に提供し、１つの1TBのストレージとして使用することができます。 今回は、GlusterFSクラスタ(GlusterFS3.3.2)をEC2上に構築し、簡単な動作確認をしてみました。 用語説明 実際の構築に入る前に、GlusterFSで使われる用語について簡単に説明しておきます。 Storage Pool ストレージクラスタに参加するサーバ(ノード)の集まりです。GlusterFSにストレージを提供するサーバは、あらかじめStorage Poolに参加させておく必要があります。 Brick 個々のサーバ上のディレクトリで、Gl

神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バックアップストレージやデータ連携としてバックエンドにS3を利用できるのできるのと、直接S3にオブジェクトとし

以前から、インフラそのものの構成管理にはTerraformを利用しています。主にAWSのリソース管理に使っていて、Terraform自体はaws-sdkのラッパーみたいな感じなのですが、宣言的に構築できるので、複製が容易であったり、変更に必要な操作（modify系のAPI実行）を意識せずに、こうなってほしい、を記述することで、現状から必要な操作を計算してAPIを叩いてくれたりというメリットがあります。 で、実際に変更したい状態にするために、Terraformが何を行なうか、については「terraform plan」というコマンドで確認できるようになっています。まぁdry-runみたいなものなのですが、あくまでもTerraformの実行計画上のdry-runであって、aws-sdkのdry-runではないというのが結構困りポイントです。 具体的には、Terraform上で別のリソースの値を参

こんにちは、佐伯です。 AWSリソースの設定をマネジメントコンソールから目視確認するのはつらみがありますよね。ということで、今日はAWSリソースをテストするツール、awspecについて紹介したいと思います。 awspecとは awspecはAWSのリソース構成をServerspecのようにテストできるツールです。GitHubリポジトリは下記になります。 GitHub - k1LoW/awspec: RSpec tests for your AWS resources. ローカル環境を整える rbenv, Bundler, direnvの話になるので、普段使ってる方は省略してください。 OSSを利用する際、�バージョン管理が重要な課題になってきます。注目度が高いOSSほど頻繁にバージョンアップされ、新たな機能追加やバグ修正が行われます。また、稀にバージョンアップによって意図せぬバグが生まれ、

サーバのMuninがyum-cronで2.0.28-2にアップデートされましたが、その後からDynazoomが効かなくなりました。対処方法を忘れないようにメモしておきます。 MuninのDynazoomが動作しない 急にMuninのズーム機能(Dynazoom)が動作しなくなりました。具体的には画像の生成ができていない状態です。（※下図参照） とりまログ参照 まずはMuninのグラフデータ生成に関するログ(/var/log/munin/munin-cgi-graph.log)を確認してみます。 # tail -f /var/log/munin/munin-cgi-graph.log 'GPRINT:areceived:MAX:%6.2lf%s\j' \ 'CDEF:cforwarded=gforwarded' \ 'LINE2:gforwarded#0066B3:Forwarded ' \

Pythonで並列にいろいろ処理させたいなと思い、multiprocessing.Poolをつかってプログラムを作っていたらぶち当たった問題。 下記のコードを動かしていた、実はバグあり。 出力は start main end main ？？おかしい。本当ならworkerのprint関数が実行される、はず。 実は res = pool.apply_async(worker, (i)) じゃなくて res = pool.apply_async(worker, (i,)) じゃないといけない。引数をタプルとして認識してくれないのが原因だ。 修正してみる。 出力は start main worker i: 0 worker i: 1 worker i: 2 worker i: 3 worker i: 4 worker i: 5 worker i: 6 worker i: 7 end worker

この記事は re:dash とは re:dash を体験する ハンズオン資料 ハンズオン環境 環境構築 ログイン データソース クエリを作って, グラフもサクッと作ることが出来る パラメータ機能 フィルタ機能 その他の機能 以上 素晴らしいハンズオン資料 初めて re:dash を使ってみて ということで, 次は この記事は 既に 2018 年だけど... qiita.com 初老丸 Advent Calendar 2017 21 日目の記事です. re:dash とは うっかり, rehash と打ってしまうことしばしば. ちなみに, re:dash の正式な表記は「redash」なのか「redash」なのか, 「Re:dash」なのか判らなかったので, 本記事では re:dash で統一したいと思う.（正式な表記があれば教えてください〜） redash.io OSS で提供されているダ

森永です。 新年早々大変な脆弱性が出てきてセキュリティクラスタがざわついてます。 内容によって2つの脆弱性に分かれていて、「Meltdown」と「Spectre」と名前がつけられています。 現在使用されているほぼ全てのCPUにおいて対象となりうるという相当影響範囲が広い脆弱性です。 まだ詳細が公開されていない部分もありますが、パッチで対処できる脆弱性ですので落ち着いて対応し、続報を待ちましょう。 現在分かっている範囲の情報をまとめます。 Meltdown and Spectre 概要 今回の脆弱性は大きく3つに分けられます。 Variant 1: bounds check bypass (CVE-2017-5753) Variant 2: branch target injection (CVE-2017-5715) Variant 3: rogue data cache load (CV

「うーん、だいたいWebサーバは、vCPU2で、メモリ8GBぐらいで良いんだけれど、どのインスタンスが一番お得なんだろう？　よくわかんねぇ・・・(;´Д｀)」 現在、EC2インスタンスは現行世代だけでもタイプが１８種類。旧世代も合わせて、全ての世代・サイズを合わせると、その種類は100を超えます。 それぞれのユースケースを想定して多数のインスタンスタイプが用意されているわけなので、EC2の進化には驚くものがあるのですが、最初に軽くインスタンスを選ぼうと思っても、種類が多すぎて選ぶ時の敷居が高くなっているかなぁと感じるときもあります。 今日は、そんなインスタンスタイプの選択に迷っている方に向けて、EC2インスタンスの比較検討が、非常に効率的にできるサイトを紹介します。あと、インスタンスタイプ比較検討マニアにも受けるかもね！ ほな、行ってみよ。 サイト「EC2Instances.info」の紹

クラウド時代にPostgreSQLはどう進化する？ 世界の"イシイサン"が「AWS re:Invent 2017」で示したPostgreSQLの方向性 「今回、この場ですばらしいゲストをお迎えできることを心から嬉しく思う。18年にも渡ってPostgreSQL開発者として活動をされてきたPostgreSQLの世界的リーダーの"イシイサン"を紹介したい」―11月28日（米国時間⁠）⁠、米ラスベガスで開催されたAWSの年次カンファレンス「AWS re:Invent 2017」で行われたとあるセッション、そこでAWSのAmazon RDS/Aurora/RDS for PostgreSQL部門のゼネラルマネージャであるマーク・ポッター（Mark Potter）氏から呼ばれて登壇したのはSRA OSS, Inc 日本法人社長の石井達夫氏でした。本稿ではその石井氏によるセッション「Report fro

この記事は PostgreSQL アドベントカレンダー の25日目です。 qiita.com 基本的なPostgreSQLのモニタリングについては下記に纏めました。 soudai.hatenablog.com 本日はここで扱っていないレプリケーションの監視についてまとめようと思います。 なおPostgreSQLのストリーミング・レプリケーション (Streaming Replication) は、PostgreSQL 9.0 移行に使える機能です。 本ブログで説明するレプリケーションはこのストリーミング・レプリケーションを対象とします。 そのためここでは8.4とかで Slony-I 使ってるケースや pgpool-II でレプリケーションモードを使ってるケースは対象外です。 レプリケーションの仕組み PostgreSQLのレプリケーションは変更履歴であるWAL(ログ先行書き込み)を使ってい

Postgres Advent Calendar 2017の8日目を担当させていただきます。 qiita.com Postgres 10とかナウい話やテクい話は他のみなさまにお任せして、地味なネタ狙いで物理構造を意識したチューニングについて書こうと思っていた。最近、お仕事で触れたものの中からこれを選んだ。タイトルがキャッチーでかっこいいから。モテたいから。本当に。 TL;DR Postgresのテーブルのカラムは、CREATE TABLEに書いた順がそのまま物理配置に反映される その並べ方によって格納効率が変わるので、一考の余地がある Postgresのデータ構造 本題の前にPostgresにおいてデータがどのように格納されているか、単位の大きいものから順に「データベース」「テーブル」「ブロック」「ヒープタプル」について説明する。細かい話や正確性は捨てて、なんとなく雰囲気がわかるように。

今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ