AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店
3行で シンプル/ミニマルな Lambda のデプロイツール lambroll を書いてるよ Lambda API 以外は極力触らないやつです 既存 function の移行も簡単です 開発の経緯 AWS Lambda を管理、デプロイするのに数年来 Apex を使っていましたが、最近更新がないと思っていたら案の定というか、残念ながら No longer maintained となってしまいました。 で、代替を探したのですが… Lambda管理、Apexがお亡くなりになってServerlessかSAMになるんだけど、本当は関数だけdeployできればよくて(IAMとか関連リソースはTerraformでやるんで)、それなら裏でCloudFormationが動くようなのじゃないシンプルなのがいいなあ。作れば作れるけどデプロイツールばっかり書くことになるな…— fujiwara (@fujiwa
SQLで羃等にDBスキーマ管理ができるツール「sqldef」を作った - k0kubun's blog
sqldefのリポジトリ github.com これは何か Ridgepoleというツールをご存じでしょうか。 これはRubyのDSLでcreate_tableやadd_index等を書いてスキーマ定義をしておくとそれと実際のスキーマの差異を埋めるために必要なDDLを自動で生成・適用できる便利なツールです。一方、 で言われているように、Ridgepoleを動作させるためにはRubyやActiveRecordといった依存をインストールする必要があり、Railsアプリケーション以外で使う場合には少々面倒なことになります。*1 *2 そこで、Pure Goで書くことでワンバイナリにし、また別言語圏の人でも使いやすいよう、RubyのDSLのかわりに、誰でも知ってるSQLでCREATE TABLEやALTER TABLEを書いて同じことができるようにしたのがsqldefです。 使用例 現時点ではMy
Goでcertというコマンドを作ってみた
Goの学習がてら、業務で使えそうなコマンドを作ってみました。certといいます。 genkiroid/cert 何をするコマンドかというと、ドメイン名を引数として渡すと、そのドメイン名を使用しているWEBサイトのサーバ証明書情報を出力します。 サーバ証明書情報の項目は、業務上知りたい機会が多そうな項目だけにしています。 同様のことは openssl コマンドでも当然出来るわけなので、シェルスクリプトでも書いておけば済む話ですが、Goの学習がてらなので。 インストール 今のところデベロッパ向けオンリーです。 $ go get github.com/genkiroid/cert/... 使い方 ドメイン名をひとつ以上引数として渡してください。 $ cert Input at least one domain name. ひとつ渡すと、 $ cert github.com DomainName:
Big Sky :: コマンドラインアプリで OAuth2 認証を使う際に使えるテクニック
OAuth2 でレスポンスタイプがコードもしくはトークンの場合、ブラウザで認証を行ってコードやトークンを自前サーバで受け取る事になる。モバイルアプリだと組み込みブラウザが前提になっておりリダイレクトの最終 URL からアクセスコードやトークンを得る。ただコマンドラインアプリの場合、認証の為に起動したブラウザの最終 URL を得る方法はない。また1コマンドラインアプリケーションの為にドメイン付きのコールバックサーバを用意するのも面倒だし、作ったサーバをユーザに信用して貰う必要がある。あとそもそも外部のサーバで受け取ったトークンをどうやってコマンドラインアプリに渡すかという問題がある。 そこで使うのがローカルサーバを立てる方法。認証後のコールバック先をコマンドラインアプリから起動したローカルサーバにし、そこにリダイレクトさせてアクセストークンを貰い保存する。 今日はこれが伝わり易い用に Mic
あなたのサーバは本当に安全ですか？今もっともイケてる脆弱性検知ツールVulsを使ってみた - Qiita
はじめに サーバ管理をしている身としては、 セキュリティ は常に付きまとう悪魔みたいなもので、このセキュリティに関しては何をどこまで頑張ればいいのか不透明な部分が多い。 脆弱性に関しては、CVEなど、毎日情報は入ってくるが、それがどのサーバの何に関連したものなのかなんていちいち調べてられないし、どの脆弱性がすぐに対応しなければいけないもので、どの脆弱性があとあと対応すればいいものなのかなんてわからない。 実際のところ、大きな話題になった脆弱性くらいしか緊急で対応してないという人は多いのではないかと思う。 そんな中、満を持して登場したのが vuls !! 各サーバの脆弱性情報を取得して、個々のサーバそれぞれでどんな脆弱性があり、どのくらいやばい脆弱性なのかを検知できるようになった！ 今回はこのvulsを紹介します。 Vulsとは 公式でロゴが発表されたので、差し替えました 公式ドキュメント:
#10 Consulと連携するpull型デプロイツール stretcher - KAYAC engineers' blog
tech.kayac.com Advent Calendar 2014 10日目担当の @fujiwara です。 最近書いている stretcher というデプロイツールの紹介をしたいと思います。 長いので3行で push型デプロイはホスト台数が増減しやすい環境に適さない 各種問題を解決するpull型デプロイツールを書いた Consul と連携するよ 中央ホスト配布(push)型デプロイの問題点 カヤックの自社サービスでは久しく Archer というツールを利用し、中央ホストから各デプロイ対象ホストに rsync でファイルを配布する形のデプロイを行っていました。ここではこれを push 型と呼びます。 push型のデプロイは、ホスト台数が頻繁に増減する環境で以下のような問題があります。 新しくホストが起動してきた場合に、中央ホストからデプロイを行ったあとでないと (古い状態で起動してい
golangでUTF-8-MAC→UTF-8 - yuukichiの日記
UTF-8-MACをUTF-8に変換したくて四苦八苦していたんですが、UTF-8-MACはUTF-8を正規化したもので、iconvが独自に命名しているものとのことで、そこら辺を踏まえて調べてみたら、 Golang: Unicode 正規化 - Sarabande.jp この記事に正規化の方法が載ってたので、これを参考に import "code.google.com/p/go.text/unicode/norm" func DenormalizeUnicodeString(str string) string { buf := []byte(str) buf = norm.NFC.Bytes(buf) return string(buf) } こんな感じでいけました。 cgoを使用してiconvを使っても出来るんですが、クロスコンパイルが面倒なことになるので簡単な方法が見つかって何よりでし
gateを使って手軽に認証を導入する - pixiv inside [archive]
ISUCON4 で準優勝した @catatsuy です。 賞金の使い道はまだ考えていません。 ところでピクシブ株式会社では冬インターンをやります！ エンジニア向け pixiv開発のbugリストからの脱出！エンジニア職インターン - ピクシブ株式会社 採用サイト ISUCON4 の予選問題を解くだけでインターンに参加できるチャンスなのでぜひ挑戦してみてください！！1 pixiv/intern2014w この記事は当初はアドベントカレンダーの記事にする予定でしたが，今が旬だと圧力をかけられたので今公開します。 なおこの記事は ピクシブ株式会社 Advent Calendar 2014 - Qiita の -17 日目の記事です。 今までの社内ツールの認証は各サーバーに設定されていたために退職者などの対応が非常に大変でした。そこで最近のピクシブ株式会社では typester/gate を導入する
![gateを使って手軽に認証を導入する - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f234db5d7f70f2a8afe476e78ede9c5167fc67c1/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fc%2Fcatatsuy%2F20141114%2F20141114192037.png)
golang で外部コマンドを実行して標準出力を取得する - tkuchikiの日記
執筆時に使用した go version は、go1.3 です。 golang で外部コマンドを実行して、 標準出力の結果を受け取る方法です。 Go Playground では試すことができませんのでご注意ください。 ※追記1 id:mattn さんにご指摘いただいた、Cmd.Output の例を追記しました。 標準出力だけ取れれば良いなら、非常に簡潔に書くことができます。 ありがとうございました。 ※追記2 ドキュメントを読みなおしたところ、 Cmd.CombinedOutput という、 標準出力と標準エラー出力両方とれるものがありましたので、 追記しました。 ※追記3 最初に書いた標準出力一括取得は、それほど使わなさそうだと思いましたので、 削除して、末尾にStdinPipe の例を記載しました。 ※追記4 id:id:hnakamur3 さんに教えていただきました記事へのリンクを追加
in_tail+(in|out)_forwardができるログエージェントfluent-agent-hydraをGoで書いている - 酒日記 はてな支店
タイトルが長いですが、つまりそういうものをGoで書いています。 fluent-agent-hydra - Github (hydraっていうのは首のいっぱいあるアレです。キングヒドラとか) 特徴 fluent-agent-lite 的なファイルを tail -F のように追尾する機能 1プロセスで複数ファイルを追跡できます in_tail のような pos_file, parse 機能は今のところありません in_forward 的な TCP で msgpack 形式のログを受け取る機能 各種言語の logger (Ruby, Perl, Go など) から投げたログを受け取って fluentd に送り直せます JSON 形式には対応していません 簡易的なオンメモリバッファを持っています 上記から入力されたログを fluentd に送信する out_forward 的な機能 複数の送信先を
Go言語でWebサーバを立てる 第2回 Webサーバアプリをサービス化(daemon)する
Google Developer Group 神戸: Googleのテクノロジーを活用したり、 勉強会をしたりする活動をしています。 こんにちは。scarvizです。 今回は前回作成したWebサーバアプリをサービス化してみようと思います。 今回もGo開発マシン(Ubuntu12.04)を使います。 Linuxでサービス化をするには、バックグラウンドプロセスで動作するようにdaemonを作成する必要があります。 基本的な流れは、C言語で作成するLinuxのdaemonと同じです。 下記の#4を参考にしました。 https://code.google.com/p/go/issues/detail?id=227 ■daemon関数の作成 daemon関数は以下のように作成しました。 /* daemon関数 */ func daemon(nochdir, noclose int) int { va
Google認証なリバースプロクシ＆静的コンテンツ配信サーバー「gate」 - unknownplace.org
Kibana や Grafana を使う時に、これらはjsのツールなので、 Erasticsearch や InfluxDB といったバックエンドサービスにjsからアクセスできるようにする必要がある。 そのためには、 普通にバックエンドサービスのportを開放 nginxとかでリバースプロクシ とかする必要があり、めんどくさい。 さらにセキュリティのことを考えると、2の方法のうえに、nginxでSSL+Basic認証なんかにする必要があってよりめんどくさい。 さらに、僕はBasic認証が嫌いだ。 昔は Firefox + 1Password で良い感じにBasic認証の入力が行えたが、いまはだめになってしまったし、 Basic認証だとアカウントの管理もめんどくさい。 なので、Google認証なhttpdでリバースプロクシもできる、gateというツールを作った。 https://github
Go コードのレビュー時によくされるコメント - GRACEFULEXIT
CodeReviewComments から Go コードのレビュー時によくされるコメントについて。 gofmt gofmt またはそのスーパーセットである goimports を実行すること。goimports は gofmt に加えて import 行の修正も行う。 コメント文 http://golang.org/doc/effective_go.html#commentary を参照。宣言に対するコメントは少し冗長に見えるかもしれないけど完全な文にする。そうすれば godoc できれいに整形される。次のように説明するものの名前から始めピリオドで終える。 // A Request represents a request to run a command. type Request struct { ... // Encode writes the JSON encoding of re
高速にGo言語のCLIツールをつくるcli-initというツールをつくった
高速にGo言語のCLIツールをつくるcli-initというツールをつくった tcnkms/cli-init・GitHub cli-initを使えば，Go言語コマンドラインツール作成時のお決まりパターンをテンプレートとして自動生成し，コア機能の記述に集中することができる． デモ 以下は簡単な動作例． 上のデモでは，addとlist，deleteというサブコマンドをもつtodoアプリケーションを生成している．生成結果は，tcnksm/sample-cli-initにある． 背景 Go言語で作られたコマンドラインツールを見ていると，codegangsta/cliというパッケージがよく使われている． これは，コマンドラインツールのインターフェースを定義するためのライブラリで，これを使えば，サブコマンドをもつコマンドラインツールを簡単につくることができる（Usageを自動で生成してくれたり，bash
websocketd
WebSockets the UNIX way Full duplex messaging between web browsers and servers websocketd is the WebSocket daemon It takes care of handling the WebSocket connections, launching your programs to handle the WebSockets, and passing messages between programs and web-browser. It's like CGI, twenty years later, for WebSockets Language agnostic If you can run your program from the command line, you can w
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散ユニークID採番機 katsubushi と Web アプリケーションへの応用例 / katsubushi
GitHub - kahing/goofys: a high-performance, POSIX-ish Amazon S3 file system written in Go
GitHub - centrifugal/centrifugo: Scalable real-time messaging server in a language-agnostic way. Self-hosted alternative to Pubnub, Pusher, Ably. Set up once and forever.
GitHub - mgutz/dat: Go Postgres Data Access Toolkit
GitHub - oguzbilgic/pandik: monitoring tool for web services