並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi
こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
Nginx設定のまとめ
はじめに 僕は盲目的にunicornを起動するためだけにnginxを使っていて、設定ファイルの内容とかをほとんど知らない。 なので、ここにnginxの設定内容をまとめる事で自分自身が覚えようと思う。 普段使う大抵の設定は記載しているつもりです。 記載内容は実際に試したものと試してないものが混在してるので、誤った設定などがあるかもしれないのでその辺はコメントでご指摘いただけると助かります。 インストール インストールについては僕が書くより他の人の記事を見た方がいいと思う。 centosに入れるなら以下の記事が参考になる。 CentOS6.xにてnginxの最新版をインストールする手順 CentOS 6.5でnginxを動かす為の最低限の設定 またchefでインストールする場合は以下の記事が役にたつ。 Chefでnginxを導入してみる ChefでNginxをインストールするときにハマった c
Windows7でフォルダやファイルの所有者とアクセス権を変更するコマンド | Knman Diary
Windows7のアクセス権を変更したいのにできないということがあったので、一括の変更をコマンドでする方法を書いて行きたいと思います。Windows7のアクセス権を変更したいのにできないということがあったので、マニュアルでする方法と一括変更をコマンドでする方法を書いて行きたいと思います。 まず用語の説明から ファイルの所有者: 誰のファイルやフォルダであるかを表している。通常はそのフォルダを作成したユーザに所有権があります。アクセス権を変更するためにまずそのファイルやフォルダの所有権を得るところから始めます。 アクセス権: アクセス権がないとフォルダ内のテキストファイルを編集できない、削除できない、新規作成もできない。フォルダに関しても削除ができません。 フォルダのプロパティの確認 あるフォルダ上で右クリックメニューからプロパティを選択すると下図のようなフォームが出てくるので、セキュリティ
Mac の開発環境構築を自動化する (2015 年初旬編) - t-wadaのブログ
背景 愛用していた MBP15" が一ヶ月ほど前に突然亡くなり、急遽 MBP13" を買って環境構築を行ったので記録しておく。 (その後噂の薄くて軽くて新しい Macbook が出ただけでなく MBP13" までマイナーアップデートされたりしたが、悔しくはない。悔しくはないぞ！！) Brewfile オワコン問題 開発環境の構築は Homebrew と Homebrew Cask を入れて Brewfile を書き、 brew bundle すれば終わりかと思いきや、もう Brewfile はオワコンになってしまったらしい。 (3/25 追記) Brewfile がオワコンなのではなく Homebrew 本体から bundle コマンドが外されただけで、 元となった brewdle コマンドは健在で、もっと便利な brew-file もあるとのことです。 参考: Brewfileはオワコン
Mac初心者が見直すと便利なおすすめ設定9選「Finder」「Dock」など | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
2014年ももうすぐ終わりですが、皆様いかがお過ごしでしょうか。 ディレクターのモトキです。 個人的に振り返ってみると、極寒（-20℃！）のカナダで迎える新年、ブラジルワールドカップ、帰国、就職、引っ越しと盛りだくさんの1年でした。来年も勢いつけていきたいです。 さて、前回の記事、Mac初心者が最初にインストールしておきたい厳選アプリ10選に続きまして、順番が前後するのですが、おすすめのMacの設定について書いていきたいと思います。新しくMacに買い替えた方、標準のまま使っていた人はぜひ参考にしてみてください。 作業が捗るおすすめMac基本設定9選 1. トラックパッド システム環境設定 > トラックパッド 僕はマウス無しトラックパッド派なのでこちらだけ。 マウスの方も似たような設定にしてみてください（もともとWindowsでデザイナーをやっていたのでマウスにもこだわりはあったのですが、今
Macを購入したら最初に設定しておきたいシステム環境設定
@おったんです。システム環境設定は、Macを快適に利用するために欠かせないもの。とくに、Macを最近購入したという方々のご参考になればと思い、現在の私のMacBook Proの設定をまとめてみました。 システム環境設定 システム環境設定の中で、カスタマイズしている項目のみを抜粋してご紹介します。変更していないものは割愛しています。 一般 macOS標準のテキストエディットを使用する場合に、ファイルを更新した覚えがないのに、ファイルを開いたら前回の編集内容が反映されてしまっていた、なんて覚えはありませんか？これは、macOSのオートセーブ機能が働いているためです。 便利そうな機能なのですが、編集前の状態に戻したい場合には不便です。オートセーブ機能を無効にするためには、「書類を閉じるときに変更内容を保持するかどうかを確認」をチェックします。 一見すると、矛盾しているようですが、これは、オフにし
Git for Windows で日本語を使いたい - Qiita
追記(2.x)： Git for Windows は2015年8月にリリースされた 2.5.0 以降日本語まわりの問題もいくつか改善されているので追記しました。 2.x 系では開発ベースも変わり、もはや msysgit ではなくなったので、本稿のタイトルも変更させていただきます。 "Git for Windows"（いわゆる Git Bash）は Windows 上で git 利用を可能とする bash シェル環境だ。 Gitが使えるだけでなく、オールインワンで基本的なコマンドを備え、 ssh, perl, curl などのツールも入っていて、cygwin なんかに比べお手軽かつお得な環境だ。 筆者の周りでは "Git Bash" で通用している。 かつては日本語を扱うのが面倒であったが、1.8.3 から Bash 上で日本語入力できるようになるなど、最近の状況はだいぶよくなっている。 $
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
よくわかるLinux帯域制限 | GREE Engineering
矢口です。 みなさんはLinuxのtcという機能をご存知でしょうか。送信するパケットの帯域制御を行うことができる大変強力な機能で、グリーでもいくつかの用途で使用されています。 具体的な事例の一つはRedisです。Redisではreplicationを新規に開始する際やfailoverが発生しmasterが切り替わった際(特に2.6系)にストアされている全データが転送されます。しかし帯域制限をかける機能がないため、ネットワーク帯域を圧迫してしまう危険性があります。また通常のクライアントとの通信でも大量のクエリにより予想以上の帯域を使用してしまう可能性があります。このような場合にtcを用いることでRedisの使用する帯域をコントロールできます。 このように有用なtcですが残念なことに日本語/英語ともにわかりやすい解説や詳細な情報は多くありません。 私も社内において使われていたtcの設定に問題が
フロントエンジニアに知ってもらいたいリバースプロキシの重要性 | RickyNews
Randen Pederson 大規模なシステムであれば使っているであろうリバースプロキシ。 セキュリティや稼働率の観点からみて利用することは非常にメリットは高いです。 ただ、社内や周りであまり知見がなく、 「動くからいいや」という理由でApacheをそのままWebサービスの一次受けとして利用されている方も多いと思います。 動くという目的からすれば確かにその通りですが、ただ一枚リバースプロキシを入れるだけで ぐっと運用効率、稼働率も拡張性も上がります。 1. ルーティング処理の簡略化 例えばRESTfulな一般的なAPI構成を作りたいと思った時に以下のようなURL構成になると思います。 http://api.something.com/search/v1/item/list.json?cid=xxxx&gid=xxxxx もしアプリケーション側のルーティングしか知らなければframewor
フロントエンジニアになってから５ヶ月間で欠かせなくなったツールを晒す - Qiita
概要 今年からフロントエンドエンジニアにシフトチェンジして5ヶ月がたち、これがないと仕事にならんわレベルのツールを整理がてらに晒していこうと思う。 スペック的にはJava歴が10年くらい。 割とツール好きで、できればキーボード（カーソルキー以外）だけですべての操作を完結したいと思っている。 そんなおっさんがお送りします。 5ヶ月間のお仕事内容 PC/タブレット向けのAngularJSを使ったフロントエンド開発 HTML/CSS(SASS)/Javascript PCはIE8~、Chrome。モバイル端末はiPad、Nexus7 職場での開発環境 mac mini (2011) 19インチのシングルモニタ GUI系ツール Sublime Text 2 プログラマ向けのテキストエディタ。 これがないと仕事にならない。 以下、必須なPackage。 Vintage vimっぽいキーバインドにする
JKと結婚した
昨今では未成年とセックスしてどうたらこうたらというニュースが流れていますが、この度僕は、昨日１６歳を迎えた高校１年生と結婚することと相成りました。ご両親も当然説得済みで、挨拶に行くときは僕も全国ネットに顔が載ってしまうのではとひやひやしていましたが、無事認めて頂きました。 最初はキレられましたしロリコンと罵られましたし警察沙汰になりかけましたが、誠実（セックスはしている）にお付き合いさせて頂いていること、今後彼女を幸せにするための予定について、また、貯金額をざっくり伝えたところ、しぶしぶ認めて頂きました。 昨日婚姻届を提出致しました。先月まではご両親もあまり僕にいい印象を抱いておりませんでしたし、まだ高校生なのに時期尚早なのではないかと思っていたようですが、お金の力の為せる業か、今ではまぁ仲良くして頂いております。（彼女の学費も僕が負担すると伝えたことが大きいかもしれません） そして昨日初
cron 設定ファイル (crontab ファイル) の置き場所と書式について - ひだまりソケットは壊れない
cron周りのベストプラクティス読んだ - $shibayu36->blog; 上の記事を読んで興味を惹かれたので、『WEB+DB PRESS Vol.79』 の 「cron 周りのベストプラクティス」 を読んだ。 Web 上でも公開されている。 (2014-06-23 追記。) 第25回 cron周りのベストプラクティス（1）：Perl Hackers Hub｜gihyo.jp … 技術評論社 そこでは cron 設定 (crontab) ファイルの記述方法として crontab コマンドを使用する方法が書かれていた *1。 で、記事を見てるうちに、以前 crontab コマンドやら /etc/cron.d やらの違いがよくわからずに調べて社内日記に書き残しておいたことを思いだしたのでブログで公開しておこうと思う。 ちなみに man の内容などは Debian 7 で見てるので、別ディス
どうしてメモリはスワップするのか！？
こんにちは。斎藤です。 最近、新しいスキー板が欲しいなと思っています。現在使っているOGASAKAの板は5年目に入り、メーカーからこれ以上はチューンナップ(メンテナンス)はできないよ、と言われてしまいました。もし、次に買うなら、スノーボーダーの人と一緒にパウダーに飛び込みやすいセミファットタイプが良いのかなと考えています。皆さんのオススメ、ぜひ教えてください。 さて、今日はLinux Kernel上でのメモリ管理、特にページ回収(Page Reclaim)とスワップに絞り、「スワップの理由」「ページを回収する仕組み」そして「スワップの様子を観察する」の3点に分けてお話しします。「スワップするのが気持ち悪い」と考えている方は少なくないと思いますし、私もそう考えていた時期がありました。しかし、それは本当に悪い事なのか、今回掘り下げて行きます。 ※主な対象Kernelは2.6.32(Red Ha
iptables で特定IPからのアクセスを拒否 - Hidde’s Tips
iptables は、firewall の役目を果たします。設定を間違えると、自分すらログインできなくなってしまう可能性がありますので、作業は十分注意してください。 まずは、現在の設定状況を一覧で確認 [root@localhost ~]# iptables -L Chain INPUT (policy ACCEPT) target prot opt source destination Chain FORWARD (policy ACCEPT) target prot opt source destination Chain OUTPUT (policy ACCEPT) target prot opt source destination 拒否したいIPを設定 [root@localhost ~]# iptables -I INPUT -s 123.123.123.123 -j DROP
さくらのVPSでWordPressを動かすメモ2：FTPやディレクトリの権限について - Shinichi Nishikawa's
このエラーは、サーバ内にあるWordPressが置いてあるディレクトリやファイルで、WordPressが設置されているサーバがファイルを作ったり、書き換えたりする権限が無いことを示しているようです。 行った対策は以下です。 対策 まず、FTPの入力情報を求められるのは、ファイルシステムに関連するもののようです。FTPでアップしたり書き換えたりするのか、SSHなのかdirectなのかなど。ここをdirectに指定することで、FTP的なやり方ではなくなります。 やりかたは、wp-config.phpを開いて場所はどこでもいいので、 define(‘FS_METHOD’,'direct’); と書き込みます。 これで、FTP情報の入力は求められなくなります。 上記1枚目の画像はこれででなくなります。 しかし、このままではサーバが書き込みをする権限がないので、2枚目移行のエラーが出てしまうので、g
「全自動パラメータチューニングさん」は何であって何でないのか - 昼メシ物語
発表資料: 全自動パラメータチューニングさん // Speaker Deck ソースコード: https://github.com/mirakui/tuningsan これは何なのか ハッカソンイベント「Open Hack Day Japan」にて、24時間の制限の中で開発し、90秒でプレゼンテーションした作品です 2013/2/16〜2/18 にかけてヤフー株式会社で開催された、「Open Hack Day Japan」という大規模ハッカッソンイベントで開発しました。 上記のプレゼンテーションは発表で使用したものです。 Open Hack Day Japan - Yahoo! JAPAN 本作品は、全参加作品の中で唯一のコマンドラインツールであり非常に地味でしたが、ありがたいことに KLab賞をいただくことができました。どうもありがとうございます。 指定した1パラメータの自動調整によって
MMORPGで考えるレベルデザイン
Aiming Inc. 社内で行われたレベルデザインに関する勉強会のスライドです。使用許可の無い画像は削除してあります。ご了承ください。
キャンペーン用URLパラメータは#を使えばキレイにできる
流入元を特定するためにURLにパラメータを付与するのはデメリットが多いので、ハッシュを使ってキレイに消し去る方がベターです。その方法を紹介します。 リファラの代わりにURLパラメータを使うようになった背景サイトにどこから訪問したかを特定するため、アクセス解析のツールはブラウザが送信するリンク元のURL（リファラー）を使いますが、リファラーは完全ではなく、URLがセットされないことがあります。 リファラーが使えない場合のために普及したのが、リンク先URLのクエリ文字列（RFC 3986の定義では、URI中の「?」以降の文字列、ただし「#」以降を含まない）にパラメータを追加する方法です。 Adobe Analyticsの場合http://www.cms-ia.info/?scid=tw20110718Google Analyticsの場合http://www.cms-ia.info/?utm_
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gitを使い始めたらやっておきたい便利な設定いろいろ
