TalendをDigdagとEmbulkに移行した - ZOZO TECH BLOG
はじめまして！ ZOZOテクノロジーズ開発部の平田（@TrsNium）と申します。 業務ではデータ基盤の開発・運用を行っています。 よろしくお願いいたします。 今回複数のツールが混在していたデータ基盤を「Digdag・Embulk」に統一したので、その取り組みを紹介します。 概要 弊社のデータ基盤は注文情報や顧客情報などをSQL Serverから取得しBigQueryに転送しています。 以前のデータ基盤では「Talend」と「Embulk・Digdag」でデータの収集と転送をしていました。 Talendは、タスクのスケジューリングとデータ転送を行うツールです。 Digdagはタスクのスケジューリングをするツールで、Embulkはデータを転送を実行するツールです。 「Talend」と「Digdag・Embulk」は別々のチームが管理・運用をしており、運用負荷が高いという問題がありました。 そ
10年モノのインフラを3年がかりでカイゼンした - Qiita
CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと
エンジニアなら知っておきたい障害報告&再発防止策の考え方 - Qiita
システムには障害がつきものです。どんなにしっかりと作られたサービスであっても思わぬところで、バグやミスが発覚して、トラブルになるものです。大事なのはこういった障害を次への糧にしていくこと。失敗というのは大事な資産なので、管理できるようにしましょうという話。 あわせて読みたい あきらめるにはまだ早い！ソースコードの品質向上に効果的なアプローチ メンタリングの方法について基礎をまとめました。内心でなく行動を変えることが障害報告とも共通します。 新入社員が来てメンターになれって言われたけど、どうすればいいのかという対話テクニック 半年で40kg痩せた！ダイエットでわかるリーンなプロジェクトマネジメント手法 心理的安全性ガイドライン（あるいは権威勾配に関する一考察） 障害の種類と障害報告について 障害には、小さなもの、たとえば画面に表示されているテキストの乱れから、すべての画面で50xエラーが発生
MySQLへのDB移行を支える技術 // Speaker Deck
All slide content and descriptions are owned by their creators.
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Amazonは1時間に最大1000回もデプロイする。クラウドネイティブなデプロイとはどういうものか？ AWS re:Invent基調講演（Day2 AM）
Amazonは1時間に最大1000回もデプロイする。クラウドネイティブなデプロイとはどういうものか？ AWS re:Invent基調講演（Day2 AM） クラウドによってリソースの制約から解放され、サーバやネットワークを含む冗長性までプログラミング可能になった新しい世界では、どのような考えによってソフトウェアを構築すべきなのか。 Amazon.com CTOのWerner Vogels氏は、Amazon Web Servicesが先週ラスベガスで開催したイベント「AWS re:Invent」2日目午前中の基調講演で、新しい時代のアーキテクチャとはどういうものなのか、聴衆に向けてたっぷりと解説しました。 （本記事は「AmazonクラウドのCTO「クラウドネイティブなアーキテクチャには4つの戒律がある」。AWS re:Invent基調講演（Day2 AM）」の続きです。 戒律その2「リジリエ
Dropbox のスケールとか
Python なサービス みんな大好き Dropbox のスケールとかメモ。以下のページ辺りからピックアップ。Parted? みたいなので、続編がでたら追記するかも。 Scaling lessons learned at Dropbox, part 1 (comment) Dropbox - Startup Lessons Learned (slideshare) Dropbox -Yコンビネーターが生んだスタートアップの軌跡と未来 - スケール関係ないですが、2006 年当時はオンラインストレージサービスがいっぱいあったようで、VC から資金調達したときのやり取りがおもしろい VC "クラウドストレージサービスなんて腐るほどある" Drew "なにか使ってるのありますか？" VC "NO" Drew "..." 完璧で、スケーラブルで、クロスプラットフォームなクラウドストレージ！当時、プ
Taking the Pain Out of MySQL Schema Changes
A common obstacle we face when releasing new features is making production schema changes in MySQL. Many new features require additional columns or indexes. Running an “ALTER TABLE” in MySQL to add the needed columns and indexes locks the table, hanging the application. We need a better solution. Option 1: Schema Change in Downtime This is the simplest option. Put the application into downtime and
うちの会社のサーバー監視方法がおかしいので改善を試みた
前回の書き込み http://anond.hatelabo.jp/20120407162253どんな監視方法なのかをを簡単にまとめてみるうちの会社のサーバー監視方法１５台くらいのwindowsサーバーに自PCからリモートデスクトップ接続する遠隔操作でイベントログやらHDD容量やらを目視チェックして全て台帳（紙媒体）に書き込む以上を全サーバーに行うと普通に毎朝１時間かかる。負荷がでかいので分散の為、若手を入れて１０人くらいで順番にまわしている今後もサーバーが増える予定あり前回の書き込みの反応は大体以下のような感じだった頭おかしいｗｗｗ受けるｗｗｗｗｗいろいろ予想以上 これらのコメントのおかげで、おかしいのは自分の気のせいではないという事にようやく自信を持てた。とりあえず前回すぐにでもできそうな方法を方法を教えてもらったので改善できるかサーバー管理してるチームの一人に相談してみた。自分「毎朝
ワンクリックデプロイ勉強会 in 横浜
へいむ @yuheimu 「間違いそうな作業、苦しい作業をこそ自動化しよう」に同意 / ワンクリックデプロイ勉強会 #ocdeploy へ行ってきました - 虎塚 (id:torazuka / @torazuka) http://t.co/ulksFc4x 2012-03-06 11:57:54 おまんじゅうモード @RicoImazu "チームやプロダクトにとって良いことであれば、組織のルールはさておき、黙って実行してしまうのもアリ" 最近こういう内容の話、いろんなとこで聞く気がするー！ / “ワンクリックデプロイ勉強会 #ocdeploy へ行ってきました - 虎塚” http://t.co/HZGkkN6q 2012-03-06 10:46:09 Kazunori Otani @katzchang 「「あるビルド時点のスキーマに合わせて、最新のデータを変更する」アプローチは、難しそう
デブサミ2012の資料「大規模化するピグライフを支えるインフラ 〜MongoDBとChefについて〜」を公開します - 元RX-7乗りの適当な日々
今年で10周年を迎えた「Developers Summit 2012」 まずは10周年おめでとうございます。そして"いつも"ありがとうございます。 そんな記念すべき(通称)デブサミで機会をいただいて話をしてきましたので、資料を公開します。私としては、2010年以来の2回目の登壇となりました。 ※ 参考: デブサミ2012で、MongoDBとかChefを実サービスで使っている話をします オープン3週間でユーザ数100万人を突破したピグライフは、これまでのアメーバのサービスの中でも類を見ないスピードで成長しています。そのため、このピグライフを構成するアーキテクチャや開発/運用についても、よりスケーラビリティが確保できるインフラが求められます。本セッションでは、それらを支える取り組みについて、実際の事例をベースにお話しします。 10年後も世界で通じるエンジニアであるために Developers
るびま
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
「運用中心プロセス」という考えかた～モノ作り中心から動くサービスを中心に据えることへのパラダイムシフト | Social Change!
最近のアジャイルのトレンドをキーワードで見ると「Continuous Delivery」や「DevOps」といったものが並びます。どちらも、ソフトウェアの開発だけにフォーカスをあてるのではなく、開発した後の運用にフォーカスをあてようとしています。そう、開発から運用にフォーカスが移ってきているように感じます。確かに、繰り返し作っていくということは、順に出来上がって運用に入っていくということなので納得できます。しかし、それでもまだ開発から運用に橋渡しする感じが否めません。そこで、発想を逆転してみて、運用のために開発があるのだと考えたらどうか、という話です。 「アジャイル開発」は、その名の通り「開発」という行為にフォーカスを当てています。タイムボックスをきって、イテレーションを繰り返しながら、動くソフトウェアを少しずつリリースしていく。ソフトウェアを作って、繰り返すにしてもリリースすることがひと
開発と運用の新しい関係、「DevOps」とは何か？ － Publickey
このところ海外のIT系の記事で「DevOps」という言葉を見る機会が増えてきました。スペルからすると、開発＝Developmentと、運用＝Operationを組み合わせた言葉らしい、という程度の認識でしたが、どうやらアジャイル開発やソフトウェアの品質にかかわる新たなムーブメントとして認識しなければならないかも、と感じはじめています。 そこで「DevOps」とは何か？ について調べてみました。 DevOpsとは開発と運用が協力し、ビジネスリスクを軽減する まずはWikipediaの「DevOps」の項目から冒頭の部分を読んでみましょう（2011年3月8日現在の記述）。 DevOps is a set of processes, methods and systems for communication, collaboration and integration between depar
Capistranoでアプリケーションのデプロイ作業を効率化 - builder by ZDNet Japan
本連載の第1回から第3回までは、主にmoonlinxのインフラ技術を説明してきました。今回からはmoonlinxのウェブアプリケーション技術に着目して解説していきたいと思います。 デプロイツール「Capistrano」の魅力 ウェブメディア「moonlinx」では、moonlinx Membership Centerと呼ばれるクリエイター向けの登録制会員サービスを運営しています。これは、デザイナーや音楽活動を行うアーティストをターゲットとしたサービスであり、クリエイター自身の活動をプロモーションするツールとして活用できるサービスです。 このMembership Centerでは、フレームワークとしてRuby on Railsを利用して開発しています。また、PhusionのPassengerを利用して、Apache2上で動作させています。 Railsの運用環境は、MongrelとMongre
ディレクターやエンジニアが運用エンジニアにインフラの相談をする際に持って来て欲しい5つのこと - blog.nomadscafe.jp
新しいWebサービスを開始する際や、既存サービスに変更を加える際に、サーバを何台確保するか、ストレージやAPIといった共有リソースを使用して良いか、ディレクターやアプリケーションエンジニアの方に訪ねられることがありますが（というかそれが仕事ですね）、その際相談のためにどんな情報を持って来て欲しいか書いてみます。人間同様にサーバやネットワークリソースも有限なので、無駄にならない最適なサーバ台数を割り出したり、増強が必要かどうかを判断して、会社のビジネスを効率よく進めていくことが重要です。 人によっては以下に書いてあることが、非常に緩く感じでしまうこともあるかもしれません。これはWebサービスを早く立ち上げて、柔軟に運用していくことができる環境ならではだと思います。それでも出して欲しいモノはいくつかあります 企画書 どんなサービスであるか説明できる企画書があるといいでしょう。ないわけはないと信
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ご注文は監視自動化ですか？
はてなのサーバ管理ツールの話
10+ Deploys per day at COOKPAD
http://blog.av-jyo.com/2011-07/how-to-develop-porn-website-with-nodejs.html