GitHub - google-deepmind/xmanager: A platform for managing machine learning experimentsYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Dkron - Cloud native job scheduling system | Dkron
Dkron is a system service for workload automation that runs scheduled jobs, just like unix cron service but distributed in several machines in a cluster. This is the only job scheduler in the market with truly no SPOF. It is open source and available for free. Easy integration Dkron is easy to setup and use. Choose your OS package and it's ready to run out-of-the-box. The administration panel and
Scheduling Dataflow pipelines using App Engine Cron Service or Cloud Functions | Google Cloud Blog
Try Google CloudStart building on Google Cloud with $300 in free credits and 20+ always free products. Free Trial Google Cloud Dataflow provides a unified programming model for batch and stream data processing along with a managed service to execute parallel data processing pipelines on Google Cloud Platform. ">Google Cloud Dataflow provides a unified programming model for batch and stream data pr
スケジューラ色々
Chinachuのエンコードジョブのバッチ管理にAzkabanを使っていたのだが、若干不満もあるので他に良いツールがないか調べてみた。 結果、今のところAzkabanが最適だという結論になってしまった。 Azkabanの不満 Project（ジョブのまとまり）の名前が英数字といくつかの記号でしか使えない。使い方がChinachuのエンコード管理なので、 Project名に「タイトル-日付」とかにしたい。 エンコードをずっとやっているとProjectがたまりまくって割りとうっとうしい。検索とかしやすくなると良いのだけど 要件 フロー・ジョブの登録がシェルスクリプトなどからできる（recordedCommandで実行するので） ジョブの依存関係でDAGフローが作成できる フローの即時実行ができる フローの並列度を制御する できれば、登録したジョブ・フローの検索性が良いこと 調査結果 airfl
Nomad vs. Other Software | Nomad | HashiCorp Developer
The following characteristics generally differentiate Nomad from related products: Simplicity: Nomad runs as a single process with zero external dependencies. Operators can easily provision, manage, and scale Nomad. Developers can easily define and run applications.Flexibility: Nomad can run a diverse workload of containerized, legacy, microservice, and batch applications. Nomad can schedule servi
Airflow: a workflow management platform
Airbnb is a fast growing, data informed company. Our data teams and data volume are growing quickly, and accordingly, so does the complexity of the challenges we take on. Our growing workforce of data engineers, data scientists and analysts are using Airflow, a platform we built to allow us to move fast, keep our momentum as we author, monitor and retrofit data pipelines. Today, we are proud to an
『Amebaのログ解析基盤のワークフロースケジューラー』
技術本部でログ解析基盤を担当している善明です。 Amebaのログ解析基盤Patriot向けに開発したワークフロースケジューラーをオープンソースとして公開したので、その紹介をさせて頂きたいと思います。 開発の背景Patriotのようなログ解析基盤では、データの取り込み、変換、集計という一連の処理の流れ（ワークフロー）を管理する必要があります。 これがないと、例えば、必要なデータがそろってないのに集計処理が実行され誤った数字がレポーティングされる、といった事態を引き起こしてしまいます。 PatriotではAmebaの様々なサービスのデータを扱っており、それを処理するためのワークフローは大規模で複雑なものになります。 また、例えば、ブログとピグの両方を使っているユーザ数などの複数のサービスをまたぐ集計も行っているのでサービス毎にワークフローを分割して管理するのは難しく、継続率や累計利用日数など処
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
Rundeck - cronから移行しやすいジョブスケジューラを使ってみよう
こんにちは。斎藤です。 最近、Dockerなどのコンテナ型仮想化技術、Chef, Ansible, Itamae などによるITインフラ構築・運用自動化技術の利用が進んでいます。一方で、何年も動いて「歴史」を積み重ねているシステムも数多くあります。そして、私を含めてそれらの運用に関わる事もあるでしょう。そんな「歴史」のあるシステムも、何とか運用を効率化したいと思う事があるかもしれません。 今日は、バッチジョブや複数サーバに対する運用を効率化するRundeckを取り上げます。「何ができるの？」「はじめかた」そして「利用時の留意点」の3点についてお話しします。 ※OSはCentOS 6系、Rundeck はバージョン 2.4.0、Java VM は Oracle JDK 1.7.0_72 を利用しています。 cron。Linux系OSに標準搭載されているジョブスケジューラです。標準で使えるため
Discover opportunities at Pinterest
Pinterest is an equal opportunity employer and makes employment decisions on the basis of merit. We want to have the best qualified people in every job. All qualified applicants will receive consideration for employment without regard to race, color, religion, sex, sexual orientation, gender identity, national origin, disability, protected veteran status, or any other characteristic under federal,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GSoC2019 Working Hours Plugin - UI Improvements
GitHub - coursera/dataduct: DataPipeline for humans.
Apache Aurora
HugeDomains.com
HugeDomains.com
SequenceIq.com is for sale | HugeDomains
[YARN-326] Add multi-resource scheduling to the fair scheduler - ASF JIRA
SequenceIq.com is for sale | HugeDomains
River - A data flow management infrastructure, by Harel Ben Attia, Reversim Summit 2013
Mike Starr - Dataswarm