タスクスケジューラ
Laravel5 から cronの代わりにコマンド実行の計画をソースコードで指定できるようになりました。 スケジューリング app/Console/Commands/Kernel.php にコマンド実行計画を記述します。 <?php namespace App\Console; use Illuminate\Console\Scheduling\Schedule; use Illuminate\Foundation\Console\Kernel as ConsoleKernel; class Kernel extends ConsoleKernel { // ... protected function schedule(Schedule $schedule) { $schedule ->command('auth:clear-reminders') // artisan command
［仕組み編1］バッチ処理が抱える課題 リアルタイム基盤で一挙解決
前回は「Amazon Web Services（AWS）」などのパブリッククラウドを活用することで、比較的容易にビッグデータ基盤を構築できる点について解説した。今回と続く第4回は［仕組み編］と位置付け、ビッグデータ基盤にリアルタイム性が備わるとさらに価値が高まることを解説する。さらに、リアルタイム性を備えるビッグデータ基盤の構築に役立つAWSのサービス「Amazon Kinesis」について紹介しよう。 ビッグデータ基盤にリアルタイム性が備わる。これがどんなことか分かりにくいかもしれない。そこでまず、現状の大半のビッグデータ基盤、すなわちリアルタイム性を備えないビッグデータ基盤の課題を解説する。 ビッグデータ基盤を構築し、活用するユーザー企業の多くは、全国各地の拠点に散在する各種サーバーやセンサーなどのログデータを、バッチ処理で集約し、分析しやすいように抽出・加工する。バッチ処理の実施頻度
cronジョブの多重起動を MySQLの汎用ロック機能で回避する - ブログ - ワルブリックス株式会社
MySQLのロック機能を使って楽に cronジョブの多重実行回避をしようという話 たかがロック、されどロック システムで非同期にキューの処理などを行う場合、cronを使って短い間隔でバッチジョブを起動してキューを処理するという方法がよく取られるが、キューの混み具合によってはバッチジョブにかかる時間が長くなってしまうため、前に実行されたジョブがまだ走っているかどうかチェックして、もし走っている場合は処理を実行せずにそのまま終了するといった制御が必要になる。 たまにこの制御をしていないバッチジョブが溜まりに溜まってシステムをハングさせているのを見かける。 適当な空のファイルを作成してこれを flockするとか、システムコールレベルでアトミックに作成できることになっているオブジェクト（シンボリックリンクなど）を駆使してロックの代わりにするとかといったテクニックが典型的に利用されるが、これらを真面
[公開版]社内バッチ処理ガイドライン - Qiita
このガイドラインについて こちらのガイドラインは社内のバッチ処理スクリプト開発にあたっての、安定運用等に関わるガイドラインを公開用に書きなおしたものになります。 バッチサーバ規則 基礎項目 以下の要項を満たすことを確認する その他の用途で動作しているサーバ上での動作は行っていないこと 運用期間中に想定しうるデータ量にてOOMキラーに殺されないこと 想定の時間で終了すること データの読み込みは極力Read Replicaを見ていること データの書き込みによる本番サーバへの影響が見積もれていること 冪等性が担保されており、何度実行しても処理上の不具合は発生しないこと 多重実行時に不整合が発生しないこと エラー時の社内への通知が用意されていること エラー時の通知には再処理のための手順が揃っていること、もしくはそのドキュメントの場所が示されていること 個人ユーザー下にログや成果物を絶対に書き込んで
![[公開版]社内バッチ処理ガイドライン - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9d4ab6774ca44153c822fc2e97e27f4891af08c5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU1JTg1JUFDJUU5JTk2JThCJUU3JTg5JTg4JTVEJUU3JUE0JUJFJUU1JTg2JTg1JUUzJTgzJTkwJUUzJTgzJTgzJUUzJTgzJTgxJUU1JTg3JUE2JUU3JTkwJTg2JUUzJTgyJUFDJUUzJTgyJUE0JUUzJTgzJTg5JUUzJTgzJUE5JUUzJTgyJUE0JUUzJTgzJUIzJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkNtaWRkbGUmcz05OWIxNDcwMDNlNTVmZjU5MjI4YmU0Y2IxOGM1YmIyNg%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweV9tYXRzdXdpdHRlciZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YTE4MGQ3Yjg3NTQyMTE5M2RkMmNlMWZhZTIyNzdmMjc%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df972b16a98c6230f6ba5f90a9702aef8)
WindowsのタスクスケジューラーでPowerShellのスクリプトを実行する際には「パス」に注意
Windowsでちょっと複雑な処理を自動的に実行するには、バッチファイルの代わりにPowerShellが利用できる。一連の処理をPowerShellの書式で記述して.ps1ファイル（PowerShellスクリプトファイル）に保存しておけば、いつでも簡単に同じ処理を実行できるようになる。PowerShellの基本的な使い方については、右上の関連記事を参照していただきたい。 このPowerShellスクリプトファイルをWindowsのタスクスケジューラーと組み合わせれば、バッチでは難しかった複雑な定型業務を定期的に繰り返し実行する、といった自動化を実現しやすくなる。しかも、どちらの機能も無償で利用できる。活用しない手はないだろう（基本的なタスク作成の手順については、右上の関連記事を参照していただきたい）。 ただ、タスクスケジューラーのタスクとしてPowerShellスクリプトファイルを実行する
Batsh·Bashスクリプト、Windowsバッチファイルを生成するプログラミング言語 MOONGIFT
最近、altJSに代表されるような言語を抽象化したプログラミング言語が人気です。素のままに使うのではなく、抽象化することでより優れた書き方に変換できたり、多数のフォーマットへの変換を容易にします。 Batshもその一つです。Batshという代替言語から、BashスクリプトとWindowsのバッチファイルを生成することができます。 Batshの使い方 左側がBatsh、右側がBashスクリプトへの変換結果です。 同じスクリプトからWindowsのバッチファイルを生成。 関数も使えます。 Windowsだとcallなんですね。 Batshを覚えてしまえばBashスクリプトもWindowsのバッチファイルも同じ書き方で対応できるようになります。あまり使う機会のない言語の場合、覚えておくのも大変です。Batshを習得しておけばLinux/Windows環境の両方で便利に使えるでしょう。 Batsh
大量データをスムーズに処理 失敗しないバッチ処理のアーキテクチャ設計、5つのポイント
バッチ処理とは 前回はWebアプリのアーキテクチャ設計の基礎を解説しました。今回はバッチ処理を円滑に行うためのアーキテクチャ設計のポイントを紹介します。 バッチ処理とは、蓄積された複数件のデータを、まとめて一括処理する処理形態のことを指します。このような処理形態においては、大量データの処理を一定時間以内に完了させるためのアーキテクチャを、さまざまな角度から検討していく必要があります。 また、画面オンライン処理とは異なり、ユーザーとの対話なく処理が進められます。よって、バッチ処理の途中でエラーが発生した場合の対応を考慮して、アーキテクチャを設計しなければなりません。バッチ処理の基本についてより深く知りたい方は、下記参考記事をご参照ください。 参考リンク:鉄板焼のお店から学ぶ、バッチ処理"超"入門（＠IT） バッチ処理におけるアーキテクチャ設計時の検討ポイント バッチ処理のアーキテクチャを考え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windowsでshebangもどき、またはバッチにスクリプトを埋め込む方法 - Qiita
AWS 東急ハンズの事例 AWSサミット2013
