並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 81件

新着順 人気順

cronの検索結果1 - 40 件 / 81件

cronに関するエントリは81件あります。 awslinuxECS などが関連タグです。 人気エントリには 『crontab database ~君がしでかしてくれたもの~ - Qiita』などがあります。
  • crontab database ~君がしでかしてくれたもの~ - Qiita

    この記事は本番環境でやらかしちゃった人のアドベントカレンダー2日目の記事です。 内容的にそろそろ時効だと思うので供養のために書きました。 追記。そういえば時期をちゃんと書いてなかったけど事件が起きたのは去年2018年、つまり仕込み(ヲイ)は2017年の話です ぶっちゃけネタ記事ですw (たまたま見つけて参加してみただけなのに昨日の記事の伸びっぷりを見て戦々恐々としてる TL;DR DB移行作業において、テスト期間中は常に最新のデータで処理できるように書いておいたプログラムをcrontabで実行していた。最終的に本番に合わせて日時を調整していたが、そのことを失念し1年後に再実行されてしまい、本番データが1年前に巻き戻る事故発生。 crontab は分、時、日、月、曜日を指定できるが、1年後に帰ってくるから気をつけてね。という話。 惨劇はなぜおこってしまったのか 結論から言えばcrontabの

      crontab database ~君がしでかしてくれたもの~ - Qiita
    • 無料の SSL 証明書が得られる ZeroSSL を使ってみた

      はじめに 皆さんは ZeroSSL を知っていますか?個人でウェブサイトを運営している皆さんであれば、多くの方は Let's Encrypt を利用されていると思います。 https://letsencrypt.org/ja/ もちろん僕も使っています。僕の様なエンジニアの方であれば SSL の仕組みもおおよそ理解もしているし、コマンドラインの実行方法も知っておられるのでウェブサイトの SSL 証明書を取得する事もそれほど難しい事ではないでしょう。 しかしそれほど詳しくない方が certbot の様なコマンドを使って SSL 証明書を発行するのは割と難しい事です。そこでご紹介したいのが ZeroSSL です。 https://zerossl.com/ ZeroSSL とは ZeroSSL もまだあまり名前が知られていないせいか、Google 検索で「ZeroSSL」を検索すると「ZeroS

        無料の SSL 証明書が得られる ZeroSSL を使ってみた
      • 2023年macOS使いのおまえらが絶対使うべきアプリ7選 - Qiita

        ほんとうはLinuxを使いたいけど、色々な理由でmacOSを使わなければならない僕が少しでもmacOSが好きになるように使っているツールたちの紹介です。タイトルがちょっと過激なのはゆるしてください こんにちは、株式会社クラフトマンソフトウェアでAppThrustという「開発の面白さを100%にする」プロダクトを開発しているreoringです。 Arc Browser 言わずと知れたmacOS専用のブラウザ。UI/UXが気持ちよすぎる。最高。 Raycast macOS標準のSpotlightを置き換えるツール。Extensionが多数あって自分好みの設定ができる。最高。 ObsidianのDaily noteを一発で作ったりできる。 Raycast AIでさくっとGPTと話せたりする。

          2023年macOS使いのおまえらが絶対使うべきアプリ7選 - Qiita
        • コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ

          はじめに SREチームの @minamijoyo です。 先日 CrowdWorks (crowdworks.jp) の本番環境のRailsアプリケーションを Docker (AWS ECS: Elastic Container Service) に移行しました。 CrowdWorksは2012年にサービスを開始し、2019年10月現在、ユーザ数は300万人、月間で数億円規模のお仕事がやりとりされる、国内最大級のクラウドソーシングプラットフォームにまで成長しました。 サービスの規模拡大に合わせて、ソースコードも数十万行規模に成長し、 決して小さくはない規模のRailsアプリケーションに成長しました。 CrowdWorksの開発環境にDockerが導入されたのはもうかれこれ3年半前の2016年の4月頃、2017年1月頃にはCrowdWorks本体から切り出された一部の機能で本番環境に投入され

            コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ
          • オンラインドキュメントと日本語全文検索

            自社では Sphinx というドキュメントツールを利用しているのですが、残念ながらこれに付属している検索機能の日本語検索はかなり厳しいです。また残念ながら Sphinx 開発側も検索周りを改善するという予定は直近ではないようです。 そして検索というのはとても難しい技術なため自分のような素人では導入して「普通に期待する動作」をさせるまでの距離はとても遠いです。 ただ、なんとかして日本語全文検索を実現したいという思いはここ10 年くらいずっと思っていました。これは自社の Sphinx テーマを作ってくれている社員ともよく話をしていたのですが、どうしてもリソースをつぎ込めずにいました。 まとめ日本語検索に対応している Meilisearch を採用したドキュメントスクレイパーの実行は GItHub Actions (Self-hosted Runner) を採用した自社 Sphinx テーマの検

              オンラインドキュメントと日本語全文検索
            • レガシーとの向き合い方 〜cron から Rundeck へ〜 - DMM inside

              |DMM inside

                レガシーとの向き合い方 〜cron から Rundeck へ〜 - DMM inside
              • chmod -R 777 /usr を実行したCentOS7で、一般ユーザがroot権限を得られることを確認する - Qiita

                chmod -R 777 /usr を実行したCentOS7で、一般ユーザがroot権限を得られることを確認するLinuxSecurityrootpermission Teratailで、suコマンドでrootログインできないという質問があり、てっきり/etc/pam.d/suまわりの設定かと思いきや、そうではなく、自己解決で説明された原因に一同驚愕ということがありました。 /usr/share/nginx/html に権限を追加したくて、横着して chmod 777 -R /usr とコマンド実行した記憶があります。 CentOS7、suコマンドでrootにログインできない、パスワードは絶対あっているのになぜ? /usr 以下のパーミッションをすべて777に設定したら、逆に動くべきものが動かなくなる例なのですが、これをやるとセキュリティ上問題であることは言うまでもありません。究極的には、

                  chmod -R 777 /usr を実行したCentOS7で、一般ユーザがroot権限を得られることを確認する - Qiita
                • cron哀歌~typoを笑うものはtypoに泣く~他 - Qiita

                  この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019」の12日目です。 https://qiita.com/advent-calendar/2019/yarakashi-production (想像以上に人気のカレンダーに参加してしまい、正直なところ、戦々恐々としております……) はじめに ほとんどの方ははじめまして、 @NACK と申します。 エンジニアになって何十年も経ちますが、未だに、ここに書いた「やらかし」は夢に見ます。 皆さんにご笑覧いただいて、私も一緒に笑えるようになればいいなあ……と思い、今回の企画に参加させていただきました。 というわけで、ぜひ笑いとばしていってください。もしくは、今後のみなさんの業務に、ほんの少しでもお役に立てれば幸いです。 用語説明 typoとは 入力ミスのこと。"typographical error"の略。 http:/

                    cron哀歌~typoを笑うものはtypoに泣く~他 - Qiita
                  • AWS でバッチ処理・定期実行する4つの方法

                    4つのバッチ処理・定期実行方式の詳細情報それぞれのバッチ処理・定期実行方式について詳細を見ていきます。 EC2について使用するAWSサービスEC2 処理概要Linux系OSで用いられる定時実行機能であるcronのコマンドを使用する メリット昔からよく使われているcronの知識が使える デメリットEC2インスタンスを起動しておく必要があり、使っていない時間もコストがかかる 障害に弱い。EC2サーバに障害があると終わる サーバが複数になると管理が大変 SQS×ECS使用するAWSサービスEventBridge SQS ECS 処理概要EventBridgeでキューを生成。ECSコンテナでキューを取得して実行する メリットECSを起動しておくため、コンテナの起動時間を要さない。 デメリットEventBridgeでキューを生成するが、EventBridgeはまれに1 つのイベントに対して複数回トリ

                      AWS でバッチ処理・定期実行する4つの方法
                    • バッチシステムをクラウドネイティブにするために考えたこと

                      Cloud Native Days Tokyo 2022 Session: https://event.cloudnativedays.jp/cndt2022/talks/1518

                        バッチシステムをクラウドネイティブにするために考えたこと
                      • Ansibleによる運用自動化について

                        [構成] コントロールノード ターゲットノード [PC(Ubuntu)]------[RTX1210] 192.168.100.100 192.168.100.1 Ansibleのインストール Ansibleのインストール手順はOSや環境によって異なります。 公式ドキュメントなどを参考に、 AnsibleをインストールするPC(以下、コントロールノード)の環境に合わせて適切な方法でインストールしてください。 Ansibleネットワークモジュールでは、デフォルトでPython SSHクライアントライブラリの「paramiko」が必要になるため併せてインストールしてください。 インストール時は、コントロールノードがインターネットに接続できる状態であることを確認してください。 Collectionのインストール ヤマハのAnsibleモジュールはAnsible Galaxyでコレクションとして配

                        • crontabを捨てsystemdに定期実行を任せよう。 - Qiita

                          Linux環境で定期的に実行させたい処理はcronで処理するのが一般的かと思います。 30分毎に exec.sh を実行する。

                            crontabを捨てsystemdに定期実行を任せよう。 - Qiita
                          • GitHub Actions ことはじめ - tech.guitarrapc.cóm

                            GitHub Actions 以前調べたのですが、いろいろあって個人プロジェクトでサクッとビルドするのみに使っていました。 今回改めて調べを進めたのでメモ。 幾つかのリポジトリを GitHub Actions に移行したけど、記事にしようとまとめてたらやった内容以上に調べることになってめちゃめちゃ時間かかった。 目次 目次 TL;DR トレンド GitHub Actions の基本 使用条件 使用制限 料金 ホストランナーの指定 ハードウェアリソース インストールされるツール IP OSの選択 実行権限 ファイルパス 環境変数 シークレット GITHUB_TOKEN コンテキスト Artifact トリガーイベント Cache Actions 通知 YAML Getting started YAMLシンタックス on env jobs.<job_id>.needs jobs.<job_id

                              GitHub Actions ことはじめ - tech.guitarrapc.cóm
                            • EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers

                              概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的

                                EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers
                              • manがあるコマンドは偉いし、manを付けるべき - Lambdaカクテル

                                社内で、crontabのtabは実はtableだからクーロンタブじゃなくてクーロンテーブルなんだよね、という話が盛り上がった。 ファクトチェックとして、crontab(5)が紹介されていた(cron tableという言葉が出現している)。 manで事実確認がすぐできてすごいと思う一方、それを可能たらしめているmanもありがたいと思った。 man(1) とかの数字って何? 意外なものにmanがある 最近のコマンドにman pageが無い件 manまわりのコマンドの紹介 man(1) とかの数字って何? ちなみに、manのマニュアルやコマンド自体をアドレスするときに使うman(1)といった記法のカッコ内の数字は、manのセクション番号である。 コマンドと設定ファイルが同名であることがしばしばあるため、カッコ内にセクション番号を書くことで識別できるようにしている(例えば、crontab(1)はそ

                                  manがあるコマンドは偉いし、manを付けるべき - Lambdaカクテル
                                • Cloud Application Hosting for Developers | Render

                                  Build, deploy, and scale your apps with unparalleled ease – from your first user to your billionth.

                                    Cloud Application Hosting for Developers | Render
                                  • https://twitter.com/yutkat/status/1538449766006153216

                                      https://twitter.com/yutkat/status/1538449766006153216
                                    • バッチ処理のスケジューリングパターン

                                      この記事はこの記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 12日目の記事です。 はじめにGoogle Cloud Platform (GCP) でバッチ処理を起動するための以下のパターンについてご紹介したいと思います。以下、8パターンあげてみました。とはいえ、最後の3つは GCP のバッチスケジューリングという観点からは少し外れますが、バッチの起動時に使われるということでご容赦を。 Cloud Scheduler : フルマネージドな cron ジョブスケジューラです。フルマネージドという点が非常に大きなメリットであり、多くの処理を自動化し実行することが可能です。Google App Engine cron サービス : HTTP GET を利用して、特定の URLを呼び出します。Google AppEng

                                        バッチ処理のスケジューリングパターン
                                      • CircleCI や GitHub Actions の cron を祝日だけ停止させたい

                                        先日の ua-parse-js のハイジャックの件 を受けて、業務の中で毎日動かしている On-premise Renovate の cron を土日祝に停止させたいという話が上がった。 業務の合間に書く時間がちょっと捻出できそうになかったこと、加えて汎用的なコードということもあり、プライベートでも使えそうだったので一般化した範囲でコードを書いてしまって、業務で社内用に調整する形で決着させたので、せっかくなので共有しておく。 社内が基本的に CircleCI なので特化したものと、一般的に使えるものでバリエーションごとに2つのパターンを用意した。 祝日に停止させるアプローチ ひとまず今回は内製の Bot の運用のため、以下のような特徴があった。 土日の設定自体は cron で曜日指定ができるため祝日にフォーカスして良い 厳密性を重視しない ミッションクリティカルな領域の話ではない 以上を考

                                          CircleCI や GitHub Actions の cron を祝日だけ停止させたい
                                        • dron: クラウドネイティブなcron代替の紹介 - Classi開発者ブログ

                                          みなさん、こんにちはこんばんは。Classiの基盤バックエンドチームでプロダクトや機能を越えてサーバサイドを中心に困り事を手広く解決する仕事をしているid:aerealです。 今回の記事ではClassiのパフォーマンス改善のため取り組んでいるdronと呼ばれるクラウドネイティブなcron代替 (Cloud Native Cron Alternative) の開発について、運用を見据えてどのような考慮を重ねたのかを紹介します。 背景と課題 現行のワークロード 課題 DBにやさしくない スケールアウトの困難なアーキテクチャ 方針 設計 コンポーネント概説 Facade Job Executor Job Scheduler Endpoint Data Job Data Job Reservation Worker Kicker Worker Endpoint 運用時の考慮事項 追跡・トレーシング

                                            dron: クラウドネイティブなcron代替の紹介 - Classi開発者ブログ
                                          • Kubernetes CronJobと仲良くなりたい | メルカリエンジニアリング

                                            この記事は、Merpay Tech Openness Month 2020 の17日目の記事です。 こんにちは。メルペイのSREの駒崎(@komattaka)です。 暑かったり台風だったりと大変な日々が続いていますが、ご自愛ください。 目次 対象読者 得られるもの 説明しないこと はじめに CronJobの仕組 そもそもCronJobとは何か パラメータの解説 CronJobが作成される流れ メルペイでは何に困っていた? suspend: trueにしていたCronJobがfalseにした後もJobを生成しない (GKE特有) NodeがCluster Autoscalerによって停止されると、そのNodeで稼働していたJob(Pod)のEvictをCronJobが正常終了したと誤解しconcurrencyPolicy: Forbid(Replace)なのに並列稼働した ユースケース別に設

                                              Kubernetes CronJobと仲良くなりたい | メルカリエンジニアリング
                                            • Cron→Rundeckに乗り換えた話 - MonotaRO Tech Blog

                                              こんにちは。MonotaROで商品管理や受発注システムの開発を担当している中尾です。 この度、これまでcronで実行していたジョブに対してRundeckを導入し、ジョブのスケジュール管理を効率化することができましたので、導入にあたって苦労した点とその解消方法を中心に紹介いたします。 Rundeck導入の背景 Cronの限界を感じた 過去にも導入しようとしたが・・・ Rundeck導入において苦労した点 Rundeckが落ちた場合の対応の検討 GitでのRundeckジョブのバージョン管理 導入してよかったこと 複数のサーバーに跨ってジョブフローが組めること Cron式が使えること 重複起動制御ができること まとめ Rundeck導入の背景 Cronの限界を感じた MonotaROでは「注文を倉庫に連携する」、「商品の発注を自動で行う」といった様々なバッチ処理が、細かいものも含めると1日数千

                                                Cron→Rundeckに乗り換えた話 - MonotaRO Tech Blog
                                              • lambroll と bash layer で気軽に Lambda shell script を実行する - 酒日記 はてな支店

                                                先日えいやと書いた AWS Lambda のデプロイツール lambroll ですが、これと公開済みの bash layer を使うとかなり気軽に(雑な) shell script を Lambda で実行できて体験がよかったので書いておきます。 AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店 ちょっとしたものをLambdaで書くの億劫さのほうが強かったけど、bash layerとlambrollを使ったら雑shell scriptをホストで書いてるのに近い感じになり、顧客が本当にほしかったもの感があるなこれ— fujiwara (@fujiwara) 2019年11月13日 今回はとある理由で ECS のサービス内のタスクを定期的に入れ換えたかったので、aws ecs update-service を一発実行する、という要件。やりたい

                                                  lambroll と bash layer で気軽に Lambda shell script を実行する - 酒日記 はてな支店
                                                • イマドキの cron は GitHub Actions / CircleCI でやりたい

                                                  2020/09/13 追記 「GitHub Actions の規約違反では?」というコメントがありましたが、追記時点の規約では特別禁止されていません。 https://docs.github.com/ja/github/site-policy/github-additional-product-terms#a-actions-usage 唯一グレーラインに相当する可能性のある『サーバーレスコンピューティング』も日本語訳に残っているだけものであり、英語の原文からは既に削除されている項目のため、問題ない利用方法となります。 昔は cron といえば Heroku と Heroku Scheduler だったけれど、Heroku Scheduler が遅延するようになってから、自分用の定刻バッチを楽に動かせる手段がなくてしばらく困っていたり。 しっかりとしたプロジェクトを作成する場合なんかは F

                                                    イマドキの cron は GitHub Actions / CircleCI でやりたい
                                                  • 新たな開発プラットフォーム "Dark/Darklang" を実際に触ってみて - Qiita

                                                    はじめに 先日、私が以前に申請していたDarkのプライベートベータ版に漸く招待されたので、実際に触ってみた感想を述べよう思います。 1. Darkとは? Darkとは、Ellen Chisa、そしてCircleCIの創業者であるPaul Biggarによって設立された会社で開発されている「偶発的な複雑さ」を無くし、バックエンドWebサービスを構築するための総合的なプログラミング言語であり、エディタであり、インフラストラクチャです。呼称するならば、総合的なソフトウェア開発プラットフォームみたいな感じです。Web上にエディタが展開され、そこで全ての開発を行える為、開発ツールやパブリッククラウドと言った多くのテクノロジーを直接触る必要はありません。 また、最大の特徴としてはデプロイレスです。デプロイレスとは、入力したものが即座にデプロイされ、本番環境ですぐに使用できます。Darkはインタープリタ

                                                      新たな開発プラットフォーム "Dark/Darklang" を実際に触ってみて - Qiita
                                                    • Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ

                                                      はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る 現行システムで発生している問題点の解消 構成 FargateのトリガーとしてRundeckを採用 理由1: バッチ実行が行われる場所でログを見たかった 理由2: ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携について デプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について 移行後の総括 よかった点 悪かった

                                                        Amazon LinuxのEOLに伴いバッチをサーバレス化しFargateに移行した話 - クラウドワークス エンジニアブログ
                                                      • AWS cronなタスクスケジュールをまとめてビジュアライズできるツールを作った - たまめも(tech)

                                                        www.npmjs.com AWSのcron式でcronvできるやつ作った。便利っぽい🥳 pic.twitter.com/Sqid4kAxS5— あらたま (@ar_tama) 2022年6月18日 経緯とか もともとcronvというツールがあって(めちゃくちゃ便利)、これはcrontabをビジュアライズしてくれる君なんですが、バッチサーバをEC2からECS Task Schedulerにお引越しさせるにあたって当然使えなくなり、何時に何が動くんだっけが一覧できてほしいよな〜EventBridgeのコンソールじゃようわからんしな〜ということで作ってみました。 ついでにベース時刻に+9:00なものを食わせることでJSTにも対応しています。心の目で+9時間しなくてよくなりますね。 しくみ aws events list-rules で出てくるjsonをパース cron式をaws-cron-p

                                                          AWS cronなタスクスケジュールをまとめてビジュアライズできるツールを作った - たまめも(tech)
                                                        • SSMって20種類あんねん 〜Run Commandで定期バッチを起動する〜 - NRIネットコムBlog

                                                          どうも。小林です。 みなさん、自動化してますか? 私の課では特定の顧客のシステムを多数運用しています。 かなり多くのシステムがあり、顧客側の担当者も異なるため、弊社側でも複数のチームを組んで手分けしてシステムを担当しています。 チームも顧客担当者も異なるとなれば、当然運用のやり方はシステムごとに変わってきます。その一方で統一できる部分は統一しておかないと全体の統制は効きづらくなってしまいます。 そこで「標準化チーム」を発足し、チーム間で共用するシステムのアカウント管理やその申請ルール、顧客報告やメンバーの勤怠管理といったものの標準化を進めています。 標準化の恩恵のひとつとして、「作業が単純化できて自動化しやすくなる」という点が挙げられます。 例えばアカウント発行の申請フォーマットを統一すると、「フォーマットにしたがって記載されたテキストをバッチに読み込ませてアカウントを自動的に発行する」と

                                                            SSMって20種類あんねん 〜Run Commandで定期バッチを起動する〜 - NRIネットコムBlog
                                                          • サーバ再起動しても cron で Web アプリを雑に立ち上げ

                                                            超楽にRubyで雑に書いたスクリプトをsystemdで管理したい! - 宇宙行きたい で systemd がユーザ権限で使えることを知る。 開発環境用では nohup と cron の @reboot を使っていました。こちらもお手軽なので紹介。 @reboot とは crontab(5) に @reboot があれば使えます。その名の通りリブート時に一回だけ実行。Ubuntu なら利用可能。 $ man 5 crontab (省略) Instead of the first five fields, one of eight special strings may appear: string meaning ------ ------- @reboot Run once, at startup. @yearly Run once a year, "0 0 1 1 *". @annual

                                                              サーバ再起動しても cron で Web アプリを雑に立ち上げ
                                                            • KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog

                                                              1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん(@cass7ius)と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お

                                                                KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
                                                              • 定期実行処理を crono_trigger に移行したお話 - Kaizen Platform 開発者ブログ

                                                                こんにちは、エンジニアの ryopeko です。 今回は Data Platform と呼ばれているデータ集計基盤の Rails プロジェクトで定期実行用に使われていた gem、 sidekiq-scheduler を crono_trigger に移行したお話です。 なお Data Platform の記事については以前ブログで紹介したこちらの記事も合わせてご覧ください。 KaizenPlatform では非同期処理には長らく Sidekiq が使われており、Data Platform でも非同期処理が必要な部分で使われております。 Data Platform では集計処理を cron 形式で指定した日時に定期実行するという機能があり、そこでは sidekiq-scheduler が使われていました。 この sidekiq-scheduler は Redis に各種メタデータを入れておき

                                                                  定期実行処理を crono_trigger に移行したお話 - Kaizen Platform 開発者ブログ
                                                                • cron で exponential backoff するツール作った

                                                                  この様に指定すると3分毎に実行されます。 とても便利ではあるのですがコマンドの実行が失敗すると、冗長なコマンド実行となり得ます。cron ではコマンドの実行が失敗し続けるとメールが運営者に繰り返し送信され続けます。 crontab にコマンドが1分毎に実行される様に投入してひとまず正常起動を確認、仕事を終えて家に返ってビールでも飲んで、さぁ寝ようかなと思った頃にコマンドが失敗し始めると、朝までメールが飛び続けます。 またウェブサービスの API を呼び出す cron ジョブを投入していたらそのウェブサービスがメンテナンスに入った、なんて事もあると思います。メンテナンス中にも関わらず無限に失敗し続ける API 呼び出しはもしかしたら BAN の対象になってしまうかもしれません。 全ては cron に exponential backoff する機能がないのが問題です。 systemd tim

                                                                    cron で exponential backoff するツール作った
                                                                  • cronの実行ログを見るにはjournalctlコマンドを使う - モヒカンメモ

                                                                    概要 定期的にコマンドを実行するためのcronという仕組みがある。 いつ、どういうコマンドがcronによって実行されたかを確認したくて、実行ログの確認方法を調べた。 調べて分かったことのまとめ Ubuntu 18 (というか今どきのLinuxたぶん全般) では、crondはsystemdによって管理されている systemdで動かされるプロセスのログは、ファイルではなくjournaldが保持している journalctl -u cron というコマンドで、cronによるコマンド実行ログが確認出来る 吐かれる実行ログの例 実行ログを作るために、crontabに下記のジョブを登録。 * * * * * echo 1 時を待つと、下記のようなログが出た。 $ sudo journalctl -f -u cron -- Logs begin at Thu 2019-05-30 11:01:44 J

                                                                      cronの実行ログを見るにはjournalctlコマンドを使う - モヒカンメモ
                                                                    • Crontab を別のユーザのもので上書きしてしまった話 - Qiita

                                                                      このやらかしは、私の人生観を変えるきっかけとなった出来事でもあります。最後までお読みいただけたら幸いです。 環境 CentOS やらかしたこと root ユーザの Crontab を他の一般ユーザのもので上書きしました。 背景 某平日の夜 9 時半ごろ、(当時)新卒 2 年目で開発チームの私と新卒 4 年目でインフラチームの先輩は障害対応にあたっており、 Crontab の一部をコメントアウトする操作 を行おうとしていました。 私「もう眠いですよ~先輩、早くクーロン見ましょ 」 先輩「うん、見よ見よ これをこうして... 」 私「Crontab の確認って、 Crontab を確認したいユーザにログインして crontab -l じゃないんですか? 」 先輩「ああ、それもあるけどわたしはいつも root で /var/spool/cron/${ユーザ名} 見てる よー 」 私「へぇ~、初め

                                                                        Crontab を別のユーザのもので上書きしてしまった話 - Qiita
                                                                      • DynamoDBで分散ロックを実現するsetddblockと現代版アクセスカウンター - KAYAC engineers' blog

                                                                        こんにちは。今年からアナリティクスエンジニアを名乗ろうとしてる池田です。 こちらは、KAYAC Advent Calendar 2021 1日目の記事です。 この記事では、setddblockという分散ロックを実現するためのツールと、その動作試験のために現代版アクセスカウンターを作成した話をします。 setddblock 皆様がcronなどで定期実行のスクリプトを実行する場合、同時実行されては困るものはどうしていたでしょうか? daemontoolsのsetlock というツールを使って同時実行を防いでいたことがある方も多いと思います。 http://cr.yp.to/daemontools/setlock.html このsetlock はローカルのファイルシステム上にロックファイルを作成し、ロックファイルの作成が成功したら指定されたコマンドを実行するというツールです。 例えば1分ごとに起

                                                                          DynamoDBで分散ロックを実現するsetddblockと現代版アクセスカウンター - KAYAC engineers' blog
                                                                        • 「cron」ジョブに潜むマルウェアが発見される--実行日を存在しない日付に設定

                                                                          印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 珍しい新たな方法でサーバー上に身を隠す新たなリモートアクセス型トロイの木馬(RAT)が、セキュリティ研究者によって発見された。 BleepingComputerが最初に報じたところによると、この新しいマルウェア「CronRAT」は、存在しない2月31日に実行されるよう設定されており、Linuxサーバーのスケジュールされたタスク内に身を隠すという。 このところ、Linuxサーバーを標的とする「Magecart」マルウェアが拡大しているが、Eコマースセキュリティを専門とするSansecが発見し、命名したCronRATもその1つだ。CronRATは、サーバー側でMagecartを使ってデータを窃取するために使用される。 SansecはCron

                                                                            「cron」ジョブに潜むマルウェアが発見される--実行日を存在しない日付に設定
                                                                          • Scheduled tasks(ECS)をecscheduleで管理してみた - NRIネットコムBlog

                                                                            本記事は 基盤デザインウィーク 8日目の記事です。 🌈 7日目 ▶▶ 本記事 ▶▶ 9日目 💻 はじめに ecscheduleとは 「スケジュールされたタスク」 Amazon EventBridgeについて 構成図 コード体系 ecschedule.yaml target.json 構築手順 0. 前提 1. 必要リソース構築(dev) 2. ecschedule dump(dev) 3. 設定ファイルの修正 4. ecschedule apply(prod) 検証中にハマったポイント 1. ecschedule dumpコマンドが成功しない 2. 別リージョンからtfstateの読み込みは出来ない 3. サブコマンドからリソース削除が出来ない まとめ はじめに こんにちは、加藤です。 以前ecspressoについての記事を書きました☕️ tech.nri-net.com 今回はecs

                                                                              Scheduled tasks(ECS)をecscheduleで管理してみた - NRIネットコムBlog
                                                                            • Crontab syntax for us humands -- Cron Helper

                                                                              *Expands to all values for the field,List separator-Range separator/Specifies step for ranges@hourlyRun at the start of each hour@dailyRun every day at midnight UTC@weeklyRun at every Sunday at midnight UTC@monthlyRun on the 1st of each month at midnight UTC@yearlyRun on Jan 1st at midnight UTC@annuallySame as @yearly

                                                                              • Github Actionsをcronとして利用し、notify-issues-to-slackを動かす - $shibayu36->blog;

                                                                                以前、レビュータイムや定期的なissueチェックのためにGithubのissueを検索してSlackに投稿するCLIツールを作ったで紹介したnotify-issues-to-slackだが、これまでは 適当に立てたサーバーのcronで動かす Jenkinsなどで実行する という方法で動かしていた。 しかし、issueをslackに通知するためだけにサーバーを立てたりするのもだるい。そこでGithub Actionsで動かしてみた。 Github Actionsを動かすレポジトリのみを対象とする場合 secrets.GITHUB_TOKENを使えば、そのレポジトリへアクセス可能なので、何も設定せずとも以下のように設定できる。 .github/workflows/notify-issues.yml name: daily bug report on: schedule: - cron: 30

                                                                                  Github Actionsをcronとして利用し、notify-issues-to-slackを動かす - $shibayu36->blog;
                                                                                • Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定(2021年3月版) | 稲葉サーバーデザイン

                                                                                  北海道札幌市在住、サーバー専門のフリーランスエンジニアです。クラウドサービスを利用してWebサイト、ITシステムのサーバー構成設計とサーバー構築を行います。 1. はじめに 2019年1月に「Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定(2019年1月版)」という記事を書きました。 最近、証明書を取得、更新するためのcertbotコマンドの推奨インストール方法が変わりましたので、2021年3月版としてまとめ直します。 なお、以下の設定手順は、サーバーOSはCentOS 7で、2021年3月時点のものです。 Apache, Nginxについては、Let’s Encryptに関わる設定のみ記載し、Let’s Encryptに無関係な基本的な設定は、ここでは記載しません。 コマンドはrootユーザーで実行する想定です。 必要に応じて、sudoに置き換えてください。 (

                                                                                    Let’s EncryptによるSSLサーバー証明書の取得、自動更新設定(2021年3月版) | 稲葉サーバーデザイン

                                                                                  新着記事