バッチのまとめTOPへ Windows上の処理を自動化するプログラムが，BATファイルである。 「コマンドプロンプト」上での手作業を省略し，自動実行できる。 Windowsが存続する限り，BATファイルはなくならないだろう。 バッチ・プログラミングの需要は，何があろうとこの先生きのこる。 このWindows 10の時代でもそうだ。 BATは，MS-DOSの時代から長く使われてきた。 そのため，各コマンドに関する個別のノウハウや情報は多い。 だが，実用的なノウハウを体系的に整理したものは，あまり見かけない。 そこで以下では，BATをコーディングする際の良質なパターンを列挙する。 （０） BATプログラミングの特徴 （１） BATファイルの雛型 （１−１） 冒頭と末尾のテンプレート （１−２） 反復して実行可能に （２） バッチの構造化 （２−１） ルーチンの分割 （２−２） 実行ファイルや実
1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
バッチ処理 プラクティス
バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か？」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。
Microsoft Corporation
Microsoft Learn. Spark possibility. Build skills that open doors. See all you can do with documentation, hands-on training, and certifications to help you get the most from Microsoft products. Learn by doing Gain the skills you can apply to everyday situations through hands-on training personalized to your needs, at your own pace or with our global network of learning partners. Take training Find
池澤あやかのプロフィール - Facebook開発者の為のサポートサイト | fb.developers'+
スマートウォッチはさまざまなブランドから発売されており、とても注目を集めています。しかし、具体的にどのような機能があるのか分からない方もいるでしょう。また数多くの種類があり、どれを選ぶか迷う方も多いですよね。そこで今回は、スマートウォッチの基本的な機能や、おすすめのブランド・商品についてご紹介します。 ＃健康管理 多くのスマートウォッチには、歩数を計測する機能があります。その機能を使用すれば歩数やカロリーなどが計算できて、健康管理に役立つでしょう。 ＃通知機能 メールやSNS（Faceboook、Twitter、Instagramなど)の通知を受け取ることができます。会議中や食事中などでも気軽に確認できるでしょう。 ＃電子マネー決済 対応しているスマートウォッチであれば、さまざまな電子マネー決済が使用できます。財布を取り出さなくてもいいため非常に便利です。 ＃音楽再生 スマホをカバンやポケ
技術/UNIX/なぜnohupをバックグランドジョブとして起動するのが定番なのか？(擬似端末, Pseudo Terminal, SIGHUP他) - Glamenv-Septzen.net
ホーム 検索 - ログイン | | ヘルプ 技術/UNIX/なぜnohupをバックグランドジョブとして起動するのが定番なのか？(擬似端末, Pseudo Terminal, SIGHUP他) [ Prev ] [ Next ] [ 技術 ] 何をいまさら当たり前の事を・・・と思われるだろう。 $ nohup long_run_batch.sh & SSHからログアウト後も実行を続けたいバッチジョブを、"&"を付けてバックグラウンドジョブとしてnohupから起動するのは定番中の定番である。 しかし、「nohupを使わなくても実行を続けることが出来る」やり方があったり、さらには「nohupを付けてもログアウト時に終了してしまう」パターンがあるとしたらどうだろう？ そして、ある日あなたの後輩や同僚がこれらについてあなたに質問してきたら、あなたはどう答えるだろうか？ 「Web上で検索したら見つか
バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ
連載: IBM Watson Workspace #鬼わか アプリケーション開発: 第 7 回: IBM Watson Workspace で AI を利用したアプリ連携の実現 #鬼わか 解説（前編）
IBM Related Japanese technical documents - Code Patterns, Learning Path, Tutorials, etc. Please open new issue/pull requests in either English or Japanese if you would have any feedback or you would like to contribute this repo. We provide mainly "Japanese contents" by markdown text. IBM Developerの最新情報は https://developer.ibm.com/ にアクセスし、英語のコンテンツを参照してください。 このリポジトリは、IBM Developer Japan Webサイトで公開していた
このまえ登り坂の途中でロードバイクのタイヤが破裂しました。ながたです。 今回はバッチ処理について書いてみようと思います。 バッチ処理？ Webサービスの処理開始条件は、大まかに次の2つに分けることができます。 ユーザーのアクションに起因するもの ユーザーのアクションに起因しないもの このうち後者の処理をバッチ処理が担当することになります。 バッチ処理の担当分はさらに、 特定の条件（時間やサービスの状態）で実行するもの 手動で実行するもの の2つに分けられます。 今回はこの「手動で実行するもの」について書きたいと思います。 バッチを手動実行するのはどんなとき？ バッチ処理を手動で実行するのは、十中八九イレギュラーな状況が発生したときです。 ルーチンワークや実行の条件が決まっているものは何らかの方法で自動化できるはずです。 そしてイレギュラーな状況のほとんどは不具合が発生したとき。 つまり 重
こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指します。この反対の言葉として、オンライン処理があります。オンライン処理とは、お客様の操作を初めとしたイベントをもとに 逐次処理 されるものです。OLTP(Online Transaction Processing)とも言います。 本エントリでは、バッチ処理を採用するにあたり、どういったユースケースが適切なのかを整理して、今後のソフトウェアの設計の指針にできることを目指しています。今回は、「バッチ処理を採用するとき」と「バッチ処理の設計」の2つについて取り上げます。 バッチ処理を採用する
Deep Learning Advent Calendar 2016の20日目の記事です。 ConvNetの歴史とResNet亜種、ベストプラクティスに関連スライドがあります（追記） 背景 府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまったようです。 M2の学生が趣味でやっていたCIFAR10とCIFAR100の認識タスクで，現時点での世界最高性能の結果を出したそうだ…趣味でっていうのが…https://t.co/HKFLXTMbzx — ニーシェス (@lachesis1120) 2016年12月7日 府大のプレスリリース 一般物体認識分野で、府大生が世界一の認識精度を持つニューラルネットワークを開発 黄瀬先生の研究室の学生さんだそうです。凄いですね！ ちょうどResNet系に興味があったので、読んでみます。この論文を理解するには、ResNet, (Wide
コマンドプロンプトを使ってみよう！
ここでは、コマンドプロンプトの基礎知識・使用機会の多いと思われるコマンドを紹介しています。 初心者の方でも簡単なコマンドなら使えるように、できるだけわかりやすく解説するよう心がけました。
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側 - LINE ENGINEERING
みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 10個 のお年玉が付与されます。 こういったメッセージが受信されます ユーザーは自分がもっているお年玉を友だちに直接送ったりグループに送信することができ、お年玉を受け取
今までナチュラルにcrontab -eでcron編集をしていたのだけど、実はこれはとてつもなく危ないやり方だった。ということを、今さら知った。 crontab -rの恐怖 crontabコマンドにはrオプション(Remove)があり、これを実行すると何の警告もなく全てが消え失せる。 macbook:~ ozuma$ crontab -l 15 * * * * /home/ozuma/bin/hoge.sh 0 9 1 * * /home/ozuma/bin/piyo.sh > /dev/null 2>&1 */5 * * * * /home/ozuma/bin/fuga.sh > /dev/null 2>&1 macbook:~ ozuma$ crontab -r macbook:~ ozuma$ crontab -l crontab: no crontab for ozuma macbo
「オンプレミス・システムの終わり」の始まり〜AWSでのミッションクリティカルシステムの稼働 - 急がば回れ、選ぶなら近道
個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに本部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI（BMS）との
Photoshopをもっと簡単に使いたい。 そんなあなたにおすすめなのが、『Free Photoshop Plugins』。無料で使えるPhotoshopプラグイン20選だ。 以下にご紹介。 » virtualPhotographer ワンクリックでクオリティの高い、プロのスタイルを適用できる。 » Richard Rosenman 無料のPhotoshopフィルターやプラグインをたくさん紹介しているサイト。（無料でないものもある） » Filter Forge 自分のフィルターを作成できるソフト。 » Harry’s Filters 69もの画像エフェクトをもったプラグイン。 » Auto FX Mosaic モザイクのタイルのようなエフェクトをかけられるプラグイン。 » Auto FX Dreamy Photo 画像に柔らかいロマンティックな効果を与えるプラグイン。 » Telegra
東急ハンズにて情報システムと通販事業の責任者を務める長谷川秀樹氏が、AWS Cloud Roadshow 福岡 powered by Intel に登壇。AWSを導入した企業の部門責任者として、クラウド化が組織にもたらしたメリットについて語りました。 従量制のAWSだからこそ出来ること 長谷川秀樹氏：あとはハンズの、こういうふうにやってきたいなというところをパラパラッと紹介していきたいと思います。ちょっと業界的な話になってきちゃうんですけども、今オムニチャネルっていう話があって、ECと店舗をガッチャンコするというところをやっていこうと。 あと、これは業界全部に関わることかなと思います。夜間バッチの廃止。これは僕も口酸っぱく言っているところです。今新しくオンプレから移すときも、夜間バッチを絶対なくすということでやってます。 「お店が仮に夜の10時に閉まったら、10時半頃にみんな帰る時にお店の
cron の設定ガイド
■はじめに cron とは、ジョブ（スクリプト）を自動実行するためのデーモンプロセスです。そして、Linux システムの管理を行なう場合、ログのローテートや、バックアップなど、定期的に自動実行したいジョブが数多くあります。特に、バックアップなどは、システムへの負荷が大きいため、通常は、ユーザからのアクセスが少ない、深夜や早朝に行なわれます。 このように、定期的に実行されるジョブは、crond というデーモンによって、自動的に行なうように管理することができます。そこで、今回は、cron の設定を行なうために必要なコマンドや、設定ファイルについて説明していきたいと思います。 ■設定手順 このページでは、以下の順番で cronの設定について説明します。 まず、Linuxシステム上で、cron を使用するために、サービスの起動で、サービスの状態を確認し、停止している場合には、サービスを起動します。
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 大規模システム開発の現状、Hadoopの可能性、クラウドのメリットとデメリットなど、参考にすべき多くの内容が語られたセミナーでした。この記事ではその概要を紹介します。 止まってはいけない基幹システムをクラウドへ ノーチラス・テクノロジーズ 代表取締役社長 神林飛志氏（写真中央）。 西鉄ストア様の本部基幹システムをクラウドへ移行する
こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 バッチプログラムのお話、今回は運用・監視についてお話したいと思います。当社はすべての業務が24時間行われていますので、システムがオンラインのときに動作するバッチプログラムについてのみ議論します。 過去の記事はこちらにあります。 運用に備えて バッチプログラムの運用について、「プリモーテム」「実行管理」そして「ログ管理」の3点について述べていきます。 プリモーテム ポストモーテムという言葉を聞いたことがある方はいらっしゃるかと思います。ポストモーテムとは、GoogleのSRE本の15章*1によれば、障害などの失敗を振り返り、今後に活かすプロセスの総称と捉えることができます。 さて、プリモーテム(プリモータム)とは何でしょうか。この言葉は、私が最近読んだThe Manager’s Path*2*3で使
こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか
まずは、コマンドプロンプトの基本的な部分を使えるようにならないと。。ということで nul ファイル Unix の /dev/null のようなもの サイレントにコマンドを実行 > verbose-command > nul 空のファイルを作る > type nul > hoge.txtこーんな感じでコピーができる 環境変数 PATH 、 PATHEXT PATH という環境変数にディレクトリを登録しておくと、そのディレクトリ内の実行ファイル（環境変数 PATHEXT で指定された拡張子を持ったファイル）がファイル名だけで実行できるようになります。 PATHEXT に .TXT を指定してみる 以下のようにすると .txt に関連付けられたアプリケーション（メモ帳）で、 hoge.txt が起動する。 > type nul > hoge.txt > set PATHEXT = .TXT >
うっかりnohup無しで長時間かかるコマンドを実行したときに後から終了しないようにする - Glide Note
いつまで経っても終わらないから帰れない… 途中で終了してしまうと困るので、ログアウトしても終了しないように。 作業の流れ Ctrl+Zでコマンドの中断 bgでバックグラウンドに回す jobsでジョブの確認 disownでログアウトしても実行されるようにする 実際のコマンドだと
バッチ処理について考える - Qiita
TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思ってる人多い印象なんだけれども、数十万～数千万件規模のデータを処理したことあるのかな。テンプレ通りのコードじゃ動かないよ？ネットに本にも答え載ってないよ？低レイヤも意識しないと動かないよ？ 2020年1月10日 ツイートされたわだっしーさんの意図がどこにあるかは確認してないですが、極限の世界でテンプレート的な処理では対応出来ないのはあるよな、と思いつつもある程度はバッチの作法としての書き方があると思っています。 このツイートとその関連ツイートを読みながら、そういえばバッチ処理に関して書いてある記事はあまり見ないなぁ、とおもったので他のネットや本
バッチファイル中で、数字や時刻などをファイル名として使いたい バッチファイルの中で、日付や時間をベースにしたファイル名のファイルを作成し、そこに結果を保存したいといった場合は意外と多いだろう。 例えば、システムデータやユーザーファイルをバックアップし、バックアップ先のフォルダやファイル名に、その日の日付を反映した名前を付けたいといった場合である。例えば、「systemconfig-20221221」「user1-20230501」などと付ければ、いつバックアップしたかすぐ分かるだろう。 本Tech TIPSでは、バッチファイル内で日付と時刻の情報を取得して、ファイル名やフォルダ名として利用するためのテクニックを紹介する。鍵となるのは「date」「time」という変数の扱い方である。 まずバッチファイルの基本から知りたいなら、Tech TIPS「Windowsのバッチファイルの基本的な使い方
「遅咲きは敗者ではない」— Dave McClure、46歳の誕生日を前に思うこと | Startup Dating [スタートアップ・デイティング]
世界中には、19歳とか若いうちから起業をしたり、ベンチャーキャピタリストになったりという例があるけれど、僕がスタートアップの世界に飛び込んだのは30歳になる直前だった。知らないことばかりで大変だったけれど、Open Network Labでご縁を頂いてずっと僕のスタートアップを応援してくれているNils Johnson氏など、沢山の素晴らしい先輩や友人達のお陰で（あと家族も）、僕はなんとかアリーナに立ち続けさせてもらえているのだと思っている。 Dave McClure氏 つい先日500 StartupsのDave McClureが素晴らしいブログ記事を書いているのを見つけた。彼の思いと、彼を取り巻くシリコンバレーのカルチャーにとても勇気づけられたので、この素晴らしい記事を日本にいるみんなにも共有したいと思った。僕も、シリコンバレーの、こういう思いを持った人やカルチャーに沢山救けられてきたか
バッチ処理の一部で 30 分以上かかっていた処理を 14 秒で終わるようにした話 - @watson1978 の日記
Ubiregi Advent Calendar 2018 の 18 日目です。 ユビレジではたくさんのお客様の大量の POS データをお預かりしており、様々なバッチ処理も実行されています。今回は特定のケースでバッチ処理の一部が 30 分以上かかっていた処理を 14 秒で終わるようにした話について書きたいと思います。前回の Ruby 2.5 の SEGV と闘った話 - @watson1978 の日記 に引き続き DTrace を使った話になります。 はじめに ユビレジでは CSV ファイルでお客様が特定のデータをダウンロードしたりアップロードできる機能があります。CSV ファイルにエクスポートしたり、CSV ファイルから DB に取り込む処理を Worker を起動してバッチ処理しています。 大量のデータを保有しているアカウントと同量のデータを用意して手元の環境で試したところ時間がかかるこ
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
最近そもそもバッチ処理というものを知らない人達を見ることが多くなりました。某プロジェクトで「いや、ストプロってよくわからないんですよ。最近書いたことないし。」という話をずーっと聞いていたのですが、本人はバッチ処理という意味で話していたことが後から判明した、ということがありました。 ああ、この人はSQLでのバッチ処理しか知らないのですね、とちょっと衝撃ではありました。とうとうそーゆー時代になったかと。 まず、誤解のないようにいうとバッチ処理、という言葉自体はIT固有のものではないです。生産管理や物流や、そういった業務では普通に「バッチ」という言葉をIT以外で使います。ただし意味はある程度同じで、「一定の塊を一度に処理をする」ということです。物流システムの業務要件なんかを詰めているとバッチっていうと、どっちのこと？なんて普通に聞かれたりします。その意味ではバッチの対義語がリアルタイムというのは
Finding your audience is challenging and time-consuming. Refollow was created to streamline this process so that you can start growing and monetizing your social media presence. You’re getting a lot more followers and that’s awesome! But how do you optimize and make that growth curve even steeper? We’ve built analytic tools to help you track your performance and identify areas for improvement.
バッチ処理というのがそれ単体で勉強するのが難しく勉強しようとすると何に手を付けるべきかさっぱりわからないということは、先日のブログで述べたとおり。 自分が経験の中で得てきた知見は正しいのかどうか、世間の人に見てもらいたかったというのが書いた動機。 そして、新たな視点や指摘をゲットしてより不測の事態を考慮できている最高なバッチを作りたいという目的があったわけだ。 で、いろいろな意見をもらったのだけどその中で特に辛いと感じたのはこれ。 基幹システムにおけるバッチ処理みたいなものに関する知見については、カジュアルに学ぶ方法はありません。それを体系化した知識として整理した上で、実装できる組織があるんなら、それでメシが食えるんじゃないですかね。— 太一 (@ryushi) 2016, 2月 18 読んでいると 「俺達は障害でつらい思いをしてるし当然先人達も障害でつらい思いをしているはずだ。 なのに、
多い日も安心設計 - Qiita
アプリケーションエンジニアの多くは、眠れない夜を過ごしたことがあるでしょう。特に月に一度の…「月末締めバッチ」の日は。 そんなデータ量の多い日や、初モノのバッチが動く日でも安心して眠れるためのバッチ設計を考えてみます。 ログの設計 まず何はなくともログです。きちんとしたメッセージを出せていれば、専任の人がリカバリ可能にもなるってものです。 Audit用のログなど業務要件の強いものを除いては、だいたい3種類に分けるようにしています。 プログレスログ リカバリログ 例外ログ(調査のため) この分類でファイル単位も分けます。ログを必要とする人が、それぞれ異なるからです。 プログレスログ プログレスログは、特に長時間かかるバッチに対して、現在どのくらいまで処理が出来ているのかを目的として出力します。 トラブル発生時や、大規模移行作業時には、バッチの定期的なモニタリングと報告の必要が出てきます。「あ
移転しました http://please-sleep.cou929.nu/20101230.html
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
バッチ処理について再考 - プログラマでありたい
作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。 利点 バッチ処理には以下のような利点がある。 ・多くのユーザーがコンピュータのリソースを共有できる。 ・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。 ・人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。 ・高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。バッチ処理 - Wikipedia これだけみると、人件費に対してコンピュータリソースが高い時代の産物なんですよね。今は、クラウドの登場で、有り余るコンピュータリソースをほぼ自由に低コストに使える時代です。そもそもバッチ処理である必要があるか、考える必要がありますね。特に夜間バッチにつ
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
太田さんによる某銀行のバッチについてのまとめ
Kenichiro Ota @oota_ken やる夫：やらない夫ー、地震に続き某メガバンクでトラブルがあってお金の引き出しとかができなくなっているみたいだけど？ 2011-03-20 07:16:33
66分かかる同期処理を10分以内に短縮せよ！～商品情報同期システムでの、処理速度と運用の改善～ - MonotaRO Tech Blog
はじめに この記事では、モノタロウの基幹系を構成するシステムの一つである、商品情報管理システム（PIM：Product Information Management システム）の導入プロジェクトで、商品情報を基幹系と同期するシステム（商品情報同期機能）の性能や運用環境の改善を行った話をご紹介します。 背景 モノタロウの基幹系は、長年内製のシステムで支えられてきました。基幹系のシステムは、少数のWebアプリケーションと多数のバッチから構成されています。中でも商品情報の管理に関するシステムは、在庫や仕入先に関するシステムと一体化していて、商品情報に関する数多くのマスタメンテナンス画面を備えたやや複雑なシステムです（図１）。 図1 基幹系の概略図 当社のシステムは、もともと自分たちのビジネスに必要な機能を提供する手頃なパッケージ製品がなかったため、すべてを内製でまかなってきたという経緯があります
２カラム（２段組）の論文PDFを、１カラム（１段組）に変換して、余白にメモをとりやすいPDFを作成する方法を紹介します。この方法にたどり着くまで結構大変でした。 目次 1. １カラムに変換して読みたい！2. 変換サンプル3. 今回選択したツール：「K2pdfopt」4. 基本的な使い方は・・・5. でも、コマンドラインがオススメ6. 最重要：おすすめオプション6.1. 実行方法7. おすすめオプション その２8. 各オプションについて9. 参考資料：k2pdfoptメモ9.1. マージンパラメータの順番9.2. エラー・処理の遅さ・保存失敗対策9.3. カラー出力する9.4. 文字の自動拡大を防止する9.5. GhostScriptを使う9.6. pdfファイルによって「k2pdfopt.exeは動作を停止しました」となる場合の対策9.7. 出力PDFのサイズを設定する9.8. 余分なヘッ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
開発に役立つ，BATファイルの書き方・パターン集 （コマンドプロンプトの定石を体系的に学び，バッチ中級者になろう） - 主に言語とシステム開発に関して
Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
安全なバッチ処理の作り方 - KAYAC engineers' blog
バッチ処理の採用と設計を考えてみよう | メルカリエンジニアリング
府大生が趣味で世界一の認識精度を持つニューラルネットワークを開発してしまった論文を読んだ - Qiita
crontab -e は「絶対に」使ってはいけない - ろば電子が詰まつてゐる
無料で使えるPhotoshopプラグイン20選『Free Photoshop Plugins』 | CREAMU
「夜はサーバの電源を落として帰ろう」 東急ハンズによる、6つの聖域なきシステム改革
バッチプログラムの運用と監視について検討しよう | メルカリエンジニアリング
データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし
Windows の基本的なコマンド集 - IT戦記
編集やデバッグが簡単になるバッチファイル向け統合開発環境「VisualBat」NOT SUPPORTED
＠IT Tips：バッチ・ファイル中で日付をファイル名に使用する
AWSでバッチ処理を実装する際の選択肢とサービス比較
バッチ処理を再考する - 急がば回れ、選ぶなら近道
Refollow - Your complete social media toolbox
続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
中規模データ処理で学んだ tips - フリーフォーム フリークアウト
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
「２カラムの論文PDF」を「１カラムの余白にメモしやすいPDF」に変換する方法