日本ヒューレット・パッカードは2011年12月13日、フラッシュメモリーを記録媒体に用いた高速なストレージ装置「HP VMAシリーズ」（写真1）を出荷した。主として、バッチ処理の高速化需要を狙う。価格は、最小構成（5Tバイト）の「VMA3205」が2099万1600円（税込、以下同）から、最大構成（10Tバイト）の「VMA3210」が4058万3550円から。販売目標は月間5セット。 サーバー機のPCI Express（x8）バスに直結して利用する。本体形状はラックマウント型で、サーバー機とはPCIe外部ケーブルを介して接続する。PCサーバー側で必要となるオプション「HP VMA PCIeパススルーカード」（17万4300円）を用意した。 VMAと汎用サーバーを組み合わせることで、システムアーキテクチャやアプリケーションに変更を加えることなく、ストレージからサーバー（CPU、メモリー）への
cakePHPのコマンドラインプログラムでバッチ処理 - cakephperの日記(CakePHP, Laravel, PHP)
cakePHP1.2rc2の環境をベースにしてます。 DBを絡めたバッチ処理とか、cake使うと簡単にできます。 cakeである程度WEB画面まで実装してれば、modelファイルとかもあるだろうから、コントローラーっぽいプログラムを実装するだけ。 基本は、app/vendors/shells/以下にプログラムを設置するだけです。 下記は、app/vendors/shells/hoge_test.phpの例です。モデルはhogeモデルを利用。hogeモデルはapp/models/hoge.phpで実装。 <?php class HogeTestShell extends Shell { var $uses = array('Hoge'); function main() { $filename = $this->args[0]; $insert_data = array("hoge1" =>
この記事は VOYAGE GROUP Advent Canlendar 2015 の17日目の記事です。 こんにちは。 @at_grandpa です。 Slackで将棋を指したあの日 から、もう１年が経つのですか。 早いですねぇ。 ちなみに at_grandma は、 Heroku様の神の裁き によって無期限活動停止中です。 さて、最近の自分はというと、定期バッチ処理を書くことが多いです。 定期バッチ処理。 それは、サービスを運用する上で、少なからずお付き合いすることになるもの。 今回は、「人に優しい定期バッチ処理を書く」ために自分が普段心掛けていることを書こうと思います。 定期バッチ処理とは 言葉の通り、定期的にバッチ処理を行うことです。 メジャーなものとしては、crontab を用いての定期処理などが挙げられます。 用途としては、例えば、 日次集計バッチ 月次集計バッチ 定期お掃除バッ
WebページをPDFにバッチ処理で変換するなんてことができたらいいなぁと思っていて、いろいろ調べました。最初はAirを使ってなにかできないかなとか。 でも、調べていくと、LivePDFにプリンタAPIなんていうものがあるのを発見しました。ということはOLEを使えば自動印刷ができる！？ ということでやってみました #!ruby -Ks require 'win32ole' Printer = WIN32OLE.new('LivePDF.Printer') shell = WIN32OLE.new('Shell.Application') OLECMDEXECOPT_PROMPTUSER = 1 #印刷ダイアログ表示 OLECMDEXECOPT_DONTPROMPTUSER = 2 #印刷ダイアログ非表示 OLECMDID_PRINT = 6 #印刷 OLECMDID_PRINTPREVIEW
WebPやHEICを含む画像ファイルの変換や圧縮、リサイズのバッチ処理が可能なMac用イメージコンバーター「Image Tool+」がリリース。
WebPやHEICを含む画像ファイルの変換や圧縮、リサイズのバッチ処理が可能なMac用イメージコンバーター「Image Tool+」がリリースされています。詳細は以下から。 Appleは2020年秋にリリースするSafari v14やmacOS 11 Big Sur、iOS 14でGoogleが開発した画像フォーマット「WebP」をネイティブサポートしますが、そのWebPを含む画像ファイルの変換や圧縮、リサイズのバッチ処理を行ってくれるMac用イメージコンバーター「Image Tool+」がリリースされています。 Convert, Resize, Optimize and Compress various type of images.Preview result images with compare slider. Image Tool+ – Mac App Store Image T
バッチ処理はSQLの一括処理で行うべきです。 しかし、バッチ処理を一括処理で行うときには一括でできる処理量の限界は存在し、それはマシンのスペックによって違います。限界を知っていれば怖くはありません。これまでも何度か、開発ではなく、テストや保守でも、SQLができるかどうかで大幅に工数が違うと書いてきましたが、それも合わせて、限界をみていきましょう。 条件はテストサーバがあって、本番と同じデータが入っているとしましょう。対象となるメインのデータの入っているテーブルをTableAとし、対象の処理は日次バッチだとします。 負荷テストの手順は以下の通りです。 現時点のピークを特定する ピーク時点のリソースの消費量を測り限界を予測する テストデータを作る 予想した限界量のデータでテストする ■ 1．現時点のピークを特定する まずは、本番と同じデータですから最も多くのトランザクションが起きている日を特定
無料の「Oracle Database XE」で高速バッチ処理：実装のポイント - builder by ZDNet Japan
これらのコンポーネントを用意できると、大概のバッチ処理はコンポーネントの組み合わせで実装することができますので、生産効率やメンテナンス性が飛躍的に向上します。 1-2. 処理はOracleで これでコンポーネント化のメリットを理解できたと思います。では、再利用性が高く効率の良いコンポーネントを用意するためにはどうしたら良いでしょうか。 その近道に、データベースで処理するコンポーネントがあります。 以前も述べましたが、現在のOracleデータベースにはデータ加工に利用できる様々な機能が実装されています。またデータベース・サーバーには高性能なハードウェアを用意していることが多いため、処理性能の向上も期待できますし、リソースを活用できることはROIの向上にも繋がります。 テキストファイルなどの外部データが入力データの場合、まずはOracleにそのままの状態でローディングします。ローディングにはO
バッチ処理時間の短縮を実現するHadoop技術とは？（その２）｜大量データのバッチ処理時間短縮はHadoop(ハドゥープ)技術で。
Hadoop（ハドゥープ）とは、Googleの分散ファイルシステムを応用して オープンソース化したプラットフォームです。 分散ファイルシステムとは、複数のマシンのディスクを組み合わせて 1つのファイルシステムとして見せる技術です。 これは1つのディスクで保存しきれないような大量のデータを並列化することで 非常に高速に効率良く処理することができるのです。 Hadoopプラットフォームは安全です。 分散ファイルシステムにより、同じファイルを異なるマシンに重複して持たせることで、 一台のマシンが故障した場合でもファイルが失われません。 つまり、耐障害性の高い・安全性の高いとプラットフォームであると言えるのです。 Hadoopプラットフォーム、始まりはGoogleから・・・ グーグルが独自に開発したMapReduceは、 同社の検索エンジンを支える中核技術であるため詳細は未公開ですが、
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🏈 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🍣 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
5～80テラバイトの記録容量を備え、毎秒1万5000回転のHDDに比べて約50倍の応答速度を実現したという「HP VMA」シリーズを発売する。 日本ヒューレット・パッカード（日本HP）は12月13日、半導体メモリアレイの新製品「HP VMA」シリーズを発売した。データベースでのバッチ処理時間を大幅に高速化させたのが特徴で、他社製データベースアプライアンスの対抗製品に位置付けている。 新製品は3Uサイズの筐体の最大84枚のNANDの半導体メモリモジュールを搭載でき、8筐体までを同時利用できる。記録容量は約5～約80テラバイト（1筐体当たり最大10テラバイト）。同社の8ソケットx86サーバ「HP ProLiant DL980 G7」と専用のPCIeパススルーカードで直接接続した場合、応答時間を毎秒1万5000回転のHDDに比べて約50倍に高速化でき、SAN接続の場合でも同25倍に高速化できると
決まった時間に実行するなどは、基本的に自動化されるが「一度しか実行されないもの」または「何度も実行するが、いつ実行されるか決まっていない」場合は自動化したくてもしようがない。なので、手動で実行する。 一度しか実行しないバッチは、「データベースのカラムを追加、変更したのでデータを追加/修正したい」など。 何度も実行するバッチは、「問題が発生した場合、ユーザーに対する補填(いわゆる詫び石付与)」などが考えられる。 そして、この2つのバッチの対象者は、多い場合と少ない場合がある。 実行のオプションを付けない限り、dryrun 人間なのでついうっかり本番で動かしちゃったとかあるので、それを防止する。 動かそうと思って動かすのと動かすつもりがなくて動くのは全然違う。 スクリプトファイルにベタでコードを書かない 例えばPerlだと.plにコード書くのはあまりしなくて、.pmに分けたりする。 そうするこ
Rails runner でバッチ処理 - ヤフーニュースのRSSを取得してDBに保存する - snowlongの日記
Rails runner について バッチ処理をRails で書きたい時に使う。 Modelのメソッドが使えるので便利。 速度は速くないと思う。 環境 Rails: 4.0.0 Ruby: 2.0.0 まずは、動かす Railsアプリケーション内の/config/application.rb に以下を記述し config.autoload_paths += Dir["#{config.root}/lib"] 次に、/lib/tasks/runner_test.rb を作成する。 class Tasks::RunnerTest def self.execute puts 'I am a Ruby Runner' end end 実行してみる % bundle exec rails runner Tasks::RunnerTest.execute 動く！ ここまでまとめ /config/app
【前編】Apache Sparkを使って、メモリ使用量が大きいバッチ処理をスケールアウト | ADN LAB's Blog
初めまして、弊社で１ヶ月半ほどインターンとして働いているt_sakaiです。 インターンシップの課題として、メモリ使用量が大きくて将来問題になりそうなバッチ処理をスケールアウトできるように書き換えるという課題に取り組みました。 解決手段として流行りのApache Sparkを使ってみたので、本記事ではこれについて書こうと思います。 本記事で使っている言語はScalaです。 Scalaについては、弊社のk_oomoriが書いた記事があるのでよろしければご覧ください。 紹介する内容 前編（本記事） 今回解決したかった課題 なぜSparkを選んだのか RDDについて 簡単なプログラムをSparkで書き換える 後編 本番プログラムをSpark用に書き換える はまりどころ 紹介しない内容 Hadoopとの比較 Spark環境の構築 性能チューニング 解決したかった課題 弊社のScalaで書かれたある
定期的に実行 これはUnix系ならcron、Windowsならタスクマネージャって感じで実行する。 ▲ ▼ Rails環境のバッチファイル Railsで作成したアプリのリソースをコマンドラインからキックするためのスクリプト script/runner が用意されているのでこれを使えばOK〜 こいつを ruby script/runner 'Hoge.piyo' -e production とかで起動できる。 これだとRailsのアプリケーションの環境そのままにHogeモデルのpiyoメソッドを呼び出すことができる。 eオプションをつけることにより実行環境を選べる ▲ ▼
大量データのバッチ処理を高速化するHadoop
Hadoopはどのように活用されている？ Hadoopプロジェクトは、オープンソースのテキスト検索エンジンLuceneと、Luceneを利用したWeb検索エンジンNutchの中心的な開発者、Doug Cutting氏らによって2006年に立ち上げられました。彼らは、米Googleが発表した論文のアイディアをもとに、Nutchを数十億のWebページに対応させる取り組みを始めました。この動きに米Yahoo!が興味を持ち、Nutchから分散バッチ処理システムとして汎用的に利用できる部分を切り離して、独立したHadoopプロジェクトとして立ち上がりました。 このような経緯から、米Yahoo!はHadoopの最大のユーザーとなっており、1万コアを超える規模のHadoopクラスタによって検索インデックスが実際に作られていることが報告されています。しかしながら、現在では米Yahoo!以外の多数の企業にも
実際に追加してみましょう。サンプルのCellUpdate.javaとSpreadsheetUtil.javaをコピーしてください。SpreadsheetUtil.javaはサンプル用に作成したユーティリティクラスです。この中にSpreadsheetサービスに対する認証処理を記述しているため、getSpreadsheetServiceメソッド内のusernameとpassword変数に自分のメールアドレスとパスワードを設定してください。 設定が終わったら、CellUpdate.java実行してください。セルの値が更新されていると思います。 package sample3; import com.google.gdata.client.spreadsheet.CellQuery; import com.google.gdata.client.spreadsheet.SpreadsheetSer
Railsでバッチ処理する方法はいろいろあるが、なかなか自分にしっくりくるものがない。できれば、下記の要件を満たしたやり方がないかと思い、調べ直してみた。 cron等を使わず、Railsだけで完結させたい 設定がラク Rails本家サイトの HowToRunBackgroundJobsInRails を見てみると、 rufus-scheduler というライブラリが新たに追加されている。よし、これを試してみよう。 環境 JRuby 1.1.4 Rails 2.1.1 インストール sudo gem install rufus-scheduler 使い方 試しに、10秒ごとにhogesテーブルへ新規レコードを追加する処理を書いてみる。 config/environment.rb 1 require 'rubygems' 2 require 'rufus/scheduler' 3 4
Play Framework(Play2)(Scala)のTips Part3:Akkaを使った非同期/バッチ処理(Advent Calendar 20日目)
Play Framework(Play2)(Scala)のTips Part3:Akkaを使った非同期/バッチ処理(Advent Calendar 20日目) この記事はアライドアーキテクツAdvent Calendar 20日目の記事です。 どうも。伊藤(係長)です。 今日は他の方に乗っ取られる事もなく無事に書くことができます。 今回はAkkaを使った非同期処理やバッチ処理についてです。 通常、非同期処理をJavaとかで書こうと思ったら、ちょっとメンドクサイですよね。 ところがAkkaを使えば比較的簡単に書く事ができるのです。 ※私自身がこの辺の処理が苦手なので、深いところまでは全く踏み込みません。 (というか踏み込めません) ■Akkaとは Actorによる並列処理を行う為のライブラリ。 ScalaとJavaのAPIがあり、並列処理、分散処理を簡単に記述する事が可能です。 詳しくはAk
「8割9割ではなく、100％自動化することを重視した」。ソニー生命保険の後藤聖央執行役員兼ITデジタル戦略本部長はこう語る。 ソニー生命は、2020年6月からメインフレームにおけるバッチ処理やアプリケーションリリースに関する作業依頼の自動化を進めている。「100％自動化」を重視するのは、自動化の例外を残せば、作業依頼にかかる人員を完全になくすことはできないためだ。 同社は2023年4月に自動化システムの本格利用を開始した。オペレーターが依頼書などで受け付けていた1カ月に1000件以上の作業依頼を自動化し、処理実行までの時間を短縮した。依頼書のチェックにかかっていた人手も削減した。 ソニー生命では基幹系がメインフレーム上で稼働している。メインフレームは米IBM製だ。その中で「バッチ処理を大量に抱えている」（後藤執行役員）。例えば、顧客の口座から保険料を引き落とすため銀行に対してデータを定期的
はじめに Photoshop を使ったクリエイティブな作業の途中、うんざりするような短調作業が発生することはありませんか。たとえば、「大量の写真をすべて縮小する」とか、「画像をすべて同じように加工してバナーを量産する」とか。 そんな作業で貴重な時間を使うのはもったいない! バッチ処理で一気にやってしまいましょう! やり方 STEP1 準備 処理する対象となる画像ファイルを、どこかひとつのディレクトリにまとめます。 大量に処理したい画像の中から1枚を開きます。そして、メニューバーから「ウィンドウ > アクション」を開きます。 STEP2 「アクション」を記録 心の準備ができたら、「アクション」ウィンドウの下の、紙ペラのようなアイコンを押します。 新しい「アクション」(一連の作業)を作成するためのダイアログが立ち上がります。ここでわかりやすい名前をつけて、「記録」開始! すると、録画中の赤丸ア
東京オリンピックの暑さ対策にサマータイムを導入する案が浮上した。全国一律で時計を2時間早めるとシステム障害を誘発する恐れがある。攻めのIT投資が滞るとの懸念も出ている。
_ AtomPub の multipart 拡張と OpenSocial のバッチ処理 [atompub][opensocial] 以前に "AtomPub で複数リソースをまとめて POST する方法" というエン トリを書きました [2008-03-29-1]．このエントリでは，2通りの "エント リをまとめてPOST する方法" を紹介しました． このうち，"Media Resource と Media Link Entry を同時に POST" が multipart 拡張として正式に標準化されることになりました．元々 Picasa API として使われていた方法で，実績もあるため，標準化はすんな りと進みそうです． また，もうひとつの "複数の Resource をまとめて POST (BATCH 処理)" は，OpenSocial 仕様として正式に採用されるようです．いまのとこ
「メインフレームのバッチ処理システムをLinux上に構築」---NTTグループのオープンソース活用状況をOSSセンタ北井氏が語る
「メインフレーム上のバッチ処理システムを，Linuxサーバー上に構築した事例もある」---NTT 第三部門NTT OSSセンタ OSS推進担当部長 北井敦氏は6月1日，LinuxWorld Expo/Tokyo 2007でNTTグループでのオープンソース活用状況とOSSセンターの役割について講演した。 NTTでは，コスト削減やベンダー・ロックインの回避などを目的としてオープンソース・ソフトウエアの利用を推進している。NTTの資料によれば，2005年度，NTT事業会社の100以上のシステムをシミュレーションしたところ，約30％コストを削減できるという結果が得られたという。 OSSセンタはこのようなNTTグループのオープンソース活用に対するサポート，利用ノウハウを集約する組織として，2006年4月に発足した。(1)問い合わせ対応から故障復旧支援までのサポート・サービスの提供，(2)技術検証済み
色々な方法があるみたいですが、Rails の仕組みをそのまま利用できるので、以下のような構成に落ち着きました。 まず、バッチスクリプトを配置するためのディレクトリ(ここでは #{RAILS_ROOT}/app/batches )を作成します。 ディレクトリ構造 exampleapp ├─app │ ├─controllers │ ├─helpers │ ├─models │ ├─views │ └─batches <= batches ディレクトリを作成し、その下にファイルを格納する │ └─foo │ └─bar.rb ├─config ├─db ├─lib ├─log ├─public ├─script ├─test ├─tmp └─vendor 追加したディレクトリを lib ディレクトリなどと同様、Rails に自動的に読み込んでもらうには、config/environment.r
ver1.1 2017/11/18
例えば、以下のプログラムがあるとします。 // sample.js console.log('args: ', process.argv); このJSファイルを以下のように呼び出した場合、 $ node sample.js aaa bbb ccc 以下のような結果が出力されます。 // コンソール出力結果 args: [ 'node', '/Users/munesadayohei/tmp/sample.js', 'aaa', 'bbb', 'ccc' ] という感じです。 そのため、コマンドライン引数を扱いたい場合には、process.argv[2]以降の値を取得すれば良いです。 例えば、第１引数の値を使いたい場合には、以下のように記述します。 // 引数チェック if (process.argv.length < 3) { console.log('missing argument.')
![[nodeJS] バッチ処理プログラムを書く際に、コマンドライン引数を受け取る - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/24fac017a423d6d036621e5edf677d7059977811/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F286.jpg)
Webのバッチ処理とオンライン処理のポイントとシステムの応答性能を学ぶ#2（社内勉強会）｜TechRacho by BPS株式会社
#1 処理時間とレスポンス時間 #2 バッチ処理とオンライン処理（本記事） #3 バッチ処理を設計するときの注意点 #4 オンライン処理とUXの工夫 #5 Railsのジョブ管理システムと注意点 #6 バッチ処理ですぐに使えるノウハウ、まとめ 「バッチ処理」と「オンライン処理」の違いを理解する バッチ処理とオンライン処理は対になる考え方です。 ある程度の量のデータをまとめて処理することを「バッチ処理」と呼びます。「一括処理」と呼ばれることもあります。 バッチ処理はある程度（数分〜数時間）時間のかかる処理に用いられるため、案件にもよりますが、一般にある程度長めの処理時間が許容されます（もちろん顧客への説明と了解も必要です）。計算量の多い処理や、日次/月次/年次といった締め処理は多くの場合バッチ処理で行われます。 「数時間かかるバッチなら営業時間が始まるまでに終了して欲しい」「1時間に1回実行
無料の「Oracle Database XE」で高速バッチ処理：活用のポイント - builder by ZDNet Japan
ともにDXを推進する コンテナ化されたワークロードを管理 継続的な価値を生みだす「協創」への挑戦 特集：セキュリティトレンド-秋- つながる世界で問われる対応 サプライチェーンセキュリティを考える ITインフラ運用からの解放 HCI＋JP1による統合運用による負荷激減で 次世代IT部門への役割変革へ一歩前進 非構造化データのデジタル活用へ 社内の文書コンテンツを一元管理 デジタル変革と内部統制の二兎を得るECM ライバル同士がタッグを組む理由 マイクロソフトとヴイエムウェアが連携し パブリッククラウドへの移行を支援 さあ、その想いをカタチにしよう。 Google Cloud が企業の未来に向けた生産性 向上とコラボレーション実現のヒントを解説 IT部門のDXはこれだ！ IT運用管理新時代における最適な運用管理 の現場作り 時代はサーバ仮想化からコンテナへ あらためて整理したい企業ITにおけ
[アップデート] AWS LambdaがAmazon SQSをイベントソースとしたバッチ処理で部分応答をサポートしました | DevelopersIO
こんにちは。サービスグループの武田です。 AWS LambdaはPythonやJavaScriptで書かれた処理をクラウド上で実行できるAWSのFaaSです。さまざまなサービスと統合されていますが、そのひとつとしてAmazon SQSがあります。イベントソースマッピングという機能を使用することで、SQSへのメッセージ送信をトリガーとしてLambda関数を実行できます。SQSをイベントソースとしたLambda関数のトリガーは、バッチ処理として複数のメッセージをまとめて処理させることができます。さて複数のメッセージをまとめて処理する場合に起こる問題として、一部は成功するが一部は失敗してしまったというものです。 これまでは関数が成功すればすべてのメッセージが成功したとしてキューから削除。関数が失敗すればすべてのメッセージが失敗したとしてキューに残される。のどちらかしかありませんでした。そのため、
![[アップデート] AWS LambdaがAmazon SQSをイベントソースとしたバッチ処理で部分応答をサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
はじめに メルペイバックエンドエンジニアの @r_yamaoka です。この記事は、Merpay Tech Openness Month 2022 の16日目の記事です。 私がつい最近まで所属していた加盟店管理業務を担うマイクロサービス群（以下、加盟店管理システム）では様々なバッチが稼働しています。本記事ではそれらの実装において過去に発生したトラブルやヒヤリハットから得た知見を共有したいと思います。 背景 本題に入る前に加盟店管理システムでどのような箇所にバッチ処理が採用されているかについて少し解説します。バッチ処理を採用するか否かの観点としては大きく下記2点があります。 機能要件上バッチ処理を採用しなければならない 非機能要件の都合で同期処理を採用できない 前者の例としては「配送業者との伝票情報連携」や「行政システムとの連携処理」というものがあり、これは連携先である配送業者や行政の業務の
以前書いた Rails でのバッチ処理(http://d.hatena.ne.jp/akishin999/20090723/1248336501)内で、通常の Rails アプリと同じファイル(development.log、production.log)にログを出力する為に以下のようにしています。 module Foo class Bar # Rails の Logger を使用するための宣言 cattr_accessor :logger self.logger ||= RAILS_DEFAULT_LOGGER def self.execute logger.info("Batch start.") begin # バッチの処理 ・ ・ ・ rescue => e logger.error("unhandled exception occurred. #{e} : #{e.backtra
RailsでSQLを確認してみる の続き Railsで、Rakeのタスクの機能を使って、バッチ処理を作成してみる。 作成 タスクを作成すると、 $ rails generate task sample 下記のファイルが作成される。 $ cat lib/tasks/sample.rake namespace :sample do end 「hello world」を出力するタスクを追加する。 $ vi lib/tasks/sample.rake namespace :sample do desc "hello world task" task :hello do puts "hello world" end end 下記のコマンドでタスクが確認できる。 $ bundle exec rake -vT ・・・ rake sample:hello # hello world task ・・・ 実行
今回のソリューション：【Rundeck】 Webサービスではユーザーに見えている画面以外にも、裏側で定期的に実行されるバッチ処理が必要となることが多い。 Linuxに付属するcronを使うのが一般的だが、より複雑なジョブを実行することや、管理を簡単にすることを目的として別のツールを使用することもできる。OSSで公開されている「Rundeck」もそのひとつだ。 「世界を祭り化する」というミッションを掲げる株式会社マツリカでは、自社サービス 「Senses」の運用にRundeckを導入している。 7名ほどのエンジニアで構成されるSensesの開発・運用チームに最適な「気軽さ」が導入の決め手だと語る、進藤 寿雄さんにお話を伺った。 現場の営業パーソンの活動を助けるSFA「Senses」を開発 私は新卒でSIerに入り、そこでサーバー管理を中心にシステム開発をしていました。その後、豆蔵という会社に
久しぶりに配信のネタ つい先日、YouTube Liveに超低遅延モードというのが追加されましたが、これは一体どういう仕組みなのかを追いかけて考察してみる これまでの配信を振り返る 低遅延という話を聞くと、RTMPを思い出すわけですが、RTMPによる配信はほぼ無くなりつつあります とはいえ、低遅延の需要というのは一定数あり続けるわけです ですが昨今の配信では30秒以上の遅延を伴うHTTPを使った方式がライブ配信では一般的になっています AbemaTVしかり、これまでのYouTubeしかり 超低遅延モードの仕組み まず、超低遅延モードを使用した場合は最短で約2.0秒で配信する事が出来ます 私なりに色々と試行錯誤をして超低遅延モードで流れている映像のGOP構造を解析してみました その結果、超低遅延モードでの配信はMPEG-DASHによって行われており、GOP構造に特殊な細工がされている事が分か
はじめに SpringBootでバッチ処理をしてみようと思い、SpringBatchを調べたのですが、もっとお手軽な方法がありましたのでご紹介します。 環境 Spring Tool Suite 3.8.0 手順 １ステップ import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.scheduling.annotation.EnableScheduling; @SpringBootApplication @EnableScheduling public class SpringBootPracticeApplication { public static v
![[SpringBoot] コピペでできる3ステップお手軽バッチ処理 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f462eca999e0629c1eda58d64867dd4092abac90/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Fspring.png)
Mozilla Re-Mix: Add-on Collectorにバッチ処理機能を追加するFirefoxアドオン「Massive Extender」
Firefox Add-onsにはコレクション機能というものがあり、ユーザー登録を行えばだれでもお気に入りアドオンのリストを作成したり、誰かのコレクションを参照することができます。 また、Add-on Collectorというアドオンを利用することによってFirefoxのアドオンマネージャから参照することができるようにもなっています。 「Add-on Collector」をインストールすると、アドオンマネージャには以下のようにお気に入り登録しているコレクションや、それに含まれているアドオンの一覧が表示されるようになり、これらをインストールしたり自分のコレクションへ追加したりすることができるようになっています。 しかし、これらの作業はアドオン一つずつに対して個別に行う必要があり、すべてをインストールしたりするようなことはできないようになっています。 自分が常用しているアドオンをコレクション化
バッチ処理をしよう。by 西川和久
Photoshopで何時も同じ処理をする時、 「毎回面倒なので何か自動化する良い手はないかな！？」と思ったことはないだろうか？ その方法を今回はご紹介する。 キーワードは"アクション"と"バッチ処理"だ。
Windowsで英語の文章を形態素解析する無料ツール「TreeTagger」の導入手順と使い方 （フリーソフトのPOS Taggerで，英文の単語分解・品詞判別をバッチ処理化） - 主に言語とシステム開発に関して
英語の文章を形態素解析する無料ツール「TreeTagger」の， Windows上での使い方。 英文を単語に分解し，品詞を判別し，各単語の原型を算出してくれる。 コマンドの使い方や，WSHバッチからの呼び出し方なども掲載。 （１） TreeTaggerの導入手順 （２） ためしに使ってみよう （３） WSHのバッチから呼び出そう （４） 参考資料 （１）TreeTaggerの導入手順 まずActivePerlをインストール。 下記のページで「Download Now」を押下し， 32bit版（x86）または64bit版をダウンロードする。 ActivePerl is Perl for Windows, Mac, Linux, AIX, HP-UX & Solaris | ActiveState http://www.activestate.com/activeperl そして Active
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本HPがPCIe直結の10TB半導体ストレージを出荷、バッチ処理需要を狙う
人に優しい定期バッチ処理を書く - 圧倒亭グランパのブログ
バッチ処理でWebページをPDFに変換する - jiroの日記
バッチ処理はSQLの一括処理で行おう！：ベンチャー社長で技術者で：エンジニアライフ
「Digdag x Dockerでモダンなバッチ処理環境を構築」でLTしました！
バッチ処理を“瞬速”にする半導体メモリアレイを発売 日本HP
手動で実行するバッチ処理を書く。 - パルカワ2
Ruby on Rails/定期的なバッチ処理を行う - 俺の基地
GData APIでスプレッドシートの排他制御とバッチ処理
画像をバッチ処理しよう -OneEdit – Batch Image Edit, Transfer & Upload ｰ Singer Song iPhone
すごく簡単にバッチ処理できるRailsプラグイン - 税理士業界でSaaS開発を行うプログラマの記録 - s21g
「生保にメインフレームは不可欠」ソニー生命が月1000件超のバッチ処理依頼を自動化
Photoshop のバッチ処理で大量の画像を一気に加工する | 簡単にわかるPhotoshop（フォトショップ）の使い方
サマータイムのITリスク、IoT機器やバッチ処理に混乱必至
たけまる / AtomPub の multipart 拡張と OpenSocial のバッチ処理
Rails でバッチ処理 - akishin999の日記
Cloud Dataflow入門（Python SDK バッチ処理編）
[nodeJS] バッチ処理プログラムを書く際に、コマンドライン引数を受け取る - YoheiM .NET
ノーチラスと富士通が協力、「Asakusa」バッチ処理の性能と信頼性を強化
バッチ処理実装時に考慮すべき事項 | メルカリエンジニアリング
Rails でのバッチ処理内でログを出力する方法 - akishin999の日記
Railsでバッチ処理を作成してみる（Rakeのタスクの場合） - yk5656 diary (旧)
バッチ処理の管理を「Rundeck」で効率化！スモールチームに最適なジョブ管理ツールとは | SELECK
YouTube Liveの超低遅延モードとは何なのか | 困ったらバッチ処理
[SpringBoot] コピペでできる3ステップお手軽バッチ処理 | DevelopersIO