DDLからダミーデータを自動生成するData::Generator::FromDDLを作りました - addsict's blog
開発時に、ダミーデータを大量にDBに入れたい場面がありますが(SQLの実行計画やスケーラビリティを確認したい時など)、 DBのDDLを変更する度にデータ生成のスクリプトを書き直すのはめんどくさいですよね。 そこで、CREATE TABLE文やALTER TABLE文などのDDLから、適切なダミーデータを自動生成するData::Generator::FromDDLというCPANモジュールを作りました。 https://metacpan.org/pod/Data::Generator::FromDDL https://github.com/addsict/Data-Generator-FromDDL インストール $ cpanm Data::Generator::FromDDL インストールすると datagen_from_ddl(1) というCLIのコマンドもインストールされるので、その使い
Perlでカジュアルに単体テストのフィクスチャを扱う - addsict's blog
PerlでDBを使った単体テストを行う時は Test::mysqldや Harrietを使ってDBのプロセスを立ち上げたりしているのですが、 テスト毎にフィクスチャを定義するカジュアルなやり方がないなーと感じてました。 そこで__DATA__セクションにSQLをそのまま書きフィクスチャデータとして扱える Data::Section::Fixtureというモジュールを作ったので紹介します。 Data::Section::Fixture インストール $ cpanm Data::Section::Fixture 使い方 まず以下のサンプルコードのように、テストの__DATA__セクションにsetupとteardown用のSQLをベタ書きします。 このSQLはwith_fixture関数に渡したコードが実行される前と後に呼ばれて、フィクスチャをセットアップすることができます。 あとはテスト本体で
とにかくややこしいことをしない ORM がほしくて Coteng とかいうCPANモジュールを作った - ゆううきブログ
名前の通り、Teng::Lite みたいなモジュールを作った。 Teng::Lite でも良かったけど、なんとなくそれっぽい名前が思い浮かんだのでそれにした。 ORM というよりはやや重めのDBIラッパーかもしれない。 Coteng-0.07 - Lightweight Teng - metacpan.org - Perl programming language y-uuki/Coteng · GitHub 早速、会社で作ってるサーバ管理アプリケーションのTengをCotengに置き換えてみた。 サーバ管理アプリケーションの話はこっち。YAPC::Asia 2013ではてなのサーバ管理ツールの話のはなしをしました - ゆううきブログ 背景 普段Perlの ORM として、Teng にお世話になっている。 ただ、最近採用しているフレームワークとの相性が悪くて、そんなに使わない機能があったり
VOYAGE GROUP エンジニアブログ : PerlのO/Rマッパ、 Teng の便利な使い方のご紹介
2013年08月01日09:54 カテゴリprogramming PerlのO/Rマッパ、 Teng の便利な使い方のご紹介 こんにちは、Research Panel Asiaの大山です。 今回は、Perlで最近ホットなO/Rマッパ、 Teng の便利な使い方を共有いたします。 みなさんは、 sqlite> .tables user_log_2013_03 user_log_2013_04 user_log_2013_05 user_log_2013_06 user_log_2013_07 user_log_2013_08 こんな要領で、定期的にDBにテーブルが作られていくような仕組みを見たことはあるのでしょうか。 最近のMySQLでは著しくパーティショニング機能が改善されていますが、少し前のバージョンを使用していると 制約と制限 の都合で選びにくかったり、テーブルが巨大になるとスキーマの
【Amon2のオレオレTips】MVCを意識したModelの具体的な実装とその考察 | hirobanex.net
Tengをかます場合は、Rowクラスをどうするかで一長一短という感じだと思っているんですが、どうでしょうか?SQL系のDBを使わない場合とか、よく知らなんで、そういう場合はどうなるのかなーと思ったりするのですが、なかなかNoSQL的なやつを使うという状況にも出くわさないので、そんなケースにも出会ってみたいなーとか思ったりする次第です。 「DBクラスを拡張」の実装コード 次に個別の実装例別にサンプルコードを、DBクラス、MyAppクラス別、Dispatcherクラス、テストコードなどを、示していきたいと思います。 MyApp::Model::DBクラス package MyApp::Model::DB; use parent 'Teng'; use Smart::Args; __PACKAGE__->load_plugin('Count'); __PACKAGE__->load_plugin
DBI->connect 時に使う鉄板オプションを教えて！ - blog.nomadscafe.jp
perlでデータベースを使う時に誰もが必ず使うDBI。その接続時に使うconnectメソッドの第4引数に設定しているオプションがサービスによりまちまちなんだけど、だれか鉄板設定を教えてください。 僕が使うのが、 my $dbh = DBI->connect($dsn, $user, $password, { AutoCommit => 1, PrintError => 0, RaiseError => 1, ShowErrorStatement => 1, AutoInactiveDestroy => 1, }); これ。 加えて、mysqlであれば mysql_enable_utf8 => 1 mysql_auto_reconnect => 0, SQLiteだと sqlite_unicode => 1 sqlite_use_immediate_transaction => 1 を追加し
DBIx::TransactionManager の目的と、その使用法について - tokuhirom's blog
おはようございます。 DBI では当たり前のように $dbh->do('BEGIN') と $dbh->do('COMMIT') をつかえばトランザクションがつかえるわけですが、なぜ DBIx::TransactionManager のようなものが必要になったのでしょうか。 それは勿論、DBI で直接 transaction をとりあつかうと問題が発生するケースが存在するからです。 トランザクションと RAII一番おおきいのは、トランザクションが中途半端な状態になってしまうことを阻止することです。たとえば、以下のようなケースでは、おかしなことになってしまいます。 my $dbh = DBI->connect(...); for (@stuff) { eval { $dbh->do("BEGIN"); $dbh->do(q{INSERT INTO t1 (v) VALUES (?)}, $_
にひりずむ::しんぷる - sprintf っぽく SQL を書ける SQL::Format リリース
ちょくちょく書いてた SQL::Format が大体できたので CPAN に上げました。 機能的にはざっくり以下のような感じ sprintf() の SQL 版みたいな sqlf() 関数を export new() してオブジェクトとしても使える select() / insert() / update() / delete() 完備 sqlf() と同じ format() もある SQL::Maker と SQL::Abstract の syntax をそれなりに実装 という感じで、オブジェクトとして使う場合は、SQL::Maker とか SQL::Abstract と遜色なく使えるかと。 ($stmt, @bind) = sqlf 'SELECT %c FROM %t WHERE %w %o' => ( '*', # %c 'foo', # %t { hoge => 'fuga' }
MySQL::Sandboxで作った環境にpluginをぶち込む - 愛と勇気と缶ビール
最近になってようやくMySQL::SandboxでlocalにMySQLのsandbox環境を作って、「マジ便利だなぁ、Perl使ってない人も使うべしなツールだなぁ」という気分になっております。 で、今回はせっかくなのでMySQL::Sandboxで作った環境でより色々なことを試せるようにQ4MやHandlerSocketを入れてやるぜ、という記事です。 http://search.cpan.org/~gmax/MySQL-Sandbox-3.0.25/lib/MySQL/Sandbox.pm#sbtool_-o_plugin この辺ちょっと読めば「sbtool -o plugin を使うんやな」ということは誰にでもわかるのですが、実際にやってみないと「じゃあlibqueue_engine.soはどこに置いてたらいいの！」というような細かい部分がわからないので、その辺のメモです。 ちなみに
Teng の不具合を直してもらった話 + 機能追加してもらった話
tsucchi @tsucchi @nekokak Teng::Row で、set_column してから update する呼び方だと deflate されないみたいです。 2012-02-29 18:46:15
migrationライブラリの紹介 - Articles Advent Calendar 2011 Dbix
こんにちは! 子供のころは、誕生日がクリスマスと一日違いだったために誕生日プレゼントとクリスマスプレゼントがよく一緒にされてました。walf443です。 Migrationとは? 複数人でプロジェクトを開発していると、途中でDBのschemaが変更になったりすると、schemaの変更方法が記述されてないと、手元で気軽にテストしたりしづらくて、困ります。 schemaの管理方法は、プロジェクトによって色々あるかと思いますが、別のbranchの担当者に「あれっ、ここ替えたんでよいんでしたっけ?」と聞いたり、DBのschemaを丸ごとされているファイルをチェックして、diffをチェックしてからALTER TABLE文を考えて適用、とかになったりしてしまいます。 Ruby on Railsとかだと、Migrationという仕組みをサポートしていて、(開発者がちゃんと書いていれば)様々なバージョンの
DBIx::QueryLog で DBI で実行された SQL を丸見えにする！ - Articles Advent Calendar 2011 Dbix
こんにちは、最近 PSP1000 の電池が一瞬で切れてしまってまともにゲームができない xaicron です。 さて、みなさんは DBI から吐かれた SQL をみたいなーと思うこともあるでしょう。 そんな時は、$ENV{DBI_TRACE} = 2 とかしてみると、ドバーッといっぱいデバッグログが出てきて、 その中に実際に発行された SQL がちょろっと出てたりするのでこいつを頑張ってパースすればいい感じですね！ っていうのはだいぶ面倒だったりしますね。あたりまえですね。 そこで、use するだけでとりあえず全部の発行された SQL を STDERR にはいてくれるモジュールを書きました。 その名も DBIx::QueryLog です。そのままですね。 つかいかた 使い方は至極簡単で、どっかで適当に use するだけです。ほかには何もいりません。 そうすると、以下のような感じで STDE
自己参照の階層構造を持つテーブルをツリー形式にする DBIx::Tree - Articles Advent Calendar 2011 Dbix
こんにちは！こんばんは！毎日フェッチしてますか！bayashi です！ DBIx 系を自分で書いたことがなく、果てしなくネタに困り、しょうがないから CPAN で DBIx 検索して見つけた、面白そうなモジュールを紹介します。もちろん、ニッチなのを攻めてみますよ！ その名も、DBIx::Tree。なんだこれ！ このモジュールは、いわゆる Adjacency List Model のテーブルを、ツリー形式で見るためのモジュールです。 Adjacency List Model というのは、階層構造を持つデータです。RDBMSにおいては、通常、シンプルにフラットな複数のリスト同士を、関連するidでヒモ付けることで階層構造のようなものをつくることが多いと思いますが、Adjacency List Model においては、ひとつのテーブルのレコードそれぞれにユニークなIDと、同じテーブルのレコードにヒ
DBIx::Handlerで安心DB生活 - Articles Advent Calendar 2011 Dbix
こんにちは！nekokakです！ 今年はボクが作ってるDBIx::Handlerというものを紹介してみる。 DBIx::HandlerはDBIのラッパーでありDBのコネクション周りの管理に重点を置いたモジュールである。 ORMを使わずにDB周りの処理を行いたい場合はこのDBIx::Handlerを使うことをおすすめする。 自分でDBIのインスタンスを生成し利用する場合どこまで正しくコネクション管理をあなたはできますか？ そもそも親プロセスで接続したdbのインスタンスを子プロセス側でも利用することの問題を正確に把握していますか？ そこまで正しく細かく理解し自分で実装できたとしてもだ、新しいプロジェクトを作るたびにそのコードをコピペするのか？ そこでDBIx::Handlerの出番だ。 DBIx::Handlerはそのあたりの処理をすべて面倒みてくれる。 もうあなたは いつDBとの接続が着られ
Test::mysqld + perl -d を使うと SQLがそのまま叩けて便利 - k12uのアレ
id:zigorou 先生に教えてもらった技をメモ。 (あとで調べてみたら http://perl-users.jp/articles/advent-calendar/2010/hacker/1 ですでに言及されていましたが、SQL叩けるというところだけ強調して再掲) まずテストを用意します。 [kawamoto.m@mm1:~]$ cat 01.t use Test::More; use Test::mysqld; my $mysqld = Test::mysqld->new( my_cnf => { 'skip-networking' => '', # no TCP socket } ) or plan skip_all => $Test::mysqld::errstr; ok(1); done_testing;perl -d でtestを走らせます。 [kawamoto.m@mm1:
Perlでシグナル処理（DBIを黙らせる編） - D-6 [相変わらず根無し]
Perlでシグナル処理（DBIを黙らせる編） 2011年4月27日 01:42 D | ブログ記事のURL | コメント(0) | トラックバック(0) なんかふと気づいたら最近以前書いたPerlでシグナル処理の記事にブクマがついていたので続き的な感じで書いてみた。 例えば 以下のように、ワーカーとかでずーーーーっとDBにクエリを投げてその結果を使って処理をする、というような処理を書くとする while ( $loop ) { my $sth = $dbh->prepare( .... ); $sth->execute(); while ( $sth->fetchrow_arrayref ) { .... } } 以前書いた%SIGを用いたPerlの普通のシグナル処理では、もしexecute()でブロックしていた場合など（例：Q4Mでqueue_waitしてる）ではいくらSIGINTとかを
Iterator::GruopedRange 0.02 Released - 日向夏特殊応援部隊
さて、ちょっとしたことからタイトルのようなモジュールを書いて見ました。Iterator::GroupedRange モジュールは簡単に説明すると、リストまたは別の(複数行ずつ返す)イテレータから指定行数分まとめて列挙するというモジュールです。 0.01 で SYNOPSIS を思いっきり間違えてたので、正しいものをこちらに。*1 use Iterator::GroupedRange; my @ds = ( [ 1 .. 6 ], [ 7 .. 11 ], [ 11 .. 25 ], ); my $i1 = Iterator::GroupedRange->new( sub { shift @ds; }, 10 ); $i1->next; # [ 1 .. 10 ] $i1->next; # [ 11 .. 20 ] $i1->next; # [ 21 .. 25 ] my $i2 = Ite
Tengでのコネクション管理について
現在Tengでのコネクション管理方法を模索中です。 旧来までのSkinny方式のメリットは connect_infoがある場合はTeng側で コネクションの接続管理（再接続等）、 トランザクション管理（コネクションとトランザクションは同時に意識して管理する必要がある） がある程度可能な所でしょう。 ただ、問題もあります。 Skinny/Tengではnewする時などに外部で生成したdbhを受け取り それを使う事が可能なのですが、connect_infoが不明なため、 Skinny/Teng側ではreconnectしようがないので、若干挙動が分かりにくくなる所でしょう。 (dbhからconnect_infoを取れないのは検証済み..いや、取れるよ！って場合は教えてください！) またコネクションの再接続は切れてるから接続し直せば良いというものでもありません。 トランザクション中だったり、on m
第39回 DBIx::Skinny：DBIx::Classに不満を感じたら | gihyo.jp
DBIC以降の選択肢 今回はデータベース話の締めくくりとして、DBIx::Class以降に登場したいくつかの選択肢についてざっくりまとめておきます。これらはいずれも若く、DBICに比べてユーザ数も少ないためドキュメントなどの整備が遅れている部分もありますが、今回とりあげるものの多くは日本人がつくっているものですから、英語圏で開発が進められているものより疑問や要望は送りやすいはず。気になることがあったらぜひそれぞれの作者氏に伝えていただければと思います。 DBIx::Skinny nekokakこと小林篤氏のDBIx::Skinnyは、今回紹介するもののなかではもっとも実績豊富なものといってよいでしょう。開発の動機については氏のブログによくまとまっていますが、標準で用意されているCRUDメソッドを使うときだけでなく、速度を稼ぐために生のSQLを書いたときでもinflateなどの補助機能を使え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - bayashi/App-FromUnixtime: to convert from unixtime to date suitably