perlunicode - Unicode support in Perl - Perldoc Browser
CONTENTS NAME DESCRIPTION Important Caveats Byte and Character Semantics ASCII Rules versus Unicode Rules Extended Grapheme Clusters (Logical characters) Unicode Character Properties General_Category Bidirectional Character Types Scripts Use of the "Is" Prefix Blocks Other Properties Comparison of \N{...} and \p{name=...} Wildcards in Property Values User-Defined Character Properties User-Defined
Unicodeプロパティを使ったPerl正規表現 - Hatena Developer Blog
こんにちは、Webアプリケーションエンジニアのid:nanto_viです。 Webアプリケーションを作っていると、「全角文字と半角文字を統一したい」「ユーザーの入力から漢字を抜き出したい」といったテキスト処理を行う場面にたびたび遭遇します。はてなではWebアプリケーションのサーバー側プログラミング言語としてPerlを多く使っていますが、PerlならこのようなときにUnicodeプロパティを用いた正規表現パターンで柔軟な処理が可能です。 Unicodeプロパティ 現在、ほとんどのプラットフォームで採用されている文字集合がUnicodeです。Unicodeでは文字だけでなくその文字の様々な特性(プロパティ)も定められており、テキスト処理の基礎情報として活用できます。 Perl正規表現でのUnicodeプロパティの利用 Perlの正規表現では、\p{Property_Name=Value}のよう
UTF-8 の範囲外の文字かどうか調べる - spiritlooseのはてなダイアリー
UTF-8 の範囲外の文字かどうか、どうやって判別したらいいのだろう - @kyanny's blog こんなんでどうでしょうか。 check_utf8.pl #!/usr/local/bin/perl use strict; use warnings; use Encode; while (<>) { eval { decode_utf8($_, Encode::FB_CROAK); }; if ($@) { warn "line $.: invalid utf-8 string"; } } というか、decode_utf8できるかってことだけど。 適当に $ cat utf8.txt euc-jp.txt sjis.txt utf8.txt > mixed.txt $ ./check_utf8.pl < mixed.txt とかで。 追記 なんとなくUTF-8じゃない部分のエンコーディ
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
Encode::decode_utf8()であってもis_utf8()を使うべき理由 - このブログはURLが変更になりました
404 Blog Not Found:#perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 Validationの観点だけではなく、簡潔性の観点からも、Encode::decode_utf8()はおすすめです。すでに UTF-8 flag がついた文字列はそのままコピーするだけなので、条件分岐も不要です。 これは厳密にはこうなる。 Validationの観点だけではなく、簡潔性の観点からも、Encode::decode_utf8()はおすすめです。すでに UTF-8 flag がついた文字列はEncode-2.13以降であればそのままコピーするだけなので、条件分岐も不要です。 Encode-2.12ではそのままコピーしてない。そのままコピーするのは2.13以降での実装。 --- Encode-2.12/Encode.pm 2005-0
#perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 : 404 Blog Not Found
2009年09月13日13:00 カテゴリLightweight Languages #perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 駄目です。 [を] Perl の utf8 まわりのおまじない 最近良く使うおまじない、というかイディオム。 utf8::decode($text) unless utf8::is_utf8($text); こういう場合は、Encode::decode_utf8()でないと。 以下をごらんください。 #!/usr/bin/perl use strict; use warnings; use Encode; use Devel::Peek; for my $bytes ( "\x2F", "\xC0\xAF", "\xE0\x80\xAF", "\xF0\x80\x80\xAF" ) { my $u
Ring
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
perl - で全角半角変換をモダンに行う : 404 Blog Not Found
2009年06月06日01:15 カテゴリLightweight Languages perl - で全角半角変換をモダンに行う 今ならLingua::JA::Regular::Unicodeが第一選択肢ですが、こういう方法もあるということで。 Perl で半角カナと全角カナの変換をする : Serendip - Webデザイン・プログラミング Perl を使って半角カタカナと全角カタカナの変換をするスクリプトを、標準モジュールの Encode.pm と Unicode::Japanese と Lingua::JA::Regular::Unicode を使ってそれぞれ変換スクリプトを書いてみる。 CORE Moduleのみを使うという縛りをかけています。 #!/usr/bin/perl use 5.008001; use strict; use warnings; use utf8; us
『HTTP::Message::decoded_contentはapplication/xhtml+xmlに対応してない - D-6 [相変わらず根無し]』へのコメント
暮らし HTTP::Message::decoded_contentはapplication/xhtml+xmlに対応してない - D-6 [相変わらず根無し]
![『HTTP::Message::decoded_contentはapplication/xhtml+xmlに対応してない - D-6 [相変わらず根無し]』へのコメント](https://cdn-ak-scissors.b.st-hatena.com/image/square/bd9916441f33f058f8a1d6688661af9582cc2fdd/height=288;version=1;width=512/https%3A%2F%2Fb.st-hatena.com%2Fbdefb8944296a0957e54cebcfefc25c4dcff9f5f%2Fimages%2Fv4%2Fpublic%2Fog_image.png)
HTTP::Message::decoded_contentはapplication/xhtml+xmlに対応してない - D-6 [相変わらず根無し]
HTTP::Message::decoded_contentはapplication/xhtml+xmlに対応してない decoded_contentで文字コード明示するも化けらった デコードするだけなら、この以下のコードをdecode前に足すだけで直ると思う my @ct = grep { /^text/i } $res->header('content-type'); $res->header('content-type', @ct); print $res->decoded_content; でもこれだけじゃあ答えが分かった、ってだけで後からこれを読んだ人のためにもならないので、以下どういう手順を取ったか説明してみる。 まず、最小限テストケースを用意。 実行するとばけらった。問題を確認した。この問題に関しては、decoded_content()が色々と問題があるのを事前に知っていた
URIモジュールにutf8フラグつきの文字列を食わせたらquery_formのエンコードが化けたでござるの巻 - とあるモバイル系エンジニアの日々
タイトル長い。っていうかそのまんまです。 #!/usr/bin/perl use strict; use warnings; use URI; my $s = 'http://example.com/?q=%82%e2%82%e9%95v%82%c5%8aw%82%d4'; utf8::upgrade($s); my $uri = URI->new($s); my %qf = $uri->query_form; $qf{flag} = 'ON'; $uri->query_form( %qf ); my $uri_str = $uri->as_string; これ、一見すると$uri_strは http://example.com/?q=%82%e2%82%e9%95v%82%c5%8aw%82%d4&flag=ONになりそうなんですが、実際には http://example.com/?q=
Using Unicode - Catalyst::Wiki
Prior to version 5.90040 it was required that you load the Catalyst::Plugin::Unicode::Encoding plugin to ensure proper decoding/encoding of incoming request parameters and the outgoing body response respectively. This is done in your MyApp.pm: use Catalyst qw/ -Debug ConfigLoader Unicode::Encoding /; Since that version the Unicode support was added to core by shipping the plugin with Catalyst and
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
use utf8 環境下で => オペレータの左辺が UTF8 flag on になってしまう - daily dayflower
use strict; use warnings; sub Dump { @_ = map { sprintf "'%s'(%s)", $_, utf8::is_utf8($_) ? 'utf8' : 'bytes' } @_; print {*STDERR} join(q{, }, @_), "\n"; } no utf8; Dump( foo => 'bar' ); #=> 'foo'(bytes), 'bar'(bytes) no utf8; だもんで，両者とも bytes なのは，まぁあたりまえ。 ところが，これを use utf8; で動かすと…… use utf8; Dump( foo => 'bar' ); #=> 'foo'(utf8), 'bar'(bytes) foo の UTF8 flag が on になってる！ use utf8 にしてたので，任意の文字列リテラルが
HTTP Response decoded_contentをちゃんと使ってみる - D-6 [相変わらず根無し]
HTTP Response decoded_contentをちゃんと使ってみる HTTP::Responseに格納された日本語ページをちゃんとデコードしてunicodeで持ちたかったので最初 my $body = $response->decoded_content(); ってやってたんだけど、これだとcp932 (!= Shift-JIS)でこけることが多くて、とりあえずヘッダーとMETAヘッダで見るかと思って以下のようにして、decoded_content() にcharsetが必要であれば渡されるようにした。 my %opts; if ( my $ct = $res->content_type ) { if ($ct =~ /charset=Shift_JIS/) { $opts{charset} = 'cp932'; } } if ( my $ref = $res->content
perluniadvice - daily dayflower
perluniadvice の前半部分を訳してみました。かなり意訳。 アドバイスと銘うってますが，中級者〜上級者向きです*1。 抄訳 perluniadvice Perl 付属のドキュメント perlunitut はもう読んだ？もしまだなら，そこから読み始めること :) perlunitut - perldoc.perl.org perlunifaq - perldoc.perl.org 以下にわたし（http://juerd.nl/）からのアドバイスの要約を挙げる。perlunitut には記述しなかった内容も含んでいる。 もしあなたが古い Perl を使っているのなら，最新版にアップグレードしよう もしあなたが古い CPAN モジュールを使っているのなら，最新版にアップグレードしよう 「外界」からやってくるデータはすべて decode() しよう 「外界」へ出力するデータはすべて en
[Catalyst][DBIx::Class][MySQL] CatalystアプリケーションのUnicode化2 - cyberlib.enterbrainz.com
・FillInForm安全対策 cpan[1]> install Catalyst::Plugin::FillInForm::ForceUTF8 ex) http://blog.hide-k.net/archives/2007/03/catalyst_2.php ※Catalyst::Plugin::FillInForm だと Catalyst::Plugin::Unicode の前にロードする必要があり、多分いつかハマるのでNG ・DBIx::Class で mysql 使う時 方法1 - DBD::mysql のオプションを使う (http://search.cpan.org/~capttofu/DBD-mysql-4.006/lib/DBD/mysql.pm) $ vim lib/MyApp/Model/MyAppDB.pm package MyApp::Model:
2006/03/09 - memo - unknownplace.org
とかあったんだ！ ほとんど同じやつ作ってた。 入れ替えた。 HTML::FillInForm::ForceUTF8 : blog.nomadscafe.jp ただ、Catalyst::Plugin::UnicodeやDBIx::Class::UTF8Columns、Class::DBI::utf8などを使っている場合、必要ないかも。 必要ないんですが、プラグインのロード順に気をつける必要があります。 というのも Unicode も FillInForm もどちらも finalize をオーバーライドしているので、Unicode のほうがあとに実行されるように use Catalyst qw/FillInForm Unicode/; と FillInForm よりも後ろに書いておく必要があります。 BKだなぁ。 kazeburo さんのやつをつかえばこれに気をつける必要もなくなるのでいいかも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bayashi.jp