perlunicode - Perl における Unicode サポート - perldoc.jp
Unicode support is an extensive requirement. While Perl does not implement the Unicode standard or the accompanying technical reports from cover to cover, Perl does support many Unicode features. Unicode サポートは大規模な要求です。 Perl は標準 Unicode や付随する技術的なレポートを一つ残らず 実装しているわけではありませんが、多くの Unicode 機能を サポートしています。 People who want to learn to use Unicode in Perl, should probably read the Perl Unicode tutorial, per
Perl: 文字コードとutf8フラグについて
文字コードとutf8フラグ Perl において、「文字コード」と「utf8フラグ」は別物です。文字コードの話の中で utf8フラグが語られるので、同じもののように思っている人も多いかもしれませんが、別物です。いや、たとえば同じものだとしても、別物だと思った方が理解しやすいと思います。 文字コード は文字とコードのマッピングに名前をつけたもので、utf8フラグは、Perlにおける文字列の扱いに付随するフラグのことです。 たとえば、以下のようなソースコードをレガシーな感じに EUC-JP で書いていたとして、 my $euc_str = 'ソースが EUC-JP なのでここは EUC-JP'; $euc_str には EUC-JP の文字列が格納されています。 これを、utf8フラッグド(utf8 flag on)にしてみます。 use Encode; my $euc_str = 'ソースが
Man page of ICONV
Section: Linux User Manual (1) Updated: 2020-06-09 Index JM Home Page roff page 名前 iconv - テキストをある文字符号化から別の文字符号化に変換する 書式 iconv [options] [-f from-encoding] [-t to-encoding] [inputfile]... 説明 iconv プログラムはある符号化 (encoding) からテキストを読み出し、 別の符号化でそのテキストを出力する。 入力が指定されなかった場合、 もしくは入力ファイルとしてダッシュ (-) が指定された場合、 iconv は標準入力から入力を行う。 出力が指定されなかった場合、 iconv は標準出力に出力する。 from-encoding が指定されなかった場合、 デフォルトは現在のロケールの文字符号化から
.NET で文字エンコーディング クラスを使用する方法 - .NET
この記事では、.NET に用意されている、さまざまなエンコード スキームを使用してテキストをエンコードおよびデコードするためのクラスの使用方法について説明します。 この手順は、.NET での文字エンコードの概要に関する記事を既に読んでいることを前提としています。 エンコーダーとデコーダー .NET には、さまざまなエンコード システムを使用してテキストをエンコードおよびデコードする、エンコーディング クラスが用意されています。 たとえば、UTF8Encoding クラスには、UTF-8 へのエンコードと UTF-8 からのデコードに関する規則が記述されています。 .NET では、string インスタンスに対して UTF-16 エンコード (UnicodeEncoding クラスによって表されます) が使用されます。 エンコーダーとデコーダーは、他のエンコード スキームでも使用できます。
ASCIIコードの秘密 - ザリガニが見ていた...。
本当はエスケープシーケンスのことを調べていたのだが、その前にASCIIコードについて調べることになってしまった...。文字コードの基本として知っているつもりだったASCIIコードについて、あらためて見直してみると、実は本当の意味をよく分かっていなかったことに気づいた。 ASCIIコード表 ASCIIコードは、7ビット（2進数7桁）の文字コードであり、全部で128のコードが定義されている。 最も基本的な文字コードであり、その他多くの文字コードはこのASCIIコードと互換性を維持している。 00 10 20 30 40 50 60 70 00 NUL DLE SP 0 @ P ` p 01 SOH DC1 ! 1 A Q a q 02 STX DC2 " 2 B R b r 03 ETX DC3 # 3 C S c s 04 EOT DC4 $ 4 D T d t 05 ENQ NAK % 5
ASCIIコード表
ASCIIコード表 10進16進文字 0 0x00 NUL（null文字) 1 0x01 SOH（ヘッダ開始） 2 0x02 STX（テキスト開始） 3 0x03 ETX（テキスト終了） 4 0x04 EOT（転送終了） 5 0x05 ENQ（照会） 6 0x06 ACK（受信ＯＫ） 7 0x07 BEL（警告） 8 0x08 BS（後退） 9 0x09 HT（水平タブ） 10 0x0a LF（改行） 11 0x0b VT（垂直タブ） 12 0x0c FF（改頁） 13 0x0d CR（復帰） 14 0x0e SO（シフトアウト） 15 0x0f SI（シフトイン） 16 0x10 DLE（データリンクエスケープ） 17 0x11 DC1（装置制御１） 18 0x12 DC2（装置制御２） 19 0x13 DC3（装置制御３） 20 0x14 DC4（装置制御４） 21 0x15 NAK（
VARCHAR2(10)で何文字挿入できるのか(ORA-12899)
Oracleで文字列を入れるための項目属性 Oracleのデータベースの項目属性を定義する時、VARCHAR2()があります。 VARCHAR2()は、可変長の文字列です。 ()の中の数字が、挿入できるbyte数となります。 このByte数を超えると、ORA-12899値が大きすぎますというエラーがでます。 では、実際何文字入るのでしょうか。 VARCHAR()とVARCHAR2()は何が違うの？ 本論に行く前に、少し余談です。 例えば、MySQLでは文字列の属性としてVARCHAR()があります。 しかし、OracleではVARCHAR2()です。 何故、Oracleは２なのでしょうか？ 実は、Oracleも以前はVARCHAR()で定義していました。 しかし、ある時から廃止になり、現在はVARCHAR2()のみが利用されています（経緯不明）。 OracleのVARCHAR2(10)は何
マイナスが文字化け
a-blogというブログ作成パッケージを使って、 友人のブログを構築している時のこと。 カスタマイズするモジュールがいくつか公開されていて、 そのモジュールを処理していると思われるときに、 不正な文字があるというメッセージが表示される。 a-blogの他の部分のソースは非公開なので、 （どこかに出力されているかもしれない）ログをたよりにプログラムを追いかける という外科的な診断はできない。 カスタマイズの状況をかえながら、発生する現象を観察する という内科的な方法を試みた。 カスタマイズ用のモジュールの文字化けが原因とのベンダからのアドバイスをうけて、 そのモジュールを Java 5.0 で読み込みコンソールに表示してみた。 エディタ（秀丸エディタ 4.14）では普通に表示されている全角マイナスが、 コンソールには、? と表示されているではないか。 そういえば、 Unicode と コード
コンピューターで全漢字使用可に ６万字コード化 | NHKニュース
日本語の漢字は、戸籍などに使われているものも含めると６万字あるのに対し、コンピューターは、実は１万字しか扱うことができません。これに対し、このほど１５年越しの作業の末、６万字すべてが統一の規格にまとめられて、コンピューターがすべての漢字を扱えるようになり、ビッグデータの活用をはじめさまざまな効果が期待されています。 中には、メーカーなどが独自に対応した外字もありますが、コードが無いために、メーカーごとの互換性が無く、データを受け渡してもコンピューターが認識できずに「文字化け」してしまったり、ある人の名前に本名の外字を充てたものと略字を充てたものの２つのデータがあった場合、コンピューター上では、別の人と認識されてしまったりするなどの問題が起きていました。 このためＩＰＡ＝情報処理推進機構は平成１４年から、経済産業省とともに外字を含めたおよそ６万字の漢字１つ１つに、コードを割りつける作業を進め
HTML文書は文字エンコーディングUTF-8でなければなりません - 水底の血
さよならレガシーエンコーディング。 文字エンコーディング宣言が存在するかどうかにかかわらず、文書のエンコードに使用される実際の文字エンコーディングはUTF-8でなければならない。 4.2.5.5 文書の文字エンコーディングを指定する - HTML Standard 日本語訳 Require utf-8 when specifying character encoding by sideshowbarker · Pull Request #3091 · whatwg/htmlにより、HTMLで使用できるエンコーディングはUTF-8のみとなりました。これにより、古いHTMLでは許容されていた、Shift_JIS、ISO-2022-JP、EUC-JP、UTF16LEといった文字エンコーディングは適合するHTMLではなくなりました。すでにNu Html CheckerでUTF-8以外の文字エンコー
寿司=ビール問題 : MySQL 8.0でのUTF8サポート入門 (MySQL Server Blogより) | Yakst
これまでのMySQLでよく問題になった、絵文字や日本語の文字の照合やソート順序の問題に関して、来たるMySQL 8.0では大幅な改善が加えられる予定になっている。この問題の概要と今後の改善方針について、MySQL開発チームからの解説。 免責事項 この記事はManyi Lu氏によるMySQL Server Blogの投稿「Sushi = Beer ?! An introduction of UTF8 support in MySQL 8.0」(2017/1/13)をユーザが翻訳したものであり、Oracle公式の文書ではありません。 MySQL 8.0での私たちの計画として、utf8のサポートを大幅に改善します。utf8サポート自体はMySQL 4.1の頃にさかのぼりますが、いくつかの制限が存在しています。記事タイトルにもある「寿司 = ビール」問題は、バグ#76553のことを指しています。少
新たな元号はJIS X 0213に入るのか | yasuokaの日記 | スラド
いつか遠い未来に新たな元号が決まったとして、それはJIS X 0213に収録されるのか、という趣旨の質問をいただいた。現在、1-13-77「㍾」、1-13-78「㍽」、1-13-79「㍼」、1-13-63「㍻」がJIS X 0213に収録されているので、これに新たな元号が追加されうるのか、という疑問である。私(安岡孝一)個人の意見としては、かなり難しそうだと思う。というのも、これらの『国内実装互換文字』は、以下のような経緯で選定されたからだ(JIS X 0213:2000解説p.511)。 4.4.12 国内実装互換文字 この規格では，過去の資産との互換性を維持するため，国内のパーソナルコンピュータなどで広範に実装されていた1面13区のJIS外字については，非漢字の選定の規準の適用を除外することととし，JIS X 0208と重複しているものを除いた73文字を，面区点位置を保存して採録するこ
README のファイル名が大文字である理由 - clock-up-blog
README のファイル名は慣習的にすべて大文字（であることが多い） GitHub でプロジェクトを作るときに README を作成するオプションを入れておくと、README.md というファイルができる。それ以外の場所のプロジェクトでも README.txt や README など、ファイル名がすべて大文字になっているものをよく見かける。 なんか気持ち悪いなぁ、って思ってました。 readme でいいじゃん、と。 詳解 Linuxカーネル 第3版 作者: Daniel P. Bovet,Marco Cesati,高橋浩和,杉田由美子,清水正明,高杉昌督,平松雅巳,安井隆宏出版社/メーカー: オライリー・ジャパン発売日: 2007/02/26メディア: 大型本購入: 9人 クリック: 269回この商品を含むブログ (71件) を見る 調べてみた README - Wikipedia, th
[小ネタ][git] 日本語ファイルの文字化けを回避する | DevelopersIO
gitで日本語ファイルが文字化けする こんばんは。小室です。gitを使っていて日本語のファイル名を入れるとファイル名の表示が崩壊するという経験をしました。 割と今までは放置していたのですが、きちんと日本語ファイル名を表示するコマンドを教えてもらったため、備忘録として記録しておきます。 若干人を小馬鹿にしたようなファイル名のファイルを配置したディレクトリをサンプルとして用意しました。 $ ls -la total 8 drwxr-xr-x 4 komurohiraku staff 136 Mar 25 19:09 . drwxr-xr-x 22 komurohiraku staff 748 Mar 25 19:08 .. drwxr-xr-x 10 komurohiraku staff 340 Mar 25 19:08 .git -rw-r--r-- 1 komurohiraku staff
![[小ネタ][git] 日本語ファイルの文字化けを回避する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/449a6ff1c4f7545a1c9c8678f784a4711116a965/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F01%2Fgit.png)
符号化文字集合と文字符号化方式 - 「プログラマのための文字コード技術入門」を読んだ - $shibayu36->blog;
最近文字コード周りでハマった時に、文字コードというものをそもそもちゃんと分かってないと気づいた。そこで「プログラマのための文字コード技術入門」を読んで勉強してみた。 プログラマのための文字コード技術入門 (WEB+DB PRESS plus) (WEB+DB PRESS plusシリーズ) 作者:矢野 啓介技術評論社Amazon この本はコンピュータにおける文字について体系的にまとめてくれている。ASCIIやLatin1、UTF-8やUnicodeについて、どういう分類で何のために使われているかを知ることができる。また、歴史も合わせて教えてくれるので、今現状起こっている問題(円マークとバックスラッシュ問題とか)がどういう経緯で起こってしまったのかなどを理解できる。 簡単な文章で書かれているので、一度でも文字コードに関係することでハマったことのある人なら、どんどん読めると思う。ただ、符号化文
誕生日に一人で仕事しながら見ると元気が出る「ﾕ･鬣`､ﾎ･､･ﾟ･ﾆｩ`･ｷ･逾?ﾎﾕ」5選 - 自省log
先日以下のような記事を書きまして 誕生日に片思いの相手から電話がかかってきた。 - 自省log 要約すると 誕生日に片想いの人から電話があって、うぉおおおお！ってなってうぉおおおおおおお！！！ってなった 話で、おかげ様でたくさんの方にご覧いただいた次第でございます。皆さんその切はありがとうございました。 ただ上記記事を投下した5月24日(私の誕生日)はなんだか休日出勤を余儀なくされておりまして、何故誕生した日に一人さみしく休日出勤しなければいけないのか。なんて毒付きながら半べそかいておりましてね。 そんな自分へのご褒美を買うべく、Amazonで「馬のたてがみ」と検索したら、「ﾕ･鬣`､ﾎ･､･ﾟ･ﾆｩ`･ｷ･逾ﾎﾕ」みたいな商品が出てきまして、すごく元気になりましたので本日は皆さんにもおすそ分けすることにしました。 誕生日に一人で仕事しながら見ると元気が出る「ﾕ･鬣`､ﾎ･､･ﾟ･ﾆｩ`
アルファベットをすべて選択して半角に統一する [ワード（Word）の使い方] All About
アルファベットをすべて選択して半角に統一する文書中のアルファベットをすべて全角や半角に統一したいと思ったことはありませんか。そのためには、文書中のすべてのアルファベット（全角・半角）を選択したあとで、全角や半角に置き換えると簡単です。今回は、その具体的な操作を紹介します。 アルファベットだけを選択できたら便利なのに…… 文書中に「Windows」や「Office」といったアルファベットを入力するとき、皆さんは全角で入力していますか？ あるいは半角でしょうか？ 私は半角で統一しています。理由は、仕事で書く原稿では半角のアルファベットを要求されるからです。Webサイトや雑誌・書籍などでは、半角アルファベットの方がきれいに見えるため、原稿も半角のアルファベットなのです。 このため、仕事ではない文章を書くとき、たとえば私用のメールを書いたりブログを書いたりするときもアルファベットは半角で統一する癖
![アルファベットをすべて選択して半角に統一する [ワード（Word）の使い方] All About](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f530daf3cb408d6b6a0ba6f38ed7ccece36cffc/height=288;version=1;width=512/https%3A%2F%2Fimg.aacdn.jp%2Faa%2Fcommon%2Fogp300_300.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JISから迫る文字コード入門
「絵文字に平等をサポートしてください」人種差別の指摘にゆれるUnicode 
プログラムの文字コードにUTF-8を使用する
