JavaScript における文字コードの初歩 - 30歳からのプログラミング
この記事では、 JavaScript で文字コードを扱う際に知っておくべき概念である Code Point や Code Unit、サロゲートペア、といったものについて説明していく。 また、具体的にそれらの概念を使ってどのようにコードを書いていくのかについても扱う。 この記事に出てくるコードの動作確認は以下の環境で行った。 Deno 1.26.0 TypeScript 4.8.3 Code Point （符号位置） プログラムで文字を表現する方法は複数あるが、 JavaScript では Unicode という方法を採用している。 Unicode ではあらゆる文字に対して一意の値を割り振ることを目的としており、この値のことを Code Point （符号位置）という。 Code Point は 16 進数の非負整数で、文章中で表記するときは接頭辞としてU+をつける。 例えばAという文字の
(プログラマのための)いまさら聞けない標準規格の話 第2回 文字コード実践編 | オブジェクトの広場
プログラマがシステム開発において共通で必要となる、技術と業務の狭間の共通知識を解説します。連載第2回は文字コードの実践編です。 0. 前回の復習と今回の概要 システム開発で必要となる標準規格の話、前回 は文字コードの概要について説明しました。ざっくりまとめるとこんな内容でした。 「符号化文字集合」で文字集合と符号位置を定義し、「符号化方式」でバイト表現に変換していること。 日本では、しばらく文字集合 JIS X 0208 を、ISO-2022-JP、EUC-JP、Shift_JIS の符号化方式で利用してきたこと。 近年は、世界中の文字が扱える Unicode が主流となっており、UTF-8、UTF-16 などの符号化方式があること。 常用漢字、人名用漢字に限っても、字体を正確に扱おうとすると、JIS X 0208 の範囲では不十分であり、JIS X 0213、Unicode、サロゲートペ
ICU - International Components for Unicode
2024-04-17: ICU 75 is now available. It updates to CLDR 45 (beta blog) locale data with new locales and various additions and corrections. C++ code now requires C++17 and is being made more robust. The CLDR MessageFormat 2.0 specification is now in technology preview, together with a corresponding update of the ICU4J (Java) tech preview and a new ICU4C (C++) tech preview. See Downloading ICU > ICU
Handling Character Code in C
Cにおける文字コードの扱い 概要 Cで日本語文字を扱う場合の問題 ツールを使った文字コード変換 各文字コードの概略とCでの処理コード例 ASCII EUC Shift_JIS UTF-8 UTF-8対応の関数ライブラリ 概要 C言語で文字を扱う際には、 各文字に異なる整数値を割り当てた「文字コード」を用います。 これによって、 実際には整数型の一種である char 型に文字を格納できますし(実際は対応する整数値を格納している)、 整数と同じ比較演算子を用いて文字同士の辞書順比較を行うことができます。 Cでは元々、アルファベット圏の文字を想定しているため、 任意の一文字を char型(1バイト)で表すことにしています。 Cの仕様として文字コードまで決められてはいませんが、 今日では一般的にASCIIが使われます。 しかし、これでは256種類の文字しか区別できず、 日本語のように多数の文字を含
文字コード関連 - 技術情報Wiki
一般† 文字コードの世界の第一歩 - KAKEHASHI Tech Blog 2023.3 目に見えない文字を悪用してサイトを好き放題荒らされた話 - Qiita 2022.12 PythonでUnicodeコードポイントと文字を相互変換（chr, ord, \x, \u, \U） | note.nkmk.me 2022. Pythonで学ぶ文字コード - Qiita 2022.9 i18n g11n l10n m17n とは何なのかまとめてみた - mabots' blog 2012 i18n internationalization 国際化 l10n localization 地域化 m17n multilingalization 多言語化 g11n globalization グローバル化（m17nの別名） 「コピペできない文章」がコピペできなかった理由 2012.4.23 絶対にコ
７.２ ASCII の NUL と DEL の本来の意味 - 文字コードに関する覚え書きと実験
文字コードについて調べたことや実験したこと， テストプログラム，データファイルなどを随時掲載する予定です． ただし筆者の理解不足や誤解により誤りがあるかもしれませんので， ご利用は自己責任で． このページの主な更新は Blog でお知らせします． 表示確認ブラウザ：FireFox 22.0，IE8． ０．目次 シフトJIS Shift_JIS と Windows-31J (CP932) の違い シフトJIS ２バイト文字の判定 謎の検索ワード集 (シフトJIS編) 「Shift_JIS(SJIS，Windows-31J，CP932) ３バイト文字」 「Shift_JIS(SJIS，Windows-31J，CP932) サロゲート(ペア)」 「UTF-8 4バイト文字 Shift_JIS(SJIS，Windows-31J，CP932) 変換」 「Unicode(UTF-8，UTF-16) か
Windows上でperlを使って日本語ファイル名を操作する(メモ – OSAKANA TAROのメモ帳
slashdot.jpの「Perlはゾンビだ」に、日本語Windows環境において、perlを使って日本語ファイル名を操作する時の注意点がまとめられていたので、引用＆備忘録化。 過去にperlスクリプトを作る際、ファイル内に書かれた日本語の操作に関することはWindows/Linuxで動作が共通化できたものの、「日本語ファイル名の取り扱い」について、Windows上での動作がいまいち分からず、面倒になり、NASに該当ファイル群を置き、Linuxで処理する、ということをしたことがある。 その時に受けた感じからすると、以下の解説は非常に納得がいくモノだった。 「Anonymous Coward の書き込み (#2628619) 」より コマンドラインからの引数取得とかファイル操作とかのたびに @ARGV = map { decode(‘cp932’, $_) } @ARGV; とか open
[tips][perl] Perlで文字コードをいい感じに処理する方法 | Casual Developers Note
日頃のつまらないルーチンワークは全てスクリプト化している俺です。スクリプトは動的言語であれば気楽にかけるので何でもよいのですが、うちの会社の場合だと、ローカル環境はWindows、商用環境はLinuxなので、どちらでもそれなりに動くPerlをよく使います。スクリプティングでよくやるのは「ファイルを読み込み→いい感じの処理→ファイルを出力」だと思うので、そこら辺の注意点を忘れないように書いておきます。 Perlの文字コード Perlは内部で「内部文字列(flagged utf8)」というUTF-8によくわからないフラグがついた文字コードとして扱います。そのため、外部からの文字列のやり取りには、文字コード変換が不可欠です。文字コードを考えずに扱っていると、日本語を使った瞬間に文字化けです。 #1. まずは「use utf8;」を付けて、UTF-8で保存する。 # Perlファイル (UTF-8
![[tips][perl] Perlで文字コードをいい感じに処理する方法 | Casual Developers Note](https://cdn-ak-scissors.b.st-hatena.com/image/square/19868200f155b9762b568860e9f677282a6830b0/height=288;version=1;width=512/https%3A%2F%2Fcasualdevelopers.com%2Fwp-content%2Fplugins%2Fall-in-one-seo-pack%2Fimages%2Fdefault-user-image.png)
プログラミング言語における文字コードの話
世の中がほぼUnicode前提になってめでたしめでたし。とはいかなかった現実の話。 String型でできる文字列処理とか、ソースコード自体、特に識別子で使える文字とか。 軽くおさらい: Unicode まあいろんなところでいろんな人が書いてると思うのでさらっと概要だけ。 Unicodeは、元々、「65,536文字あれば十分だろ」とかいう幻想の元、2バイト固定長の文字コードとして作られていました。 もちろん足りなくて、ビット数を拡張。基本が2バイトのままでこの拡張した分を取り扱えるようにしたのが今のUTF-16で、拡張分は2文字分(4バイト)を使って表現。 この、2文字分使って1文字を表すやつのことをサロゲートペア(surrogate pair: 代理対)と呼びます。 あと、ASCII文字も2バイトになるのを欧米人が嫌って、ASCII文字はASCIIコードのまま、逆に漢字・ひらがな・カタカナ
文字コード地獄秘話 第1話：Unicodeにおける全角・半角 - ALBERT Engineering Blog
ごあいさつ 皆様はじめまして、文字コードおじさんです。細々とカメラ屋を営んでおりましたが、エンジニアとしての技量を評価され、ALBERTのシステム開発・コンサルティング部で働くことを許されました。特技はサーバーの統廃合です。 今回は最初ということですが、Unicodeにおける全角・半角の取り扱いについて触れてみようと思います。なお、さも連載するかのように第1話と銘打っていますが、上層部の無慈悲な裁決によっては1話打ち切りもありえますので、その際はご容赦ください。 固定観念を捨てよう 「全角50文字、半角100文字まで」といったような文言を見かけたことがあると思います。 特にUnicode以前のレガシーな処理系では全角文字に2バイト、それ以外は1バイトという割り当てが慣習となっていました。 このため、「全角=2バイト文字、半角=1バイト文字」という観念が世間に定着しているのが現状です。 しか
エクセルマクロの文字コード変換について。UTF8からSJIS変換 - VBA初心者です。以下のコードを使用してファイルの変... - Yahoo!知恵袋
エクセルマクロの文字コード変換について。UTF8からSJIS変換 VBA初心者です。 以下のコードを使用してファイルの変換を行うと、変換元のファイルが上書きされてしまいます。 有識者の方、コードの詳しい説明と解決方法をご教授下さい。 Sub UTF8toSJIS(ByVal InFile As String, ByVal OutFile As String) Const adTypeText = 2 Const adSaveCreateOverWrite = 2 Dim myST1 As Object, myST2 As Object Set myST1 = CreateObject("ADODB.Stream") Set myST2 = CreateObject("ADODB.Stream") myST1.Type = adTypeText myST1.Charset = "UTF-8"
UTF-8にもいろいろある - ザリガニが見ていた...。
前回からの続き。 改行コードの違いを体感してみる - ザリガニが見ていた...。 文字エンコードとロケールを体感する - ザリガニが見ていた...。 改行コードの違いも知った。文字コードとロケール、ターミナルの言語環境との関係も知った。これで文字にまつわる悩みとはおさらばできると思ったら、まだダメだった...。 実験環境 OSX 10.8 Mountain Lion以前((OSX 10.9 Mavericksでは、Mac仕様なNFDのUTF-8を表示しようとするとエラーになってしまったため、10.8以前の環境で実験した。Assertion failed: (width > 0), function conv_c, file /SourceCache/shell_cmds/shell_cmds-175/hexdump/conv.c, line 137. ** ** Abort trap: 6
a2ps 4.14 の UTF-8 対応 (日本語のみ Japanese Only)
説明 a2ps で直接 UTF-8 なテキストファイルを印刷しちゃおうという試みです。 Fedora や Ubuntu あたりのパッチだと、EUC-JP は印刷できるけど UTF-8 の ファイルを直接印刷しようとすると文字化けしてしまうのです。 UTF-8 なテキストファイルを iconv とかで EUC-JP に変換するようなラッパー スクリプトを書いちゃえば良いと言えばそれまでですが、一応そのまま印刷でき るようなパッチを作成してみました。 とはいえ、a2ps の中で nkf (libnkfm)使って EUC-JP に変換してるだけとい う、かなりお粗末なものなので、もちろんw 日本語にしか対応していません。 m(__)m あと、エラー処理なんてしてませんので、気になる方は適当に直していただけ ますでしょうか。修正したものをフィードバックしてもらえるとうれしかったり します。 a2p
VARCHAR2(10)で何文字挿入できるのか(ORA-12899)
Oracleで文字列を入れるための項目属性 Oracleのデータベースの項目属性を定義する時、VARCHAR2()があります。 VARCHAR2()は、可変長の文字列です。 ()の中の数字が、挿入できるbyte数となります。 このByte数を超えると、ORA-12899値が大きすぎますというエラーがでます。 では、実際何文字入るのでしょうか。 VARCHAR()とVARCHAR2()は何が違うの？ 本論に行く前に、少し余談です。 例えば、MySQLでは文字列の属性としてVARCHAR()があります。 しかし、OracleではVARCHAR2()です。 何故、Oracleは２なのでしょうか？ 実は、Oracleも以前はVARCHAR()で定義していました。 しかし、ある時から廃止になり、現在はVARCHAR2()のみが利用されています（経緯不明）。 OracleのVARCHAR2(10)は何
波ダッシュはチルダではない
コード変換において、JIS X 0208/0213の波ダッシュ「〜」(1面1区33点、 シフトJISでは8160)をUnicodeの「FULLWIDTH TILDE」(U+FF5E)にうつす実装は 不適切である。適切な変換先はWAVE DASH (U+301C)である。以下に理由を述べ る。 JISの規格では「〜」は「波ダッシュ」と記述されており、文字名称は WAVE DASHと規定されている。よってUnicodeのWAVE DASHに対応すると考える のが妥当。UnicodeのもとになったJIS X 0208-1990においてもやはり「波ダッ シュ」であった。チルダではない。 区点の並びからも、ダッシュやハイフンのような一般の記述記号の中にあ り、チルダが属すべきダイアクリティカルマークとは離れている。 Unicode仕様書のWAVE DASHの説明には「JIS punctuation」
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MinGWで_tmain()を使用する方法 - Frost Moon Project
外字を使うのはやめてくれ！ Unicodeへの移行を呼びかけるMicrosoftの公式ブログ記事が話題に／今や「メモ帳」でさえテキストファイルをUnicodeで保存する時代！ Shift_JISはやめよう【やじうまの杜】
できるかな お前たちのぽんこつパソコンでな
UnicodeのWAVE DASH例示字形が、25年ぶりに修正された理由 
全角チルダ問題
