2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnicodeを使うために必要な知識をエンジニアのニキータ・プロコポフさんが解説しています。 The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!) @ tonsky.me https://tonsky.me/blog/unicode/ Unicodeの歴史と利用率の推移をまとめたグラフは下図の通り。2000年代後半から急速に普及が進んでいったこ
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian Kernighan の手によって追加されたと話題になった（参照）ことを覚えているでしょうか？ Brian Kernighan が誰だか知らない方がいるかもしれないので説明すると、オリジナルの awk の開発者の一人で awk の頭文字、Alfred Aho、Peter Weinberger、Brian Kernighan の一人です。通称「K＆R」の「プログラミング言語C」や「プログラミング言語AWK」
まえがき ミャンマーでは公用語としてビルマ語が使われている。ビルマ語の表記にはビルマ文字を用いるのだが、このビルマ文字のインターネット上での使用は、混迷を極めていた。そしておそらく今もまだ…。なぜか？ それは、Unicodeという文字コードの標準がありながら、Zawgyiというものが広く使われていたためである。なぜそのようなものが登場し、普及することとなったのか、この記事で解説する。 目次 まえがき 目次 凡例 この記事で使う名称について ビルマ語表記 コードポイント ラテン文字表記について Zawgyiの概説と歴史 Zawgyiとは Zawgyiのダウンロード Zawgyi誕生・普及の経緯 複雑なビルマ文字 ビルマ文字とUnicode 回避策としてのビルマ文字フォントの登場 Zawgyiの普及 Zawgyiの実装 実装の方針 文字の並べ替えをせず、左から右に書く 文字の形のバリエーション
ファイルアップロードではNFC/NFD問題に気をつけろ！~MacファイルシステムにおけるUnicode正規化の闇~
NFCではそのまま「パ」として表されますが、NFDでは「ハ」（基底文字）と「゜」（結合文字）の組み合わせとしての「パ(UTF-8でe3 83 8f e3 82 9a)」（合成文字）で表されます。試しにNFDで正規化された「パ(e3 83 8f e3 82 9a)」を任意のテキストエリアに貼り付けて削除してみると、半濁音のみが取れて「ハ」のみになると思います。 このように文字列の正規化形式が異なる場合、単純な比較演算子での評価は困難であり、文字列によっては想定外の挙動を引き起こす可能性があります。 特にMacファイルシステムではNFDを正規化方式と採用しているため、NFC/NFD問題が度々引き起こされています。先日(2023年03月27日)リリースされた「macOS 13.3 Ventura (22E252)」では、ファイル名に濁音や半濁音が含まれるファイルがFinderから開けなくなる
本記事は 【Advent Calendar 2023】 17日目の記事です。 🎄 16日目 ▶▶ 本記事 ▶▶ 18日目 🎅 こんにちは。 2年目の草野です。年末が近づいてきましたね。 今回はAdvent Calendarの執筆に参加ということで、2023年の業務の中で印象深かったUnicodeについて少しお話したいと思います。 そもそもUnicodeとは サロゲートペア文字 突然ですが…… 異体字セレクタとの出会い 異体字セレクタって？ 全く同じ意味を持つ文字、異体字 異体字セレクタの誕生 具体例 結局私の名字はどう書くの？ おわりに そもそもUnicodeとは みなさんご存じの通り、Unicodeは文字を表すための国際的な標準規格の1つです。 一般的には [U+91CE] のように、16進数で表記されます。 常用文字は [U+0000] ～ [U+FFFF] の16進数4文字＝2バ
シャポコ🌵 @shapoco 絵を描く、電気で遊ぶ、通知を無視する。 同じ名前で Misskey\.io と Bluesky にもいます。 お題箱 : https://t.co/TcgjTuG4wh shapoco.net
http://codh.rois.ac.jp/tensho/unicode/U+5FC3/ これがそうか
「『生成AIを使ってこんなもの作ってみました』開発者LT大会」は、急速に発展しているChatGPTや生成AIといったAI技術を使って何かを作ってみた人たちがアイデアや成果を共有する、ログミーTech主催のイベントです。ここでPR TIMES社の土屋氏が登壇。「ChatGPTを使って文字コードを扱う負担を軽減できるか」という調査の内容と結果について紹介します。 Shun氏の自己紹介と、本セッションのアジェンダ Shun氏（以下、Shun）：それでは、PR TIMES社の土屋が発表します。私の名前はShunといいます。PR TIMESに勤めていて、ソフトウェアエンジニアをやっています。 本日のアジェンダです。私の発表はどちらかというと、個人開発でChatGPTを使ったものを作って、それで実験をしてみたという内容になっております。 表題にもあるとおり、ChatGPTに文字コードのことを聞いてどん
数字の絵文字とUNICODE
数字の絵文字とUNICODE 絵文字 UNICODE 0️⃣ \u0030\ufe0f\u20e3 1️⃣ \u0031\ufe0f\u20e3 2️⃣ \u0032\ufe0f\u20e3 3️⃣ \u0033\ufe0f\u20e3 4️⃣ \u0034\ufe0f\u20e3 5️⃣ \u0035\ufe0f\u20e3 6️⃣ \u0036\ufe0f\u20e3 7️⃣ \u0037\ufe0f\u20e3 8️⃣ \u0038\ufe0f\u20e3 9️⃣ \u0039\ufe0f\u20e3 数字の絵文字はUNICODEでは3バイトになる 後半の2バイト(\ufe0f\u20e3の部分)は共通 先頭の1バイトが \u0030～ \u0039で絵文字の0～9に対応している pythonで文字列中に出てくる数字の絵文字を普通の数字に変換する方法 def trans_emoji_
If you combine this with the Unicode table, you’ll see that English is encoded with 1 byte, Cyrillic, Latin European languages, Hebrew and Arabic need 2, and Chinese, Japanese, Korean, other Asian languages, and Emoji need 3 or 4. A few important points here: First, UTF-8 is byte-compatible with ASCII. The code points 0..127, the former ASCII, are encoded with one byte, and it’s the same exact byt
GitHub - SixArm/usv: Unicode Separated Values (USV) data markup for units, records, groups, files, streaming, and more.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - cmang/durdraw: Versatile ASCII and ANSI Art text editor for drawing in the Linux/Unix/macOS terminal, with animation, 256 and 16 colors, Unicode and CP437, and customizable themes
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Find all Unicode Characters from Hieroglyphs to Dingbats – Unicode Compart
U+1D54F is the unicode hex value of the character Mathematical Double-Struck Capital X. Char U+1D54F, Encodings, HTML Entitys:𝕏,𝕏,𝕏, UTF-8 (hex), UTF-16 (hex), UTF-32 (hex)
Reading the excellent article by JeanHeyd Meneide on how broken string encoding in C/C++ is made me realise that Unicode is a topic that is often overlooked by a large number of developers. In my experience, there’s a lot of confusion and wrong expectations on what Unicode is, and what best practices to follow when dealing with strings that may contain characters outside of the ASCII range. This a
[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found
目次 はじめにスペースや全角スペースのような空白文字一覧参考にしたサイトはじめに スペースや全角スペース以外にもいくつか存在する目に見えない Unicode の文字の一覧です。 スペースや全角スペースのような空白文字一覧 ブラウザや環境によっては表示されない場合があると思います。 Unicode 実体 説明 description
![[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb851655897cdb9b67ba03c04ee10b84157ed45b/height=288;version=1;width=512/https%3A%2F%2Ftech-blog.s-yoshiki.com%2Fimages%2Fthumbnail%2Flinux-logo.png){kind=logo}
A short write-up on combining digraphs, a feature built-in to vim, and Haskell's UnicodeSyntax extension, to easily write beautiful Haskell programs with unicode symbols. #haskell#vim 1 Haskell’s Unicode Syntax Extension Haskell (well, GHC Haskell) features an extension called UnicodeSyntax. When enabled, this extension allows the use of certain unicode symbols in place of their corresponding keyw
ユニコードコンソーシアムが「Unicode 16」のベータレビューを公開し、「Unicode 16」では7つの新しい絵文字が追加される可能性があることが分かりました。 「Unicode 16」で新たに追加される予定の絵文字は下記の7つ。
Vaporwave and Unicode Analysis
This article will explore the unique role that text plays in vaporwave music and art. Why do vaporwave tracks, albums, and artist names use stretched out ｆｕｌｌｗｉｄｔｈ text, Japanese writing 変, and 𐒖Ƭᖇ𝚫ƝǤⵟ looking Unicode characters? Why are track titles sometimes formatted to look like FILENAME.AVI or Muzak Corp™ Song Title? Analyzing the text characters that accompany vaporwave can help us underst
オープンソース版Twemoji 15.1.0のリリース ～Unicode Emoji 15.1に対応 X/Twitterの絵文字として著名なTwemojiのフォーク版（@jdecked/twemoji）が本日、コミュニティの協力のもとUnicode Emoji 15.1に対応したバージョンTwemoji 15.1.0をリリースした。ライセンスは、コードがMIT、絵文字自体がCC-BY 4.0。 Twemoji 15.1.0に収録された新しい絵文字 イーロンマスク氏のX/Twitter買収後から公式のTwemojiリポジトリでは新しい絵文字が追加されなくなったため、当時TwitterでTwemojiに携わっていたJustine De Caires氏（@jdecked）がその後フォークし、コミュニティと協力してオープンソース版のTwemojiをリリースしている。 なお、現在策定中のUnicod
Durdraw - ANSI, ASCII and Unicode Art Animation Studio for Linux
▄▄▄▄▄▄▄ ▀ ▀██████▄▄▄▄ ▄▄▄▄ ▀████▀ ███▀▀▀█▓▓▓▌ ▄▓▌ ▒▄▄ ▄▄▄ ■ ▓▓▓▓ ▓▓▓▓▌ ▓▓▓▓ ▐▒▒▒▌ ▒▒▒▌ ▒▒▒▒▌ ▄▄ ▀▀ ▀▀ █████▄█▌ ░░░█ ▐░░░█ █░░░ ▐████ ▐██▌ ▄░░░▀ ▄███▓ ▓▓▓▓███ ▐███▌ ▐████ ▐░░░▌ ░░░░ ▐▒▒▒ ■░░▄▄ ■██▀▓▓▓ ▄▓■ ▄ ▄▄▄■▀▀▓▒▓▓ ▐▒▒▒▌ ▐▒▒▒▒ ▐▓▓▓▌ ▓▓▓▓ ▐▓▓▓ ▓▓▓▓▄▀▒▒▒▒▄▄▓▓▓▌ ▐░▒▌ ▄▓▓▓▓▀▓▓███░░▌ ████ ▄████▀_ ▀███▄▄███▀ ░ ███▌ ░ ████▌▐░░▒▒▒▀▀░▓ ▀▀ ▐▒▀█▓▒▀▀▀▀▓▓▒▒ ▐████▀▀▀▀ ▄▄▓▓▄▄ ▀▀▀▀ ▄▒▒▄▀▀▀▀ ▀.▀▀▀▀▀ ░▓█░░░▀▀ ■ ■
範囲：2B00～2BFF Unicodeのその他の記号及び矢印（The Unicode Standard Miscellaneous Symbols and Arrows）を十六進数の数値文字参照で記述した表です。 White and black arrows（白・黒矢印） Unicode 表示 名称 備考 2B00
この色の2つはUnicode 15.0.0で導入されたことに伴い、ECMAScript 2023で追加される見込みです。 この色の5つはUnicode 14.0.0で導入されたことに伴い、ECMAScript 2022で追加されたものです。 この色の4つはUnicode 13.0.0で導入されたことに伴い、ECMAScript 2021で追加されたものです。 HiraganaとKatakanaはあるのにKanjiがないと思われるかもしれませんが、Han (Hani) というのが漢字のことです（「漢字」の中国語読みをローマ字化したHanziに由来）。 Unicodeのデータファイル中には時折Katakana_Or_Hiragana (Hrkt) というスクリプト名が出てくることがありますが、これは初期の頃に使われていたものの現在はどのコードポイントとも結び付けられていません（UAX #44中
範囲：2000～206F Unicodeの一般句読点（The Unicode Standard General Punctuation）を十六進数の数値文字参照で記述した表です。 Spaces（スペース） Unicode 表示 名称 備考 2000
What every software developer must know about Unicode in 2023 | Hacker News
There's one part of this document that I would push extremely hard against, and that's the notion that "extended grapheme clusters" are the one true, right way to think of characters in Unicode, and therefore any language that views the length in any other way is doing it wrong.The truth of the matter is that there are several different definitions of "character", depending on what you want to use
楔形文字(くさび形文字) Cuneiformの文字一覧 - 1 Unicode U+12000～U+123FF(73729文字目～74752文字目)
Pythonの`chr()`と`ord()`関数: 文字とUnicodeの変換 - Python転職初心者向けエンジニアリングブログ
Pythonのchr()とord()関数: 文字とUnicodeの変換 Pythonには文字列とUnicode文字の相互変換を行うためのchr()とord()という2つの関数があります。これらの関数を使うことで、文字列とUnicodeコードポイントの変換が容易に行えます。この記事では、chr()とord()関数について詳しく解説し、実際のコード例を交えながらその使い方を説明します。 chr()関数の基本的な使い方 chr()関数はUnicodeコードポイントを受け取り、それに対応する文字を返します。以下は基本的な使い方の例です。 # Unicodeコードポイントから文字への変換 char_result = chr(65) # Unicodeコードポイント65は文字Aに対応 print(char_result) # 出力: A この例では、Unicodeコードポイントが65に対応する文字がA
Unicode、常用漢字、人名漢字対応 JIS X 0213 文字コード一覧 JIS X 0213 の区点番号、JISコード、シフトJISコード、EUCコード、Unicode(UTF-8, UTF-16)の文字コード一覧です。 文字コードとその文字を順に出力しているだけですので、表示される文字はフォントによって決まります。 漢字集合1面と2面のJISとEUCの文字コードは、同じとなっています。 そのため、JISでは1面と2面をSI/SOのエスケープシーケンスで切り替えて使用し、EUCでは2面の漢字の直前にシングルシフト3（SS3:0x8F）を付けた3バイトEUCとして使用します。 1面01区 非漢字 1面13区 非漢字（NEC特殊文字） 1面14区 第3水準漢字 1面16区 第1・第3水準漢字 1面48区 第2・第3水準漢字 2面01区 第4水準漢字 ※JIS欄は、JIS X 0208とJ
範囲：2580～259F Unicodeのブロック要素（The Unicode Standard Block Elements）を十六進数の数値文字参照で記述した表です。 Block elements（ブロック要素） Unicode 表示 名称 備考 2580
丸数字を入力するとMS-IMEの変換候補に「環境依存文字」と「環境依存文字（Unicode）」の2種類表示されることがあります。 「なぜ2つあるの？違いは？」という質問があったのでご紹介しますね。 ← 候補に2つ表示…どちらを使うの？(→結論：Unicodeではない方を使う） まず、IMEのコメントの違いですが【Shift_JISで表現できるかできないか】です。「環境依存文字」はJISX0208に登録されていないがShift_JISでは表現でき、「環境依存文字(Unicode)」はShift_JISでも表現できない（Unicodeでなら表現できる）というものです。 ★環境依存文字の① Shift-JIS、JISX0213、Unicodeに含まれる（ユニコード2460）文字化けの可能性は少ない ▼IMEパッド表 「環境依存文字」とだけ表示される2460の➀は、 かつて機種依存文字と呼ばれOS
News, announcements, release info, and calendar updates from the Unicode Consortium By Peter Constable, Chair of the Unicode Technical Committee At the Q4 Unicode Technical Committee (UTC) meeting held from November 1-3, our member representatives unanimously agreed to a release plan for 2023 and tentative plan for 2024. Along with some tooling updates, our plans aim to ensure that we are more agi
範囲：2600～26FF Unicodeのその他の記号（The Unicode Standard Miscellaneous Symbols）を十六進数の数値文字参照で記述した表です。 Weather and astrological symbols（気象と占星術記号） Unicode 表示 名称 備考 JIS名称 JIS 2600
Version 15.1 of the Unicode Standard is now available. This minor version update includes updated code charts, data files and annexes. The core specification is unchanged from Unicode Version 15.0. This version adds 627 characters, bringing the total number of characters to 149,813. The additions include 622 CJK unified ideographs in a new block, CJK Unified Ideographs Extension I. These new ideog
リモートログオンクライアント「Tera Term 5.0」が16日にリリースされ、実に18年ぶりのメジャーバージョンアップを果たした。Tera Term 5では、以前の「Tera Term 4」で行われたUnicode対応が強化され、内部バッファーや描画、キー入力などのターミナル処理もUnicode化されている。特別なロケール設定は必要なくなった。ユーザーインターフェイスもUnicode化され、システムロケールと異なる言語設定でも正常に表示されるようになった。同時に「Tera Term 4」シリーズの最新版v4.107もリリースされ、両バージョンともSSHのrsa-sha2対応が行われ、RSA/SHA1が無効化された「Ubuntu 22.04」、「RHEL 9」、「Amazon Linux 2023」にもRSA鍵で接続できるようになっている（窓の杜）。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全ての開発者が知っておくべきUnicodeについての最低限の知識
Googleが変体仮名フォント「Noto Hentaigana」をリリース ～蕎麦屋の看板などを再現可能／Unicodeに登録されている変体仮名286文字をカバー
「Tera Term 5.0」がリリース ～18年ぶりのメジャーバージョンでUnicodeに全面対応／来年で30周年を迎える老舗のリモートログオンクライアント
「慶応」も「コンクリート」も漢字1文字で ～Unicode標準に新しいブロックが提案中／手書きでしばしば用いられる「部首＋カナ」スタイルの略式漢字【やじうまの杜】
awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita
ZawgyiとUnicode: ミャンマーの文字の電子化について - にせねこメモ
私の名前ってUnicodeでどう表すの？~異体字セレクタとの出会い~ - NRIネットコムBlog
「Unicode 15.0」に対応した「GNU Emacs 29.1」、高速パーサー「tree-sitter」の採用も／Windows環境ではダブルバッファリングをサポート
「PowerToys」v0.76でキーマップ変更ツールが強化、使わないキーをUnicode挿入に活用／Microsoftがパワーユーザー向けに提供している無償ツール集
平成30年2月(新元号発表前)に「令和」を言い当てた超人がTwitterに居た！そのからくりはズバリ「Unicode」
http://codh.rois.ac.jp/tensho/unicode/U+5FC3/ これがそうか
「Twitter」改め「X」のロゴはUnicodeの「U+1D54F」らしい／「黒板文字」や「重ね打ち体」と呼ばれる文字の1つ【やじうまの杜】
ChatGPTを使って、文字コードの理解と記述の負担を軽減できるのか 「日本語と認識しているUnicodeの範囲」「括弧の検出」「新字体への変換」を調査してみた
The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!) @ tonsky.me
Unicode is harder than you think · mcilloni's blog
日本語AI音声なども利用可能になった「Windows 11 バージョン 22H2」4回目の大型更新／「Unicode 15.0」の絵文字、Windows 共有・スポットライトの強化なども【Windows 11 22H2 Moment 4】
Writing prettier Haskell with Unicode Syntax and Vim
｢Unicode 16｣で新たに追加される予定の絵文字は『目の下にクマのある顔』など7つ | 気になる、記になる…
オープンソース版Twemoji 15.1.0のリリース ～Unicode Emoji 15.1に対応 | gihyo.jp
Unicode その他の記号及び矢印 - CyberLibrarian
JavaScriptのUnicode Property Escapesについての補説
Unicode 一般句読点 - CyberLibrarian
楔形文字(くさび形文字) Cuneiformの文字一覧 - 1 Unicode U+12000～U+123FF(73729文字目～74752文字目) (ユニコード) 0g0.org
Unicode対応 JIS X 0213 文字コード一覧
Unicode ブロック要素 - CyberLibrarian
丸数字「環境依存文字」と「環境依存文字（Unicode）」の違い - 教えて！HELPDESK
The Unicode® Standard – 2023 Release Planning
Unicode その他の記号 - CyberLibrarian
Announcing The Unicode® Standard, Version 15.1
Tera Term 5.0リリース、Unicodeに全面対応 | スラド IT