Just one more thing To make the experience fit your profile, pick a username and tell us what interests you.
Ultimate Unicode Input Device
Just one more thing To make the experience fit your profile, pick a username and tell us what interests you.
共創のための地域基盤としての非公式組織の形成 / Informal community as an infrastructure for co-creation
GitHub - qntm/base2048: Binary encoding optimised for Twitter
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
文字情報基盤検索システム
本検索システムはMJ文字情報一覧表 Ver.006.01に基づいています。 Internet Explorerでは動作しません。 本検索システムでは文字関連グラフの提供予定はありません。 本検索システムは現状有姿でご利用下さい。
お久しぶりです。しなもんです。 今回は最近日本でもファンを増やしている便利ツール、"CyberChef" をご紹介します。 CyberChef とは？ 豊富な機能 使い始めるのが簡単 直感的に操作可能 処理を繋げて表現できる ブラウザだけで機能する 隔離された環境でも使える Recipe をセーブ／ロードできる 処理速度が微妙・大きなファイルが苦手 初めての CyberChef：〇〇などない 例題1：Coin Challenge! 例題2：Et tu, Brute? 例題3：dots&dushes 例題4：reversible hash 例題5：X-channel light rays 応用編：Emotet ダウンローダからの通信先の抽出 重要な注意点 前提 解析！ まとめ 参考資料 CyberChef とは？ CyberChef (サイバーシェフ) とは、英国政府通信本部 (GCHQ)
絵文字の登場によってユニコードが幅広く使われるようになりました。合字によって、肌の色を変えたり、年々絵文字の種類が増えています。また、アジア圏の文字では似ていても微妙に違う文字もあります。 そんなユニコードの文字をチェックしたり、調べられるのがUnicopedia Plusです。 Unicopedia Plusの使い方 同じ字に見えますが、日本語や中国語（簡体字、繁体字など）によって微妙に違うのが分かります。 十二支を並べたところ。これも違うのが分かります。 絵文字を調べる機能も。 一覧での確認。 より詳細に絵文字を調べる機能。 Unicopedia Plusを使うことで、どの絵文字がどの段階から利用できるのか、各文字の違いなどを細かくトラッキングできます。ユニコードを開発者の視点から調べる際に役立つことでしょう。 Unicopedia PlusはElectron/JavaScript製の
Encodeモジュール - 日本語などのマルチバイト文字列を適切に処理する - Perlゼミ|Perlの基礎をインストールからサンプルで丁寧に解説
日本語などのマルチバイト文字をPerlで適切に扱うにはEncodeモジュールを使用します。次の3つのことを覚えておけば多くの場合適切に日本語を扱うことができます。 外部から入力された文字列はEncodeモジュールのdecode関数でデコードする 外部へ出力する文字列はEncodeモジュールのencode関数でエンコードする ソースコードはUTF-8で保存しutf8プラグマを有効にする この解説での用語 この解説では外部から入力された文字列のことを「バイト文字列」と呼ぶことにします。Perlの内部表現に変換された文字列を「内部文字列」と呼ぶことにします。また「バイト文字列」が特定の文字コードで記述されている場合は「UTF-8バイト文字列」「Shift_JISバイト文字列」などと呼ぶことにします。 プログラミングで日本語を扱う場合にその文字列がバイト文字列であるのか内部文字列であるのかを明確に
SQLServerに作成したデータベースの文字コード（コードページ）が何なのか実機から調べた際の方法を紹介します。 環境 SQL Server 2014 対象のデータ型 今回調査対象としたのは、文字列型のデータ型であるchar（varchar）、nchar（nvarchar）で定義された列とします。 文字コードの設定箇所 SQLServerには文字列の区別、ソート順を決定する照合順序という定義がありますが、文字コードはそれと同一箇所で設定します。 設定する箇所は以下となります。 １．サーバに設定（SQLServerインストール時に指定） ２．データベースに設定（CREATE DATABASE句で指定） ３．テーブルに設定（CREATE TABLE句で指定） ４．列に設定（CREATE TABLE句で指定） 優先順位 列に定義 ＞ テーブルに定義 ＞ データベースに定義 ＞ サーバに定義 と
Copy and paste "🧑🌾" in your terminal emulator. How many cells forward did your cursor move? Depending on your terminal emulator, it may have moved 2, 4, 5, or 6 cells1. Yikes. This blog post describes why this happens and how terminal emulator and program authors can achieve consistent spacing for all characters. Character Grids, Historically Terminals operate on a grid of fixed size cells. Thi
Unicode絵文字の仕組みをみてみる
Unicode絵文字で使われている仕組み、特に、複数の文字を組み合わせて1つの絵文字を組み立てる「Emoji Sequences」のことは意外と知られていないかもしれません。Unicode絵文字がどのように成り立っているか、ひととおり大雑把に紹介してみます。 例えば： ❤️🔥 (heart on fire) ← ❤️ + ZWJ + 🔥 ❤️🩹 (mending heart) ← ❤️ + ZWJ + 🩹 🏳️⚧️ (transgender flag) ← 🏳️ + ZWJ + ⚧️ 🏳️🌈 (rainbow flag) ← 🏳️ + ZWJ + 🌈 🏴☠️ (pirate flag) ← 🏴 + ZWJ + ☠️ 🐕🦺 (service dog) ← 🐕 + ZWJ + 🦺 🐈⬛ (black cat) ← 🐈 + ZWJ + ⬛ 🐦
エジプト・ヒエログリフ Egyptian Hieroglyphsの文字一覧 - 1 Unicode U+13000～U+133FF(77825文字目～78848文字目) (ユニコード) 0g0.org
エジプト・ヒエログリフ Egyptian Hieroglyphsの文字一覧 - 1 Unicode U+13000～U+133FF(77825文字目～78848文字目)
文字エンコードを指定してファイルを開く
Visual Studio Code ではファイルの文字エンコードとして UTF-8 がデフォルトで設定されています。その為、 Shift_JIS など UTF-8 以外の文字エンコードで保存されたファイルを開くと文字化けして表示されます。ここでは Visual Studio Code で文字エンコードを指定してファイルを開く方法について解説します。 文字エンコードを指定してファイルを開きなおす Visual Studio Code ではデフォルトで文字エンコードとして UTF-8 を使用します。その為、文字エンコードとして UTF-8 を使用して保存されたファイルを開いた場合は問題なく表示されます。 それに対して例えば文字エンコードとして Shift_JIS を使用して保存されたファイルを開いた場合、文字化けが発生します。 UTF-8 以外の文字エンコードで保存されたファイルを開くには、
[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found
目次 はじめにスペースや全角スペースのような空白文字一覧参考にしたサイトはじめに スペースや全角スペース以外にもいくつか存在する目に見えない Unicode の文字の一覧です。 スペースや全角スペースのような空白文字一覧 ブラウザや環境によっては表示されない場合があると思います。 Unicode 実体 説明 description
![[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb851655897cdb9b67ba03c04ee10b84157ed45b/height=288;version=1;width=512/https%3A%2F%2Ftech-blog.s-yoshiki.com%2Fimages%2Fthumbnail%2Flinux-logo.png){kind=logo}
文字情報基盤整備事業 | 一般社団法人 文字情報技術促進協議会
文字情報基盤整備事業は、平成２２年度電子経済産業省推進費（文字情報基盤構築に関する研究開発事業） によりスタートした、行政で用いられる人名漢字等約6万文字の漢字を整備するプロジェクトです。令和２年８月に一般社団法人 文字情報技術促進協議会に信託譲渡されました。詳しくはこちらから。
以前に同僚と少し絵文字に関する話をしていたこともあり、ふと、絵文字はスクリーンリーダーでどう読み上げられるのかということが気になって、ごく簡単に読み上げさせてみましたという話です。 筆者の自宅の環境がWindowsとAndroidであることから、読み上げのテストにあたっては、NVDA、Windowsのナレーター、TalkBackで試してみました。以下にテスト環境を記しておきます。ブラウザーによる違いは見られなかったので、これについては省いています。 Windows バージョン 1909（OS ビルド 18363.836） NVDA 2020.1jp Android 10 TalkBack バージョン 8.2.0.303936097 以下が4つの絵文字について読み上げテストを実施した結果になります。言語については、lang属性を付与して読み上げさせました。 笑顔を表す絵文字と各スクリーンリー
SwiftUIのTextビューで日本語を表示する際、意図しない箇所で改行が入ることがある。改行コードを使わずに改行位置を調整する方法を紹介する。 日本語テキストが不自然に改行される SwiftUIのTextビューで日本語を表示する時、意図しない箇所で改行が入ることがある。たとえば「あなたに寄り添う究極のイノベーション」というフレーズが、「あなたに寄り添う\n究極のイノベーシ\nョン」と不自然に改行されることがある。 例図では以下のように表示されている。 あなたに寄り添う 究極のイノベーシ ョン あなたの未来を形 作る最上のガジェ ット 英語圏で作られたWebサイトでの日本語の改行問題 英語圏で作られた後に日本語に翻訳されたサイトの例では、「今すぐダウンロード」というフレーズが「今すぐダウンロー\nド」と表示されることがあった。日本人の感覚からするとこれには強い違和感がある。他にも禁則処理が
U+301C from UTF-8 to Windows-31J (Encoding::UndefinedConversionError) に対応する - ESM アジャイル事業部 開発者ブログ
こんにちは。ima1zumi です。 私の開発している Rails アプリでは、Excel で読み込めるように 文字コードを Windows-31J に変換して CSV を出力する機能があります。 先日、CSV 出力にて Unicode の波ダッシュ 〜 を Windows-31J に変換しようとして Encoding::UndefinedConversionError が発生して CSV 出力に失敗したことがありました。なぜエラーになるのか、どうやって対応するのかをまとめました。 まとめ encode メソッドの fallback オプションを使って未定義文字の変換先を定義することで変換できます。 str = "\u{2014 301C 2016 2212 00A2 00A3 00AC}" undefined_signs = { "\u2014" => "\x81\x5C".force_
IVS(Ideographic Variation Sequence/Selector)は、文字符号としては同一視される漢字の、細かな字形の差異を特別に使い分けるための仕組みです。IVSは文字符号の国際規格であるISO/IEC 10646(2008年版以降)に規定されています。また、IVSと、それに対応する字形の一覧は、UnicodeコンソーシアムからIVD(Ideographic Variation Database)として公開されており、ISO/IEC 10646から正規の規格として参照されています。 文字符号（文字コード）を定める日本工業規格のJIS X 0213(以下、JIS)やISO/IEC 10646 Universal Coded Character Set（以下、UCS）などでは、複数の字形に対して一つの共通な符号（コード）を与える場合があります（「同一の符号位置に複数の字
GitHub - tc39/proposal-regexp-v-flag: UTS18 set notation in regular expressions
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Office アシスタントの「クリッパー」が Microsoft 365 の絵文字として復活することになったようだ(Microsoft のツイート、 The Verge の記事、 The Next Web の記事、 On MSFT の記事)。 クリッパー (英: Clippy) はゼムクリップに目玉を付けたような外見で、かつて Microsoft Office 英語版デフォルトの Office アシスタントだった。最も嫌われた Microsoft のキャラクターといわれる一方で、たびたび復活を遂げてきた。今回は Microsoft 公式 Twitter アカウントがクリッパーの画像を投稿し、「いいね」が 2 万件を超えたら Microsoft 365 のクリップの絵文字をクリッパーに置き換えると宣言。設定値が低すぎる気もするが、投稿から 2 時間 15分後には既に 3 万件を超えていたとい
libgrapheme is an extremely simple freestanding C99 library providing utilities for properly handling strings according to the latest Unicode standard 15.0.0. It offers fully Unicode compliant grapheme cluster (i.e. user-perceived character) segmentation word segmentation sentence segmentation detection of permissible line break opportunities case detection (lower-, upper- and title-case) case con
By Dr Ken Lunde A non-trivial amount of my professional life is spent tracking regional character set standards, with an extraordinarily strong focus on ones for East Asia. When a significant standard is published or updated, I take it upon myself to research what changed, in a practical sense, and to spread the word to the developer community. That is the purpose of this particular article. Histo
Unicode正規化 - Qiita
とは 「ア」と「ｱ」, 「①」と「1」など等価な文字の表記を統一する操作. NLPで前処理としてよく使われる "Unicode正規化（ユニコードせいきか、英語: Unicode normalization）とは、等価な文字や文字の並びを統一的な内部表現に変換することでテキストの比較を容易にする、テキスト正規化処理の一種である。" - Wikipedia NFD, NFC, NFKD, NFKC 4種類の正規化形式が存在する. 「NFD (Normalization Form Canonical Decomposition)」 「NFC (Normalization Form Canonical Composition)」 「NFKD (Normalization Form Compatibility Decomposition)」 「NFKC (Normalization Form Com
高速UTF-8バリデーションの世界 - Qiita
参照: http://www.unicode.org/versions/Unicode6.0.0/ch03.pdf の "Table 3-7. Well-Formed UTF-8 Byte Sequences" アルゴリズムを理解する上で重要なUTF-8の特徴について述べます。 1コードポイントは1-4バイトのシーケンスで表現される 上位ニブル（1バイト8ビットのうち、上位4ビット）を確認することでシーケンスの情報が得られる そのバイトがシーケンス先頭バイトかどうかわかる もしそれがシーケンス先頭バイトだったなら、何バイトのシーケンスかわかる 先頭でないバイトは基本的に0x80..0xBFの範囲が許容されているが、何箇所か例外があるのでそれもバリデーションしなければならない 例外の箇所は表では太字で示した 例えば、表を見て分かるように、先頭バイトが0xE0のとき2バイト目は0xA0..0x
One of the most common “data type” in programming is the text string. When programmers think of a string, they imagine that they are dealing with a list or an array of characters. It is often a “good enough” approximation, but reality is more complex. The characters must be encoded into bits in some way. Most strings on the Internet, including this blog post, are encoded using a standard called UT
ツッコミポイント・Windowsにおける外字ってそういうのを多用してるのはどうせお役所とかだろうからそっちに直接言ったらどうか ・たかが外字持って行っただけでOSのハングアップやブルースクリーンって何だw どうせUnicodeのPUA使ってるだけだろう ・Unicodeで文字が定義されてるかどうかとそいつが手元の環境で出せるかどうかは別問題だ。フォント入れろフォント ・MacでShift_JISのファイル読めないんてことはないよ。cp932（JISX0208のMSによるオレオレ拡張）依存の丸数字が化けたりするけど ・OneDriveのポンコツ実装をユーザーのせいにするなw ・お前のとこの「メモ帳」のデフォルト保存文字コードが長らくcp932だったからずっとShift_JISが残っているのだぜ ・お前のとこの表計算ソフトでCSVをcp932決め打ちで開く挙動どうにかしろ ・お前のとこの圧縮解
Hideyuki Tanaka on Twitter: "文字コードがUTF8になっただけでは一切対応が進まなかったアメリカ人の書くコードの多倍長文字対応が、絵文字が入った途端に全てのソフトが完璧に多倍長文字に対応されるようになったんで、なんだかんだでアメリカ人に多倍長文字を使う強力なモ… https://t.co/JTxQUjo8vY"
文字コードがUTF8になっただけでは一切対応が進まなかったアメリカ人の書くコードの多倍長文字対応が、絵文字が入った途端に全てのソフトが完璧に多倍長文字に対応されるようになったんで、なんだかんだでアメリカ人に多倍長文字を使う強力なモ… https://t.co/JTxQUjo8vY
全角1文字の情報量は何バイト? | スラド IT
Twitterで中学生の技術の問題の画像がアップされ、その問いの内容が物議を醸している（d-tasakiさんのツイート）。議論となっているのは次の問題で、
GB 18030-2022が来た！概要編—表紙から読み取る情報〈エリックの多言語文字散歩〉｜ヒラギノフォント公式note
時は2023年、夏。中国の文字界隈でもっともホットな話題は、新しいGB 18030-2022の施行でしょう。 みなさんも、いよいよGB 18030-2022が2023年8月1日より施行されるという話を聞いたことがあるかもしれませんが、実際にどのような内容で私たちにどのような影響があるか、ご存知ない方もいらっしゃることでしょう。 そこで、GB 18030-2022について概要編と詳細編の2回に分けて解説していきます。 今回はGB 18030-2022の概要編として、中国から入手した本物のGB 18030-2022の規格書の表紙をじっくり見るところから、解説を始めたいと思います。 GB 18030-2022の表紙 そもそもGBってなに？GB 18030の話題を始める前に、そもそも「GB」とはなにかについて簡単に解説しておきましょう。GBとはズバリ、中国の国家標準[※1]のことです。日本の規格で
康煕部首 - Wikipedia
このWikipediaでは言語間リンクがページの先頭にある記事タイトルの向かい側に設置されています。ページの先頭をご覧ください。
Go言語における文字列はUTF-8のバイト列を保持します。また、Unicodeの1符号位置に対応するデータ型としてruneというものが用意されており、これは32ビット整数と同じものです。他の言語でいうchar型にあたります。 Rustでも類似の形です。つまり、文字列型はUTF-8のバイト列を保持し、Unicodeのスカラー値に対応する型としてcharが定義されています。(ここでわざわざ「スカラー値」といい「符号位置」としていないのはRustのドキュメントがそうしているせいで、まあほぼ同じようなものですが、サロゲート上位下位の範囲の値を含まない点だけが違います) こうなるとUTF-16の出る幕がない感じになってきます。今後、JavaやC#のように「文字列はUTF-16、char型は16ビット」というものから、こちらの方式へシフトしてくるのでしょうか。JavaなどはUnicodeのBMPにしか
More often than not the mechanism being used to turn bytes into characters and emojis on your computer is "UTF-8". I recently learned how UTF-8 works and felt that the definition lended itself perfectly to creating diagrams explaining the implementation. I created these diagrams for my own enjoyment and wanted to share them. Hopefully this will inspire you to learn how other low-level protocols wo
The new emoji are listed in Emoji Recently Added v13.0, with sample images. These images are just samples: vendors for mobile phones, PCs, and web platforms will typically use different images. In particular, the Emoji Ordering v13.0 chart shows how the new emoji sort compared to the others, with new emoji marked with rounded-rectangles. The other Emoji Charts for Version 13.0. have been updated t
mb_convert_encoding "\" (backslash) and "~" (tilde) convert failed to Shift_JIS · Issue #8281 · php/php-src
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Unicodeで半角全角を扱う Ambiguous（曖昧さ）とUncertainty（不確実性）の恐怖 - Qiita
Ambiguousだけ東アジアか否かによって扱いを変える必要があります。 FullwidthとWideは東アジア圏では全角で扱いますが、それ以外の文化圏の文章には登場しないため考慮する必要がありません。 東アジア圏かどうか？をどう判定するべきかはプラットフォームによって異なります。私は.NETで扱ったのでデフォルトはCurrentUICultureInfoで処理分岐するようにしました。 さて、ここまでが基本です。 ここから先が闇です。 闇の始まり さて、先ほどの扱いについては、UAX #11: East Asian Widthに明確に記載されています。 しかし、実際に文字をひとつずつ追いかけていくと怪しい文字が頻出します。 ここからは日本で最も著名な等幅フォントである「MS ゴシック」で見ていきたいと思います。 さてAmbiguousは全角で扱います。Ambiguousには「☎」や「®」が
闇の絵文字😈に対する防衛術 - Qiita
はじめに この記事は闇の魔術に対する防衛術 Advent Calendar 2019の15日目の記事です。 ♰闇の絵文字♰ 絵文字というものはとても便利なもので、自らの感情を言葉ではなく1文字分の絵🖼で表現することができます。 しかし......🤔🤔🤔 文章を解析する時に邪魔😡 なんです。 どゆこと❓ Python🐍などを利用して文章解析をする場合、前処理という文章📝を使いやすい形に整える作業をする必要があります。 解析の際に文章中に絵文字があるとあの忌々しい🤢Errorが降臨してしまいます😈 以前擬似しゅうまい🍽のようなものを作った際にはこのエラーに大変悩まされました😱 世界🌎を滅ぼさんとする絵文字から身を守る術👊 この世界を破壊💣し滅ぼそうとする絵文字たちから身を守る術はひとつ☝️ "力"です👊👊👊 絵文字をちぎっては投げちぎっては投げを繰り返せるほど
Ruby Advent Calendar 2021 - Qiita の5日目の記事です。 こんにちは。ima1zumiです。 私はRubyKaigi Takeout 2021 で Dive into Encoding というタイトルでオレオレ文字コードを作って文字コードを学ぶ話をしました。 その中で、C拡張のgemとして自作文字コードの Encoding::IROHA をRubyで使えるようにしました。 それがこちらです。 https://github.com/ima1zumi/encoding_iroha/ このgemを使うことで、みなさんのお手元でもEncoding::IROHAという文字コードが使えるようになります。 どう作るかとかそういった話はRubyKaigi Takeout 2021のアーカイブをご覧ください。 ですが思ったのです。C拡張のgemってビルド要るからめんどくさいで
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文字コード is なに？ What is a character code?
CyberChef 超入門 (例題付き) - 午前７時のしなもんぶろぐ
Unicopedia Plus - ユニコードや絵文字を調べる開発者用ツール
SQLServer日本語コードの確認方法 - Qiita
Grapheme Clusters and Terminal Emulators
絵文字をスクリーンリーダーに読み上げさせてみた | アクセシビリティBlog | ミツエーリンクス
SwiftUIで日本語テキストが不自然に改行される | DevelopersIO
Unicode IVS/IVDについて | 一般社団法人 文字情報技術促進協議会
「iOS 16.4」で新たに使えるようになった絵文字はこれだ！ Androidスマホに送ったらどうなる？
Office アシスタント「クリッパー」が絵文字として復活へ | スラド idle
libraries | suckless.org software that sucks less
The GB 18030-2022 Standard
Ridiculously fast unicode (UTF-8) validation – Daniel Lemire's blog
なにやら文字コードについてMSが言ってるようなのでツッコミ入れておこうと思う｜JunTajima
Go と Rustの文字列 - yanok.net
How does UTF-8 turn “😂” into “F09F9882”?
Unicode Emoji 13.0 — Now final for 2020
テキスト広告が文字化け→実は意図的だった？ Twitterのプロモーションが話題に【やじうまWatch】
変体仮名を使える「Android 15 Beta 2」が公開 ～「プライベートスペース」なども追加／今秋にも正式リリース
Rubyだけで文字コード変換を実装する - Eggshell