UTF-8 の文字列をできる限り Shift_JIS に変換したい(実践編) | うなすけとあれこれ
先日、きりきりやままさんがこのような記事を公開していました UTF-8 の文字列をできる限り Shift_JIS に変換したい - きりきりやま それでは実際にそのような文字列変換を行うにはどうすればよいのか、またコメントでiconvについて触れられていたので、この記事ではUnicodeにおけるNFKC正規化をどうやって行うのか試してみることにしました。 追記 GoとPythonとJavaScriptでの例を足しました。またいくつかのscriptにおいてブラウザ上で実行できるURLを添付しました。 (2020-08-17 16:22) “Go” に表記を統一しました。 (2020-08-17 17:00) Ruby 僕にとって文字列処理といえばRubyなので、まずは以下のようなscriptを書いてみました。 puts "\u304c" puts "String#encode('Shift_
ㇹ゚ン゚'ㇳ̃ヴ゙ニ゙コ゚ヮヰ文̂字̠コ゚−ト゚ノ゙ㇵナ゚ㇱ(現在に至るまでの文字コードの軌跡と簡単な使い方について) - へっぽこびんぼう野郎のnewbie日記
はじめに 社内の勉強会で発表した文字コードの話の焼き直しです。ところどころ適当なので話半分に読んでもらえると助かります。 これ以上闇の深さを知りたくないと思って、深淵に辿り着く前に文字コードの勉強を打ち切っています。文字コードの専門家でもないので雑です。 調査が甘いので間違ってることも多々あるかもしれません。その場合はコメントください。修正します。 自信のないところは「らしい」とか「ようです」などのように伝聞調で書いています。あらかじめご了承ください。 また、前提知識として2進数と16進数の基礎的な知識を要求しています。 16進数の表現には特に断りがないかぎり 0xFFFF のような表現を使います。 2進数を使う場合には必ず断り書きを入れます。それ以外は10進数です。 本筋には関係のない、重要ではない情報は脚注にあります。気になったところだけご覧ください。 アジェンダ 今回の話に関係ある用
エンコードマニアックス - 各種エンコードやハッシュを一発作成
SHA-256 e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 SHA-384 38b060a751ac96384cd9327eb1b1e36a21fdb71114be07434c0cc7bf63f6e1da274edebfe76f65fbd51ad2f14898b95b SHA-512 cf83e1357eefb8bdf1542850d66d8007d620e4050b5715dc83f4a921d36ce9ce47d0d13c5d85f2b0ff8318d2877eec2f63b931bd47417a81a538327af927da3e
電書時代の文字コードを考える(ための資料)
自家製資料いろいろ 文字コード体系(サマリ) JIS文字コード表 JIS X 0213全漢字一覧(1-4水準 10050文字) UTF文字コード表 部首別漢字コード表 Adobe-Japan1のJIS外Unicodeマッピング文字一覧 文字テストEPUB Adobe-Japan1 IVS異体字一覧 Source Han Sansフォント特設ページ 漢字これくしょん 康熙字典EPUB版 Google Notoフォントグリフ一覧(CJK以外) macOS Sierra で最初から入ってる日本語フォント一覧 Unicode変体仮名フォント **new** 実験ツール 文字コードチェッカー 青空UTF IVS異体字メーカー 顔文字デコーダ Unicodeデコーダ (文字列からUnicodeコードポイントを表示) Unicodeマップ (全Unicodeのマップ。表示できるグリフはフォントに依存しま
漢字検索 - 読みや画数などから人名用漢字含む1万字を検索
特徴: 読みが分からなくとも、漢字の部品(構成要素)や画数などから調べられます 子供の命名に使える漢字で絞り込むことができます JIS第1〜第4水準の10,053文字に対応し(非漢字領域の「〆、仝、々」含む)、日本の漢字をほぼ網羅しています 検索結果には異体字もあわせて表示されます 問い合わせの入力方法 以下で、背景が黄色い文字列は入力例です。 よくある例 [金 高] → 「金」「高」の両方を構成要素として 含む漢字。検索結果として「鎬」がヒットし、読みや文字コードなどが表示されます。 [さんずい こう] → 構成要素にさんずいを含み、 読みが「こう」の漢字。例えば「江」などがヒットします。 [さんずい はん 5-6画] → 構成要素にさ んずいを含み、「はん」という読みを持ち、総画数が5〜6画の漢字。例えば 「汎」など。 [にんべん 常用] → にんべんを含む常用漢字。例えば「仁」や「仏
変換の難しい漢字を入力する - 名もないテクノ手
読めない漢字って結構あります。読めないと入力できないのは「かな漢字変換」を使う人々の悲しい運命です。ってことで、InDesignで難しい漢字を入力する方法のおさらい。新入社員さん必見です^^ ＜でもそんな人が読んでくれているとは思えない...orz 探す まず、その字を探さなくちゃいけません。といっても字形パネルから全文字を見ていくのでは、日が暮れます。その前に目がつぶれます。 最近の漢和辞典はUnicodeが書かれているので、辞書を引けばいいのでしょうけれど、こちらも前近代的です。 ATOKには手書き文字入力機能がありますが、ATOKが入っていないかもしれません（わたしも使っていません）。 お〜まちさんが公開されている「InDesign用 部首別字形セット」を使うのもひとつの手です。ただし、字形パレットがちょっと重くなってしまうので、常時入れておくのはおすすめしません。 最近、こんなサイ
文字コードの部屋 -- 機種依存文字の歴史
大きな憂鬱です。なんでもかんでもベンダーの責任にしてしまいがちですが、Windows と Mac OS を眺めただけでは、よくわかりません。その前身である MS-DOS と 漢字 Talk までさかのぼることで、ようやく問題の本質が見えてきます。 目次 機種依存文字とは何か？ IBM とその互換機にまつわる歴史 … IBM 拡張文字 NEC とその互換機にまつわる歴史 … NEC 特殊文字、NEC 選定 IBM 拡張文字 Microsoft にまつわる歴史 Apple にまつわる歴史 … Apple 標準システム外字 まとめ 1. 機種依存文字とは何か？ 本来用意されていない、メーカやユーザが独自に作成した拡張文字を「外字」といい、古くからワープロなどで利用されてきました。近年、パソコン通信・インターネットなどのネットワークが普及することによって、OS を越えた文章のやりとりができるように
従来の文字コードとUnicodeの対応に関する諸問題
最終更新: 1998.12.20 目次 はじめに 似た文字 旧JISと新JIS ベンダー固有文字 「全角」「半角」 ASCIIとJIS X 0201ローマ文字 おわりに 余談 1. はじめに ISO/IEC 10646とUnicode(以下Unicode)は、いろいろと論議をかもしてきましたが、 すでにいろいろなところで陰に陽に使われるようになってきました。 Windows NTの内部コードがUnicodeであるのはよく知られています。 BeOSでは、内部だけでなく全面的にUnicodeが使われています。 また、Javaのchar型もUnicodeです。 しかし、とくに入出力においては、当分は従来の文字コードと共存することになります。 すなわち、意識するしないに関わらず、Unicodeと従来コードの変換が頻繁に行われます。 変換といっても、Unicodeコンソーシアムが提供しているテーブル
Unicode IVS Add-in for Microsoft Office
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform W
日本語Perl
はじめにPerl は Larry Wall によって1987年に開発されたインタープリタ方式のプログラミング言語である。 ここで紹介するように、きわめて優れた機能を持つプログラミング言語であり、しかも無料で配布されている。Larry Wall 自身によれば、Perl はテキスト処理言語としてスタートしたといい、その名前は「Practical Extraction and Report Language（実践的（データ）抽出およびレポート作成用言語）」を略したものだそうだが、「Pathologically Eclectic Rubbish Lister (病理学的には選りすぐりのがらくたリスト出力機)」でも良いとしている。Perl のモットーは、「それをやる方法は１通り以上ある」という点にある。これは言語学者でもある Larry Wall が、人間が普段話している自然言語では、言葉が１通りと
MJ文字情報検索システム | 独立行政法人 情報処理推進機構 - IPA
文字情報基盤のデータベース検索および情報取得を行うウェブサイトです。また、APIによるデータベースの利用方法を提供します。
ivs
IVSとは？ IVSは何故必要か？ 今まで「外字」を使って表示していた異体字をIVSを使って表示できます。 ※IVS(Ideographic Variation Sequence)：「基礎知識」で解説します。 例えば、「つじ くに男」というお名前の場合、名字と名前の文字の違いの組み合わせだけで8種類の違いがでてきます。 どの組み合わせかの区別を、今までは、「外字」を使って区別していました。 しかし、IVSを導入すれば、プレーンテキスト文章でも区別ができます。 IVS文字 表示デモ動画 MacintoshおよびWindows環境でIVS文字の表示確認を行っています。 ※動画を再生するには、videoタグをサポートしたブラウザが必要です。 外字と異体字について 外字とは 文字コード規格表に含まれない文字のことであり、ユーザーが定義したユーザー定義文字やメーカーによって定義された機種依存文字、ベ
IPAmj明朝フォント | 文字情報基盤整備事業
符号化対象外の文字を含めすべてのMJ文字図形をフォントファイルに格納しております。フォントファイル中、postテーブルのnamesの欄には各文字図形に対応するMJ文字図形名を格納してあります。 IPAmj明朝フォントVer.004.01からの変更点については、 リリースノートをご覧ください。 IPA Font License Agreement v1.0 日本語/Japanese English IPAフォントライセンスv1.0 許諾者は、この使用許諾（以下「本契約」といいます。）に定める条件の下で、許諾プログラム（1条に定義するところによります。）を提供します。受領者（1条に定義するところによります。）が、許諾プログラムを使用し、複製し、または頒布する行為、その他、本契約に定める権利の利用を行った場合、受領者は本契約に同意したものと見なします。 第1条 用語の定義 本契約において、次の各
JIS X 0212コード表(1)02-31区 - CyberLibrarian
文字の下の英数字は対応するUnicode番号を示します。 区 点 JIS EUC +0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +A +B +C +D +E +F 2 0 2220 8FA2A0
マイクロソフト - PressPass ホーム - 製品画像ダウンロード
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform W
Unicoder Lite
“Unicoder Lite” is a multi-purpose universal character operating tool that offers complete Unicode chart and universal keyboard with a consistent interface. This is a reduced free edition of the full-featured “Pro” Edition, but useful enough for browsing and entering characters in Unicode. ***iOS 8 KNOWN ISSUE*** The application language may be forced into Japanese with non-English system of iOS 8
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
𠮷的解释|𠮷的意思|汉典“𠮷”字的基本解释
http://ossipedia.ipa.go.jp/ipafont_glyph/html/GldVisitor/GldVisitorGlyphSearchBasic.html
SuperCJK 14.0 look-up
https://masao.jpn.org/etc/Unihan-kJapaneseOnKun.txt.gz