ここでunknown-8bitと出てきたのでドキッとしてしまいましたが、unknown-8bitはShift_JISのことだそうでホッと一安心。 文字コードを変換する 文字コードを変換するにはnkfコマンドを使います。 //未インストールの場合、Homebrewでnkfをインストール $ brew install nkf //ファイルをShift_JISに変換（上書き保存）する $ nkf -s --overwrite ファイル名 //ファイルをUTF-8に変換（上書き保存）する $ nkf -w --overwrite ファイル名 いろいろなcharset 上記のコマンドをテストしようとして適当にテキストファイルを作成したところ、コマンドはもちろんエディターの設定をいろいろ変えて保存してもfile --mimeでの出力結果がずっとus-asciiになってしまい、大いにハマりました。 原因
先日以下の記事を書きました。 ここでUTF-8の最初の文字かどうかの判定を以下の自作した関数で実装していました。 const ( t1 = 0b00000000 tx = 0b10000000 t2 = 0b00000110 t3 = 0b00001110 t4 = 0b00011110 ) func isUTF8LeadByte(tmp byte) bool { if tmp&tx == t1 { return true } tmp >>= 3 if tmp == t4 { return true } tmp >>= 1 if tmp == t3 { return true } tmp >>= 1 if tmp == t2 { return true } return false }
Windowsでは、文字コードに「ユニコード」を使う。Windowsに搭載されているフォントはさまざまあるが、ユニコード文字を表示できるように、多数の文字の形が組み込まれている。 今回は、Windowsでユニコードを“見る”方法について解説する。なお、WindowsではUTF-16LEエンコードをUnicodeと表記する。ここでは、エンコードと混同されないために、文字仕様のUnicodeは「ユニコード」とカナ書きすることにする。 GUIアプリでユニコードを使う ユニコード文字は多数ある。それぞれの文字に割り当てられた文字コードをユニコードでは「コードポイント」と呼ぶ。コードポイントは、「U+」の後ろに16進数4桁または6桁で指定するのが正式な表記方法だ。たとえば、「漢」は「U+6F22」となる。ユニコード関連の文書やもちろん、インターネット内のウェブページでも同様の表記をすることが多い。
Decoding UTF8 with Parallel Extract 23 Mar 2024 As a side-quest I recently decided to write a branchless utf8 decoder utilizing the pext or "parallel extract" instruction. It's compliant with rfc-3629, meaning that it doesn't just naively decode the code-point but also checks for overlong encoding, surrogate pairs and such. Compiled with gcc -O3 -march=x86-64-v3 the entire decoder results in just
SmartHR でプロダクトエンジニアをしている tmtms です。読み方がわからない(自分でもわからない)ので社内では tommy と名乗ってます。 2月に開催された社内LT大会第3回で「ショートカットと端末」というネタで発表したのですが、とても5分に収まる量ではなかったのでここにしたためておきます。 キーバインド macOSのテキスト編集のショートカットとEmacsとbashのキーバインドを比較するとこんな感じです。 control macOS Emacs bash A 行頭に移動 行頭に移動 行頭に移動 B 左に移動 左に移動 左に移動 C - prefix 中断 D 右文字削除 右文字削除 右文字削除/入力終了 E 行末に移動 行末に移動 行末に移動 F 右に移動 右に移動 右に移動 G - 中断 中断 H 左文字削除 ヘルプ 左文字削除 I - タブ タブ J - 改行 改行 K
はじめに 新人研修にてLaravelを使っている時のお話です。 テーブル設計を行う時にデータ型とサイズを決めなければなりませんでした。 その時に、例えば、INTの(X)のXは何を表しているのか正確に理解していなかったので、この機会に使用頻度の高いCHAR型やVARCHAR型などの文字列を格納するデータ型も含め、調べたいと思いました。 この記事を読み終えたあなたが適切にデータ型やサイズを決めることができることをこの記事の目標にしたいと思います。 ちなみにQiita初投稿です(なんか緊張する...)。 検証環境 macOS Catalina ver 10.15.7 Docker ver 20.10.5 docker-compose ver 1.29.0 Laravel ver 7.30.4 MySQL ver 8.20.3 内容 「ユニコード(Unicode)とは」 その前に、まず「文字コード
文字数のカウントはどれが正解なのか?
A. ユースケース次第でどう実装すべきかは変わる。Intl.Segmenter が万能というわけでもない。 (クソ最悪な小バズをかましてしまったので、贖罪も兼ねて記事を書きました) 「文字数を数える」のは難しい 「文字数を数える」実装は意外と難しいです。というのも、アルファベットや数字だけなら str.length でも正しく数えられますが、絵文字や異体字などが入った文字列は見た目どおりに数えられません。
さくらのレンタルサーバーでディレクトリ毎に異なるバージョンのPHPを使う方法：設定手順と注意点｜DAD UNION – エンジニア同盟
Web開発においてPHPは欠かせない言語の一つです。しかし、プロジェクトによっては古いバージョンのPHPを使わざるを得ない場合があります。 さくらのレンタルサーバーのコントロールパネルではPHPのバージョンを選択できますが全体のPHPバージョンとして適用されるのでディレクトリ毎の設定はできません。 今回は、さくらのレンタルサーバーでディレクトリ毎に異なるバージョンのPHPを利用する方法について解説します。 なぜ古いバージョンのPHPが必要なのか 古いバージョンのPHPが必要となる主な理由は以下の通りです。 互換性:既存のプロジェクトやシステムが古いバージョンに依存している場合 コスト:新しいバージョンへの移行には時間やコストがかかる プラグイン/ライブラリ:新しいバージョンでは動作しない古いプラグインやライブラリを使用している場合 セキュリティや脆弱性などの危険性、注意点 古いバージョンの
u85e1-ue0103 (藡) - GlyphWiki
u85e1-ue0103 (国際符号化文字集合・ユニコード統合漢字 U+85E1「藡」IVS異体字「藡󠄃」) (@5)出典: フリーグリフデータベース『グリフウィキ(GlyphWiki)』
u85e1 (藡) - GlyphWiki
u85e1 (国際符号化文字集合・ユニコード統合漢字 U+85E1「藡」) (@15)出典: フリーグリフデータベース『グリフウィキ(GlyphWiki)』
Tips【VBA】ADODBを使ってメモリtoメモリで文字コード変換を行う（ファイルに書かない） - がらぱっぱ
VBAを使ってWEBのデータを取り込んでEXCELに貼り付けようといったときに、文字コードの変換の必要があります。 UTF-8とか、Shift-JISとかで取り出した（帰ってきた）データをVBAの文字列（UNICODE)に変換する方法の覚え書き ADODB.Streamをつかう ストリームでオープンしてバイナリモードで書き込んで、テキストモードで読み込めばいいじゃん ソース 説明 さて、性能は？ 性能測定 Charsetってどんなのが設定できるの？ Charsetを自動判定にすると便利 ADODB.Streamをつかう マニュアルはここらへんかな？ Stream オブジェクト (ADO) | Microsoft Docs WebでADODB.Streamで文字コード変換を検索しても、ファイルに書き込むとかファイルから読み込むとかばかりでなかなか見つからない。 肝心のマニュアルもサンプルとか
絵文字😸は、提案L2/07‑257(2007), L2/09‑026(2009)から派生しています。以下は、提案番号、名前、からの詳細ファイル、詳細ファイルなど、提案の詳細な内容です。 😸を含む提案は、ユニコードコンソーシアムによって承認され、2015-06-09年に絵文字バージョン1.0としてリリースされました。
本記事は 【Advent Calendar 2023】 17日目の記事です。 🎄 16日目 ▶▶ 本記事 ▶▶ 18日目 🎅 こんにちは。 2年目の草野です。年末が近づいてきましたね。 今回はAdvent Calendarの執筆に参加ということで、2023年の業務の中で印象深かったUnicodeについて少しお話したいと思います。 そもそもUnicodeとは サロゲートペア文字 突然ですが…… 異体字セレクタとの出会い 異体字セレクタって？ 全く同じ意味を持つ文字、異体字 異体字セレクタの誕生 具体例 結局私の名字はどう書くの？ おわりに そもそもUnicodeとは みなさんご存じの通り、Unicodeは文字を表すための国際的な標準規格の1つです。 一般的には [U+91CE] のように、16進数で表記されます。 常用文字は [U+0000] ～ [U+FFFF] の16進数4文字＝2バ
UTF-8のバリデーションとモノイドと半群
この記事はUTF-8のバリデーションとオートマトンの続きです。 前回はUTF-8のバリデーションが8状態のオートマトン (DFA) で表現できることを見ました。状態と遷移を擬似コードで書けば次のようになるでしょう： -- 8つの状態 data State = START | TAILx1 | TAILx2 | TAILx3 | A | B | C | D -- 入力バイトに応じて次の状態を返す。次の状態が該当しなかったら Nothing を返す next :: Word8 -> State -> Maybe State +----+----+-----+----+ | a0 | a1 | ... | aN | 8ビット整数列 +----+----+-----+----+ | | | v v v +----+----+-----+----+ | m0 | m1 | ... | mN | モノ
ユニコード “😸” U+1F638 GRINNING CAT FACE WITH SMILING EYES | Unicode文字一覧 Version 10
笑顔の目でニヤリと猫の顔. 顔文字. シンボル「笑顔の目でニヤリと猫の顔」は「顔文字」ブロックの 「猫の顔」 サブブロックに含まれており、2010年にUnicodeバージョン6.0の一部として承認されました。2015年には、バージョン1.0で絵文字としても承認され、「スマイリーと感情」カテゴリの「猫顔」サブカテゴリに追加されました。
Base64エンコード : 8J+YuA== 「😸」に似ている意味の文字ㅸ🐸🙸🮸🥸✸🚸߸༸ᐸ🌸㐸🨸﮸🁸🐷😸の説明 😸 顔文字 歯を見せてニヤけ顔のネコの顔文字(wp)。 文字情報 文字コード Unicode 16進: 1F638 😸 10進: 128568 😸[出典:Wiktionary] The cat (Felis catus) is a domestic species of small carnivorous mammal. It is the only domesticated species in the family Felidae and is commonly referred to as the domestic cat or house cat to distinguish it from the wi
2022/02/03 今回の気になった bugs.ruby のチケット - Secret Garden(Instrumental)
今週は String 周りでメソッドを追加するチケットの話などがありました。 前回のまとめ [Feature #18564] Add Exception#detailed_message [Feature #18438] Add Exception#additional_message to show additional error information で議論した結果をまとめたチケット エラー出力の内容を Exception#message ではなくて Exception#detailed_message を使用するようになる これによりエラー出力の内容をException#detailed_message で制御できるようになる class MyClass < StandardError def message = "my error!" def detailed_message(
文字コード入門―インデックスページ―
コンテンツ一覧 インデックスページ←いまここ コンピュータ上での数値の扱い コンピュータで文字を扱うには？ ASCIIとJISローマ字 JIS漢字コード：JIS第一・第二水準 JIS補助漢字・第三・第四水準漢字 中国の文字コード 台湾の文字コード Unicode 大規模文字集合 参考資料（書籍） 本ページを作るにあたって参考にした書籍です。 川俣晶『パソコンにおける日本語処理文字コードハンドブック』技術評論社 芝野耕司編『JIS漢字字典』日本規格協会 漢字文献情報処理研究会編『電脳中国学』『電脳中国学II』『電脳中国学入門』好文出版 小池和夫／府川充男／直井靖／永瀬唯／『漢字問題と文字コード』 太田出版 1999 安岡孝一／素子『文字コードの世界』 東京電気大学出版局 1999 ユニコード漢字情報辞典編纂委員会編 『ユニコード漢字情報辞典』 三省堂 2000 小林／安岡／戸村／三上編 bi
漢字「团」の部首・画数・読み方など
※補足 この字は環境依存文字のため、ご利用の環境（パソコン・スマートフォン・ブラウザなど）によって、表示される字形が異なる場合があります。 字形によって差が生じる可能性のある情報（部首や画数）につきましては、書体欄の明朝体字形に基づいて表示しています。
受検票（受験票）が文字化け、印刷できない 神奈川出願
「出願システム」トラブルまとめ https://kanagaku.com/toraburu 広告 Twitter「受検票が印刷できない」 文字化けの様子 神奈川県の受験サイトでの受験票印刷、iPadとスマホから印刷しようとしたら文字化けしてしまった。 PCから無事印刷できたから良かったけど、ちょっと焦ったよね pic.twitter.com/LcDbrGdRYj — ころ (@koronosuke01) February 9, 2024 https://web.archive.org/web/20240209035717/https://pbs.twimg.com/media/GF2xYdBagAA0NOG?format=jpg https://megalodon.jp/2024-0209-1257-08/https://pbs.twimg.com:443/media/GF2xYdBagA
Intl.Segmenter についておさらい JavaScript には Intl と呼ばれる国際化 API があり、日時や数値のフォーマットを始めとする国際化に便利な機能が揃っています。Intl.Segmenter はこの Intl の一機能で、文字・単語・文章単位での文字列分割を可能にします。 文字単位での分割では複数のコードユニットやコードポイントを持った文字を考慮し、正確に見た目上の１文字（書記素）で分割できるので、絵文字を含んだ文字数のカウントなどに便利です。 const segmenter = new Intl.Segmenter("ja", { granularity: "grapheme" }); console.log("🇯🇵👨🏻💻".length); // ❌ 11 console.log([..."🇯🇵👨🏻💻"].length); // ❌
UTF-8のバリデーションとオートマトン
UTF-8は今日の文字エンコーディングの中で最も重要なものと言って差し支えないでしょう。UTF-8の仕様はこの辺で確認できます： Unicode 15.1.0 > 3.9 UTF-8 RFC 3629 - UTF-8, a transformation format of ISO 10646 この記事では、読者はすでにUTF-8にある程度の馴染みがあるものとして、UTF-8のバリデーションの細かいところを考えます。 UTF-8のバリデーションを行うには、以下のことを確かめなければなりません： 最初の1バイトが所定の範囲にあること：ASCII (0x00-0x7F) または0xC2以上。 後続のバイト（たち）が0x80-0xBFの範囲にあること。 長すぎないこと：U+007F以下の文字はちょうど1バイトで表現されていること、U+0080以上U+07FF以下の文字はちょうど2バイトで表現されて
MySQL徹底入門 第4版 - ユーザー管理とか文字コードとか / MySQL Book 4 - User and Charset
表意文字苦い寒さ、惨めな、さびしいCJK. cjk統合漢字. シンボル「表意文字苦い寒さ、惨めな、さびしいCJK」は「cjk統合漢字」ブロックの「」サブブロックに含まれており、1993年にUnicodeバージョン1.1の一部として承認されました。
ユニコード “凄” U+51C4 | Unicode文字一覧 Version 10
Base64エンコード : 5YeE 「凄」に似ている意味の文字凛奚凣厳猛厲厧殓厄凢埄厜儤儣嶄鄛殄儛彄爅「凄」に似ている形の文字悽啛痩瘘廋凑捿緀䃀瘦凕㙏瓔漊凌凌塵葽瘻䔀「凄」の文字を含む単語凄腕凄惨凄然凄愴凄気凄怆凄い凄凉慘凄凄え物凄い凄切凄惻凄涼凄惶悲凄哀凄凄楚幽凄凄く惨凄凄慘凄絶老公拨扇——凄凉凄寒凄戚凄疑老婆跋落溪——凄凉凄恻凄厲凄まじい凄清凄美凄の説明 漢字 凄 部首: 冫冫 + 8 画 総画: 10画10 異体字 : 悽（繁体字）, 淒（繁体字, 旧字体） 筆順 : ファイル:凄-bw.png 字源 形声。「冫」+音符「妻 /*TSƏJ/」。 意義 さむい。 すさまじい。すごい。寒気を催す。 日本語 発音(?) 音読み 呉音 ...[出典:Wiktionary] 凄の文字を使った例文凄まじく寒さが厳しい冬の日、人々は凍りつくような風に身を委ねていた。目の前の景色は真っ白な雪で覆わ
u51c4 (凄) - GlyphWiki
u51c4 (国際符号化文字集合・ユニコード統合漢字 U+51C4「凄」) (@10)出典: フリーグリフデータベース『グリフウィキ(GlyphWiki)』
表意文字の跳躍、ジャンプCJK. cjk統合漢字. シンボル「表意文字の跳躍、ジャンプCJK」は「cjk統合漢字」ブロックの「」サブブロックに含まれており、1993年にUnicodeバージョン1.1の一部として承認されました。
Base64エンコード : 6Li0 「踴」に似ている意味の文字蹴踮踶踲蹳踞踗蹶踺躴蹵踳蹏蹞蹷踱蹩蹗蹥蹱「踴」に似ている形の文字㗈蹟愑踊𨂊䠃蹼跼蹧蹢䠡蹂踘踲蹭䠙䟜䠌䠀踬「踴」の文字を含む単語踴躍踴の説明 漢字 踴 部首: 足足 + 9 画 総画: 16画16 異体字 : 踊（[正字]） 筆順 : ファイル:踴-bw.png 字源 意義 日本語 発音(?) 音読み 呉音 : ユ、ユウ(ユゥ) 漢音 : ヨウ(ヨゥ) 訓読み おど-る 熟語 中国語 踴 * ローマ字表記 普...[出典:Wiktionary] 踴の文字を使った例文踴という漢字は日本語の中でもよく使われる言葉です。踴は、音楽や舞踏などの芸術表現において、動きやリズムを表すのに利用され、大勢の人たちが集まって一緒に踊りを踊る場面を思い浮かべます。 また、踴の音読み「ヨウ」という言葉は、新しいことに積極的に取り組む、勇気や意欲を表
u8e34 (踴) - GlyphWiki
u8e34 (国際符号化文字集合・ユニコード統合漢字 U+8E34「踴」) (@11)出典: フリーグリフデータベース『グリフウィキ(GlyphWiki)』
表意文字の姓。商人;買う、買うCJK. cjk統合漢字. シンボル「表意文字の姓。商人;買う、買うCJK」は「cjk統合漢字」ブロックの「」サブブロックに含まれており、1993年にUnicodeバージョン1.1の一部として承認されました。
Base64エンコード : 6LOI 「賈」に似ている意味の文字賵劉賴賶賂賅莾赉魯賀賝賏莱廴萱賔蘉賧賎黎「賈」に似ている形の文字責贊賃質貿賢買貴貫䩀貰賀賚賁貲貸貢貨婁嘼「賈」の文字を含む単語書賈良賈良賈は深く蔵して虚しきが如し斯里賈亞瓦德納普拉科提賈湖富商巨賈阿布賈餘勇可賈大賈善賈賈人羅賈瓦賈伯斯商賈斯里賈亞瓦德納普拉科特富商大賈賈家店賈禍大腹賈恩賈梅納賈第蟲病賈第蟲屬拉夫桑賈尼賈南德拉馬爾賈賈汪區賈第蟲艾哈邁迪內賈德內賈德賈夾威德賈の説明 漢字 賈 部首: 貝貝 + 6 画 総画: 13画13 異体字 : 贾（簡体字） 筆順 : ファイル:賈-bw.png 字源 会意、「襾（ふたの形、「覆」の上部）」＋「貝（財貨）」で、財貨を蔵する商人。 意義 商人。 商取引。 日本語 発音(?) 音読み 呉音 : ク、ケ 漢音 ...[出典:Wiktionary] 賈（か）は、漢姓の一つ。中国、朝鮮な
u8cc8 (賈) - GlyphWiki
u8cc8 (国際符号化文字集合・ユニコード統合漢字 U+8CC8「賈」) (@9)出典: フリーグリフデータベース『グリフウィキ(GlyphWiki)』
楔形文字(くさび形文字) Cuneiformの文字一覧 - 1 Unicode U+12000～U+123FF(73729文字目～74752文字目)
自治体システム標準化の前にまず文字のキホンを理解せよ①｜標準化どうしましょう（自治体システム標準化にちょっと関わってる）
自治体システムに携わると、普通のエンジニアでは基本的に意識しないものを意識する必要がある。それは、文字である。 普段目にする新聞やテレビの字幕スーパー（テロップ）等は、2千数百字のいわゆる常用漢字しかキホン使わない。Windowsユーザーならお馴染みの、MS明朝。これを使うと、約1万数千字の漢字や非漢字（英数字やひらがなカタカナそして記号等）が扱える。これでキホン世の中うまく廻る。 ところが、自治体システムに携わるとそうはいかない。 戸籍制度のもと、太古の昔から手書きで管理されていた漢字たちを誤字脱字を含めシステムで表現しなければならない。そして、その戸籍と同じ文字を皆様おなじみ証明書の頂点たる住民票であらわす必要がある。 どうやらその法的根拠はないらしいが。。。（諸説あり） その戸籍の文字が、数十～百数十万字あるらしい。これをシステムで表現するのは実に難しい。 前置きが長くなりました。こ
【ハイフン】文字列をUTF8の16進数に変換して判別する｜サラトガ牧場
Windows や Mac, Linux など様々な環境で作業をしていると、環境依存の文字に遭遇することってありますよね。 そうでなくても、OS によって変換される文字の見え方が微妙に違う感じがして、見分けが付けにくい場面もしばしば。 今回は特にハイフン(全角、半角含む)の見分け方について、「これが確実かな」という方法を考えてみたので紹介していきます。
行政機関が管理する膨大な数の「文字」がデジタル改革を阻んでいる。字形がわずかに異なる文字も含め、戸籍だけで約70万字。岸田文雄政権は自治体の情報システムを効率化するため、約7万字に絞り込む計画だ。だが、人によっては名前の漢字が変わる可能性があり、慎重論もくすぶる。文字を決めるのは誰なのか――。 スマホに表示できない 「スマートフォンやパソコンで表示できない文字がある。魑魅魍魎（ちみもうりょう）とした世界だ」 デジタル庁幹部は、戸籍などで使われてきた文字の特異性をそう表現し、「自治体システムを複雑にし、ガラパゴス化させた元凶だ」と言い切った。 政府は、自治体ごとに仕様がばらばらな戸籍や住民基本台帳、国民年金など20業務の情報システムを2025年度末までに標準化する方針を掲げている。 人口減少で公務員の確保が難しくなる中、システムの効率的な運用で行政サービスの質を維持する目的だ。多すぎる文字を
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ファイルの文字コードをMacのターミナルで確認する＆変換する - Qiita
変体仮名を使える「Android 15 Beta 2」が公開 ～「プライベートスペース」なども追加／今秋にも正式リリース
Goの標準のutf8.RuneStart関数がエレガントすぎる
Windows上でユニコードを「見る」方法
Decoding UTF8 with Parallel Extract
ショートカットと端末 - SmartHR Tech Blog
VARCHAR(X)やINT(X)の「X」は何を表しているのか - Qiita
Googleが変体仮名フォント「Noto Hentaigana」をリリース ～蕎麦屋の看板などを再現可能／Unicodeに登録されている変体仮名286文字をカバー
😸 にやっと笑う猫 : U+1F638 Unicode情報
私の名前ってUnicodeでどう表すの？~異体字セレクタとの出会い~ - NRIネットコムBlog
“😸” U+1F638 GRINNING CAT FACE WITH SMILING EYES | Unicode文字一覧
😸 - 笑顔の目でニヤリと猫の顔 Emoji (にやっと笑う猫) 📖 Emojiの意味 ✂ コピー & 📋 ペースト (◕‿◕) SYMBL
😸 U+1F638 Unicode文字 0g0.org
Intl.Segmenterはどうやって単語分割しているのか
文字ときどきRuby / Character and Ruby (NSEG)
凄 - 表意文字苦い寒さ、惨めな、さびしいCJK (Cai1), Unicode番号: U+51C4 📖 シンボルの意味を知る ✂ コピー & 📋 ペースト (◕‿◕) SYMBL
“凄” U+51C4 | Unicode文字一覧
凄 U+51C4 Unicode文字 0g0.org
踴 - 表意文字の跳躍、ジャンプCJK (Jung2), Unicode番号: U+8E34 📖 シンボルの意味を知る ✂ コピー & 📋 ペースト (◕‿◕) SYMBL
踴 U+8E34 Unicode文字 0g0.org
賈 - 表意文字の姓。商人;買う、買うCJK (Gaa2 gu2), Unicode番号: U+8CC8 📖 シンボルの意味を知る ✂ コピー & 📋 ペースト (◕‿◕) SYMBL
賈 U+8CC8 Unicode文字 0g0.org
楔形文字(くさび形文字) Cuneiformの文字一覧 - 1 Unicode U+12000～U+123FF(73729文字目～74752文字目) (ユニコード) 0g0.org
コモンエイジ：文字を決めるのは誰?「ガラパゴスの元凶」戸籍70万字が阻むDX | 毎日新聞