お久しぶりです。しなもんです。 今回は最近日本でもファンを増やしている便利ツール、"CyberChef" をご紹介します。 CyberChef とは？ 豊富な機能 使い始めるのが簡単 直感的に操作可能 処理を繋げて表現できる ブラウザだけで機能する 隔離された環境でも使える Recipe をセーブ／ロードできる 処理速度が微妙・大きなファイルが苦手 初めての CyberChef：〇〇などない 例題1：Coin Challenge! 例題2：Et tu, Brute? 例題3：dots&dushes 例題4：reversible hash 例題5：X-channel light rays 応用編：Emotet ダウンローダからの通信先の抽出 重要な注意点 前提 解析！ まとめ 参考資料 CyberChef とは？ CyberChef (サイバーシェフ) とは、英国政府通信本部 (GCHQ)
Encodeモジュール - 日本語などのマルチバイト文字列を適切に処理する - Perlゼミ|Perlの基礎をインストールからサンプルで丁寧に解説
日本語などのマルチバイト文字をPerlで適切に扱うにはEncodeモジュールを使用します。次の3つのことを覚えておけば多くの場合適切に日本語を扱うことができます。 外部から入力された文字列はEncodeモジュールのdecode関数でデコードする 外部へ出力する文字列はEncodeモジュールのencode関数でエンコードする ソースコードはUTF-8で保存しutf8プラグマを有効にする この解説での用語 この解説では外部から入力された文字列のことを「バイト文字列」と呼ぶことにします。Perlの内部表現に変換された文字列を「内部文字列」と呼ぶことにします。また「バイト文字列」が特定の文字コードで記述されている場合は「UTF-8バイト文字列」「Shift_JISバイト文字列」などと呼ぶことにします。 プログラミングで日本語を扱う場合にその文字列がバイト文字列であるのか内部文字列であるのかを明確に
SQLServerに作成したデータベースの文字コード（コードページ）が何なのか実機から調べた際の方法を紹介します。 環境 SQL Server 2014 対象のデータ型 今回調査対象としたのは、文字列型のデータ型であるchar（varchar）、nchar（nvarchar）で定義された列とします。 文字コードの設定箇所 SQLServerには文字列の区別、ソート順を決定する照合順序という定義がありますが、文字コードはそれと同一箇所で設定します。 設定する箇所は以下となります。 １．サーバに設定（SQLServerインストール時に指定） ２．データベースに設定（CREATE DATABASE句で指定） ３．テーブルに設定（CREATE TABLE句で指定） ４．列に設定（CREATE TABLE句で指定） 優先順位 列に定義 ＞ テーブルに定義 ＞ データベースに定義 ＞ サーバに定義 と
文字エンコードを指定してファイルを開く
Visual Studio Code ではファイルの文字エンコードとして UTF-8 がデフォルトで設定されています。その為、 Shift_JIS など UTF-8 以外の文字エンコードで保存されたファイルを開くと文字化けして表示されます。ここでは Visual Studio Code で文字エンコードを指定してファイルを開く方法について解説します。 文字エンコードを指定してファイルを開きなおす Visual Studio Code ではデフォルトで文字エンコードとして UTF-8 を使用します。その為、文字エンコードとして UTF-8 を使用して保存されたファイルを開いた場合は問題なく表示されます。 それに対して例えば文字エンコードとして Shift_JIS を使用して保存されたファイルを開いた場合、文字化けが発生します。 UTF-8 以外の文字エンコードで保存されたファイルを開くには、
[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found
目次 はじめにスペースや全角スペースのような空白文字一覧参考にしたサイトはじめに スペースや全角スペース以外にもいくつか存在する目に見えない Unicode の文字の一覧です。 スペースや全角スペースのような空白文字一覧 ブラウザや環境によっては表示されない場合があると思います。 Unicode 実体 説明 description
![[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb851655897cdb9b67ba03c04ee10b84157ed45b/height=288;version=1;width=512/https%3A%2F%2Ftech-blog.s-yoshiki.com%2Fimages%2Fthumbnail%2Flinux-logo.png){kind=logo}
文字情報基盤整備事業 | 一般社団法人 文字情報技術促進協議会
文字情報基盤整備事業は、平成２２年度電子経済産業省推進費（文字情報基盤構築に関する研究開発事業） によりスタートした、行政で用いられる人名漢字等約6万文字の漢字を整備するプロジェクトです。令和２年８月に一般社団法人 文字情報技術促進協議会に信託譲渡されました。詳しくはこちらから。
以前に同僚と少し絵文字に関する話をしていたこともあり、ふと、絵文字はスクリーンリーダーでどう読み上げられるのかということが気になって、ごく簡単に読み上げさせてみましたという話です。 筆者の自宅の環境がWindowsとAndroidであることから、読み上げのテストにあたっては、NVDA、Windowsのナレーター、TalkBackで試してみました。以下にテスト環境を記しておきます。ブラウザーによる違いは見られなかったので、これについては省いています。 Windows バージョン 1909（OS ビルド 18363.836） NVDA 2020.1jp Android 10 TalkBack バージョン 8.2.0.303936097 以下が4つの絵文字について読み上げテストを実施した結果になります。言語については、lang属性を付与して読み上げさせました。 笑顔を表す絵文字と各スクリーンリー
U+301C from UTF-8 to Windows-31J (Encoding::UndefinedConversionError) に対応する - ESM アジャイル事業部 開発者ブログ
こんにちは。ima1zumi です。 私の開発している Rails アプリでは、Excel で読み込めるように 文字コードを Windows-31J に変換して CSV を出力する機能があります。 先日、CSV 出力にて Unicode の波ダッシュ 〜 を Windows-31J に変換しようとして Encoding::UndefinedConversionError が発生して CSV 出力に失敗したことがありました。なぜエラーになるのか、どうやって対応するのかをまとめました。 まとめ encode メソッドの fallback オプションを使って未定義文字の変換先を定義することで変換できます。 str = "\u{2014 301C 2016 2212 00A2 00A3 00AC}" undefined_signs = { "\u2014" => "\x81\x5C".force_
Office アシスタントの「クリッパー」が Microsoft 365 の絵文字として復活することになったようだ(Microsoft のツイート、 The Verge の記事、 The Next Web の記事、 On MSFT の記事)。 クリッパー (英: Clippy) はゼムクリップに目玉を付けたような外見で、かつて Microsoft Office 英語版デフォルトの Office アシスタントだった。最も嫌われた Microsoft のキャラクターといわれる一方で、たびたび復活を遂げてきた。今回は Microsoft 公式 Twitter アカウントがクリッパーの画像を投稿し、「いいね」が 2 万件を超えたら Microsoft 365 のクリップの絵文字をクリッパーに置き換えると宣言。設定値が低すぎる気もするが、投稿から 2 時間 15分後には既に 3 万件を超えていたとい
By Dr Ken Lunde A non-trivial amount of my professional life is spent tracking regional character set standards, with an extraordinarily strong focus on ones for East Asia. When a significant standard is published or updated, I take it upon myself to research what changed, in a practical sense, and to spread the word to the developer community. That is the purpose of this particular article. Histo
utf8とutf8mb4の違い【MySQL】
（なぜ2種類あるのかはMySQLの歴史によるものらしいのですが、私はいまいち分かっていないので詳しく知りたい方はググってみてください･･。） 保存できる文字の違い これはつまり、UnicodeのコードポイントがU+FFFFを超える文字は、utf8では保存できないってことです。 例えば 崎（U+5D0E）←保存できる 﨑（U+FA11）←保存できる 😀（U+1F600）←保存できない 𩸽（U+29E3D）←保存できない ※ちなみにこの漢字はホッケと読みます みたいな感じ。 絵文字などを保存したい場合はutf8mb4を使わないといけません。 MySQLのutf8はUTF-8ではないのでは･･？ UTF-8は「世界中の文字を1つの文字コードで表そうぜ！」な文字集合であるUnicodeを表すための文字符号化方式の1つなわけですが 本来UTF-8は、1～4バイトで文字を表すルールです。 なので、
Goal ショートカット設定でPowerShell起動時に文字コードをUTF-8に変える。 経緯 プログラムをコンソールから実行した時、 日本語が含まれていると文字化けが 発生します。 特にWindowsでは、UIの文字コードを UTF-8にするためには、システム全体の 表示言語を英語にする必要があり、 UIは日本語、文字コードはShift-JIS (CP932、Windows-31J)を妥協して 使っている方が多いと思います。 プログラムをコンパイルして実行する前に、 chcp 65001を打ち込んで文字コードを 変える儀式を繰り返すことは無駄だと 気付いた時、即座にリンク先の中に 下記の内容を記述しましょう。 手順 PowerShellショートカットのプロパティを開く。 リンク先を編集する。 プロパティのOKボタンをクリックする。 詳細説明 PowerShellのショートカットの場所を
ツッコミポイント・Windowsにおける外字ってそういうのを多用してるのはどうせお役所とかだろうからそっちに直接言ったらどうか ・たかが外字持って行っただけでOSのハングアップやブルースクリーンって何だw どうせUnicodeのPUA使ってるだけだろう ・Unicodeで文字が定義されてるかどうかとそいつが手元の環境で出せるかどうかは別問題だ。フォント入れろフォント ・MacでShift_JISのファイル読めないんてことはないよ。cp932（JISX0208のMSによるオレオレ拡張）依存の丸数字が化けたりするけど ・OneDriveのポンコツ実装をユーザーのせいにするなw ・お前のとこの「メモ帳」のデフォルト保存文字コードが長らくcp932だったからずっとShift_JISが残っているのだぜ ・お前のとこの表計算ソフトでCSVをcp932決め打ちで開く挙動どうにかしろ ・お前のとこの圧縮解
全角1文字の情報量は何バイト? | スラド IT
Twitterで中学生の技術の問題の画像がアップされ、その問いの内容が物議を醸している（d-tasakiさんのツイート）。議論となっているのは次の問題で、
GB 18030-2022が来た！概要編—表紙から読み取る情報〈エリックの多言語文字散歩〉｜ヒラギノフォント公式note
時は2023年、夏。中国の文字界隈でもっともホットな話題は、新しいGB 18030-2022の施行でしょう。 みなさんも、いよいよGB 18030-2022が2023年8月1日より施行されるという話を聞いたことがあるかもしれませんが、実際にどのような内容で私たちにどのような影響があるか、ご存知ない方もいらっしゃることでしょう。 そこで、GB 18030-2022について概要編と詳細編の2回に分けて解説していきます。 今回はGB 18030-2022の概要編として、中国から入手した本物のGB 18030-2022の規格書の表紙をじっくり見るところから、解説を始めたいと思います。 GB 18030-2022の表紙 そもそもGBってなに？GB 18030の話題を始める前に、そもそも「GB」とはなにかについて簡単に解説しておきましょう。GBとはズバリ、中国の国家標準[※1]のことです。日本の規格で
Go言語における文字列はUTF-8のバイト列を保持します。また、Unicodeの1符号位置に対応するデータ型としてruneというものが用意されており、これは32ビット整数と同じものです。他の言語でいうchar型にあたります。 Rustでも類似の形です。つまり、文字列型はUTF-8のバイト列を保持し、Unicodeのスカラー値に対応する型としてcharが定義されています。(ここでわざわざ「スカラー値」といい「符号位置」としていないのはRustのドキュメントがそうしているせいで、まあほぼ同じようなものですが、サロゲート上位下位の範囲の値を含まない点だけが違います) こうなるとUTF-16の出る幕がない感じになってきます。今後、JavaやC#のように「文字列はUTF-16、char型は16ビット」というものから、こちらの方式へシフトしてくるのでしょうか。JavaなどはUnicodeのBMPにしか
More often than not the mechanism being used to turn bytes into characters and emojis on your computer is "UTF-8". I recently learned how UTF-8 works and felt that the definition lended itself perfectly to creating diagrams explaining the implementation. I created these diagrams for my own enjoyment and wanted to share them. Hopefully this will inspire you to learn how other low-level protocols wo
We released a blazingly fast Aho-Corasick implementation, written in Haskell, in 2019. This implementation was based on UTF-16 strings, since Haskell's text library uses that for its internal string representation. However, the most recent major update of text changed its internal string representation from UTF-16 to UTF-8. This is good news for us, since most of our customer’s data is ASCII, this
こんにちは、TIGの玉木です。Go 1.17連載の4記事目です。 この記事ではGo 1.17で更新があった負のruneの扱いについてです。更新自体は簡単なもので、この記事ではruneの説明から行います。 この記事を書いたきっかけGo 1.17のRelsease Notes1を眺めていたらいくつかの箇所で negative rune valuesという記述があり、runeってなんだ？と気になったことがきっかけです。 runeについてこちらのseihmdさんのQiita記事がとてもわかりやすかったです。詳細はそちらの記事に任せて、この記事では簡単な紹介に留めます。 コンピュータは文字を0と1のビットで表現します。例えば「”あ”, ”い”, “う”, “え”, “お”」の5種類の文字しかなければ、それぞれ「”000”, “001”, “010”, “011”, “100”」のように0と1で文字を
UTF-8,Unicode, Goのbyte, rune関係がよく分からなかったのでいろいろ調べて、自分なりに解釈ができたので、まとめてみようと思います。 まずは定義から行きましょう。 UTF-8: Unicodeで使える8ビット符号単位の文字符号化形式 Unicode: 文字集合（文字セット）が単一の大規模文字セット ようするに、UTF-8は、Unicodeを符号化(エンコード)するやつで、Unicodeはいろんな文字の集合です。 aとか"あ"とか"亜"とか、ほんといろいろな文字の集合。 そして、Unicodeの文字には、識別しやすいように数字が割り振られていて、その数字をコードポイント(Go言語でrune型に割り当てられる)といいます。実際にコードで違いを見てみましょう。 func main() { s := "あいうえお" b := []byte(s) for _, bi := ra
データアナリティクス事業本部の森脇です。 Go言語で文字コードを変換するための方法について調べました。 使用するGo言語のバージョンは1.13.6です。 パッケージのインストール 文字コード変換を行うために、準標準パッケージであるgolang.org/x/textを使用します。 $ go mod init example.com/moriwaki/iconv go: creating new go.mod: module example.com/moriwaki/iconv $ go get -u golang.org/x/text go: finding golang.org/x/text v0.3.2 go: downloading golang.org/x/text v0.3.2 go: extracting golang.org/x/text v0.3.2 $ cat go.mod
ロシアで使われるキリル文字が文字化けした時に使えるフローチャート
ロシアで使われるキリル文字はアルファベットの一種ですが、英語で使われるラテン文字とは形が異なるため、ウェブ上では2バイト文字で使われることが多く、そのため文字コードの違いで文字化けが生じてしまうことがよくあります。以下のフローチャートを見れば、キリル文字がどんな感じに文字化けしてしまっているのかを判断することができます。 https://vault.pmpc.ru/vf/16011417/6a7b205721142511253e4d581.png 「кракозябры(ワニ)はどのように見えますか？」という質問からスタートし、どのような文字に変換されるかを確認します。ほとんどの文章が「╬╤╪」のような記号(赤枠)で表示された場合はKOI8-RをCP 866に修正すればOK。 文字と記号が混ざって出現する場合、記号に「п」と「я」の文字が含まれればUTF-8からKOI8-Rに、記号に混ざっ
ストリーム処理におけるApache Avroの活用について（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）
ストリーム処理におけるApache Avroの活用について （NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05） 株式会社NTTデータ 技術開発本部 関 堅吾（Apache Bigtopコミッタ, Apache Yetus PMC/コミッタ） https://oss.nttdata.com/techconf2019/Read less
はじめに Unicode の White_Space(Zs) カテゴリ Java における trim と strip はじめに 通常目にするスペースには、半角スペース と全角スペース があるが、Unicode の定義上でスペースに分類されるものは(Unicodeのバージョンによっても異なるが)18種類存在する HTML で良く目にする文字実体参照の は、このスペースでの改行を禁止(No-Break)するもので、半角スペースとは異なる Java の String.trim() でトリムされるスペースは、半角スペース U+0020 Java の String.strip() の場合は、ほとんどのスペースがトリムされるが、No-Break なスペースはトリムされない(つまり なスペースはトリムされない) Unicode の White_Space(Zs) カテゴリ
Decoding UTF8 with Parallel Extract 23 Mar 2024 As a side-quest I recently decided to write a branchless utf8 decoder utilizing the pext or "parallel extract" instruction. It's compliant with rfc-3629, meaning that it doesn't just naively decode the code-point but also checks for overlong encoding, surrogate pairs and such. Compiled with gcc -O3 -march=x86-64-v3 the entire decoder results in just
文字コードの異なるページへのPOSTって悩ましいですよね。 具体的には、こちらのサイトがUTF-8で作られていて、相手先がShift_JISだったりする場合。 そもそも相手サイトにPOSTしなきゃいけない理由とは SPAMサイトじゃあるまいし、普通は自サイト以外へのPOSTってあんまり考えられないかも知れません。 でも、実際はあるんです。例えばECサイトが良い例。 「ご購入ありがとうございました。決済手続きは次の画面でお願いします。」 みたいなの。 いまどきそんなの古いよーという方もいらっしゃるかも知れませんが、きっとそれは大手の通販サイトを使用されていることが多いからでしょう。ショッピングモールにさえ出店しない、個人商店レベルのサイトではこんなのいっぱいあります。 中の人いわく、「個人経営のショップサイトでクレジットカード番号を入力するのは怖いというお客様がいらっしゃる」とか。なるほど、
2021/4/20 にリリースされた MySQL 8.0.24 について私が気になったものについて。 まあ文字コードまわりだけなんだけど。 utf8 を utf8mb3 として出力する Client applications and test suite plugins now report utf8mb3 rather than utf8 when writing character set names. (Bug #32164079, Bug #32164125) Important Note: When a utf8mb3 collation was specified in a CREATE TABLE statement, SHOW CREATE TABLE, DEFAULT CHARSET, the values of system variables containing c
Pythonのchardetモジュールが、"testあ"という文字列（UTF-8）の文字コードを"Windows-1254"だと判定する
"testあ"のUTF-8表現は、74 65 73 74 e3 81 82 (1バイトデータの表記は全部16進、以下同様, python3風に書くとb'\x74\x65\x73\x74\xe3\x81\x82')で、chardetが判定するのは「文字列」ではなく、このバイト列です。 ちなみにこのバイト列をUTF-8, Shift_JIS, EUC-JP, ISO-8859-1, Code Page 437, Windows-1254で解釈すると、以下のようになります。 UTF-8 testあ (まぁ、当たり前) Shift_JIS (不正) EUC-JP (不正) ISO-8859-1 testã (81 82 は制御コードにあたるので見えないが不正ではない) CP437 testπüé Win1254 testã‚ (81は未定義なので本来は不正、chardetは未定義にあたるバイトが現
右から左に書かれる文章、前後関係でカタチが変わる文字。『FORSPOKEN』のアラビア語ローカライズで行われた9個の工夫【CEDEC2023】
国内最大規模のゲーム業界カンファレンス「CEDEC2023」が、2023年8月23日（水）から8月25日（金）までの日程で開催されました。最終日となる8月25日には、スクウェア・エニックス プログラマー 中原 勇氏が登壇し、「FORSPOKENでのアラビア語対応について」と題した講演を行いました。 右から左に書かれる文章や、隣接する文字によっては表示が変わる字形など、数多くの課題に対応する具体的な手法が解説された本講演をレポートします。 TEXT / セレナーデ☆ゆうき EDIT / 神山 大輝
Appleのメールアプリで送信するメールをチェックして文字化けを防いでくれるプラグイン「LetterFix」が試験的にmacOS 11 Big Surに対応。
Appleのメールアプリで送信するメールをチェックし文字化けを防いでくれるプラグイン「LetterFix」が試験的にmacOS 11 Big Surに対応しています。詳細は以下から。 LetterFixはmacOSのデフォルトのメーラーであるメールアプリ(Mail.app)で作成したメール中のUnicode文字のチェック＆必要に応じて文字の置換を行うとともに、日本国内で一般にメールのやり取りに用いられているISO 2022-JPエンコーディングで送信に設定し文字化けを防止してくれるプラグインですが、このLetteFixが2020年秋にリリースされるmacOS 11 Big Surのメールアプリに試験的に対応しています。 /Users/(ユーザ名)/Library/Mail/Bundles/ #プラグインのインストールディレクトリ macOS 11 Big Surに対応しているのはLette
【Python】encode・decodeメソッドで、文字列⇔文字コードをかんたん変換！（UTF-8・Shift_JIS）
Python 【Python】encode・decodeメソッドで、文字列⇔文字コードをかんたん変換！（UTF-8・Shift_JIS） Pythonを使っていると、文字コードや文字列の変換が必要になることがありますよね。 でも、文字コードって何？どうやって変換すればいいの？と疑問に思ったことはありませんか？ やり方はかんたんです。 「encode」メソッドと「decode」メソッドを使えば、あっという間に文字列と文字コードの変換ができるようになります！ UTF-8、ASCII、Shift_JISといった代表的な文字コードの変換プログラムもまじえて解説しています。 実際にプログラムを動かすことで、どのように文字列と文字コードを変換するのか理解が深まると思います。ぜひ実際にコードを入力して動かしてみて下さいね。
本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1） Unicode、ASCIIコード、Shift-JIS、UTF-8、UTF-16の関係を理解する データ分析を行っていると、必ず出てくる専門用語で「文字コード」がありますが、それぞれの文字コードの概念は、曖昧になってはいませんか？ これから説明する内容は、文字コードとは何かを代表的な文字コードの関係性から説明します。 UnicodeとUTF-16は別物 ～符号化文字集合と符号化形式について～ 若い情報処理系の技術者に対して、「代表的な文字コードって何？」と質問した時、返ってくる内容として「ASCIIコード、Shift-JIS、UTF-8、UTF-16、Unicode…」と答えるケースがあります。これは、厳密にいえば正しい答えではありません。 Unicodeは「符号化文字集合
[7zip]日本語版Windowsで圧縮されたzipファイルを文字化けせずに解凍する方法 - Qiita
やりたいこと Windows英語環境を使用している Windows日本語環境で圧縮されたzipファイルを回答すると、日本語ファイル名が文字化けする 文字化けしてしまったファイル名を修復するソフトもあるが、解凍時点で正しく解凍したい 会社支給PCの環境でありなるべく新しくソフトをインストールしたくない 日本同士でもWindowsーMac, Linuxでも同じ現象が起こる様子 Mac, Linuxでの解決方法は情報豊富 また、一部の情報では7zipが自動的にエンコードを判別してくれるとのこと しかし、私のWindows英語環境ではうまく機能せず 他にWindows英語環境でできる方法を探してみたものの、日本語情報がなかったので記事化 環境 Windows10 (英語環境) 7zipコマンドライン版(7-Zip Extra 19.00) 原因 日本語版Windowsでは圧縮時にShift-JIS
![[7zip]日本語版Windowsで圧縮されたzipファイルを文字化けせずに解凍する方法 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a5d18d011f997f55823dc3df22840e6a69796c36/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCN3ppcCU1RCVFNiU5NyVBNSVFNiU5QyVBQyVFOCVBQSU5RSVFNyU4OSU4OFdpbmRvd3MlRTMlODElQTclRTUlOUMlQTclRTclQjglQUUlRTMlODElOTUlRTMlODIlOEMlRTMlODElOUZ6aXAlRTMlODMlOTUlRTMlODIlQTElRTMlODIlQTQlRTMlODMlQUIlRTMlODIlOTIlRTYlOTYlODclRTUlQUQlOTclRTUlOEMlOTYlRTMlODElOTElRTMlODElOUIlRTMlODElOUElRTMlODElQUIlRTglQTclQTMlRTUlODclOEQlRTMlODElOTklRTMlODIlOEIlRTYlOTYlQjklRTYlQjMlOTUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTIwZjk3OWY0NTFmNjhmMDM3Y2E4NDBhNDE5YWE1ZjFl%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBEYWlraWNoaURhemUmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTY0N2I4OThlYzE2ZTk0ZmUwYWI2ZWNjOGRmNjkyODZi%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dcddb476af0e426547ca34682a1202c3b)
MySQLの文字コード変更
MySQLを5.7から8へバージョンアップする過程で、文字コードを utf8mb4 に変更する必要が生じたため、方法をメモします。 現在の状況確認↓まずMySQLに接続して、現在の状況を確認します。 # MySQLへ接続 mysql -u root -p # 変更対象のDBを選択 mysql> use hogehoge; # 文字の設定を管理している環境変数を表示 mysql> show variables like "chara%!"(MISSING); # 出力結果 +--------------------------+----------------------------+ | Variable_name | Value | +--------------------------+----------------------------+ | character_set_clie
2021-02-08 CyberChef について34個のユースケースをまとめた記事が紹介されていました。 ひとつひとつ試していて改めて CyberChef 面白いなぁと思った操作についていくつかメモしました。 処理の制御 Fork Merge Label Jump Conditional Jump バイナリ操作 Swap endianness Take bytes Disassemble x86 Remove null bytes To Hexdump From Hexdump Microsoft Script Decoder 圧縮・展開 Raw Inflate Gunzip Zlib Inflate Unzip URL操作 Extract URLs Extract Domains Defang URL 正規表現・文字列検索置換など Find / Replace Regular expr
旧CGIプログラム（SJIS）をUTF8へ変更する方法
すでに世の中、シフトJISから、UTF-8型式に文字コード体系が変化しています。 しかし、Perl/CGIのプログラムについては、その多くが「shift_jis」で稼働している状況です。ここで、最低限の移行・修正処理により、UTF-8型式へ移行・変換する対応を整理しました。 FileCode Checkerによる文字コード変換 上記のFileCode Checkerは、フリーソフトです。Win10版を導入しましょう。 フォルダ内ファイルを旧文字コード型式から、全てUTF8型式へ一括変換できます。 変換内容 文字コード：UTF8 改行コード：CRLF 元のファイルを置換（事前にバックアップを作成しておく） 変換手順 変換前のファイルについて、全てバックアップを作成しておきます。 FileCode Checkerのツールを起動 txt、cgi、datなど、旧コードの「shift_jis」で書か
C/C++で日本語を扱いたい - Qiita
#include <stdio.h> #include <string.h> int main() { char str[] = "日本語サンプル"; int length = strlen(str); printf("1文字目: %c\n", str[0]); printf("長さ: %d\n", length); return 0; } このように、単なるchar型として扱うと日本語を上手く処理できない。まあ、日本語が2バイト以上で表現されているので当たり前といえば当たり前なんだけど。 そこで、C/C++で上手に日本語を処理するための方法を2通り紹介したい。 ワイド文字を使う ワイド文字は、16ビット固定長で表現される多言語文字体型のことである。 C言語では、wchar_t型を用いてワイド文字を扱うことができる。 しかし、ワイド文字を扱うには、ロケールの設定が必要である。日本語だけ扱い
<4D6963726F736F667420506F776572506F696E74202D2032303139313131398DA182B382E795B782AF82C882A295B68E9A8352815B836882CC82CD82C882B557656294C52E70707478>
Copyright (C) 2019 Iwata Corporation. All Rights Reserved. 2019年11月19日 l 水野 昭 今さら聞けない文字コードのはなし 1 Copyright (C) 2019 Iwata Corporation. All Rights Reserved. 本資料は2018年11月29日に東京ビッグサイトで開催された JANPS2018（新聞製作技術展・日本新聞協会主催）の会場内 セミナーで発表した資料をもとにしています。 本資料の無断転載・無断使用を禁止します。 2 Copyright (C) 2019 Iwata Corporation. All Rights Reserved. イワタの歴史 ・1920年（大正9） 岩田百蔵が創業。鉛活字の母型を製造。 ・1939年（昭和14） 大阪龍文堂の森川健市（のちの大阪支店長）が 新聞用扁
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CyberChef 超入門 (例題付き) - 午前７時のしなもんぶろぐ
SQLServer日本語コードの確認方法 - Qiita
絵文字をスクリーンリーダーに読み上げさせてみた | アクセシビリティBlog | ミツエーリンクス
Office アシスタント「クリッパー」が絵文字として復活へ | スラド idle
The GB 18030-2022 Standard
PowerShell起動時、文字コードをUTF-8に変える方法 - Qiita
なにやら文字コードについてMSが言ってるようなのでツッコミ入れておこうと思う｜JunTajima
Go と Rustの文字列 - yanok.net
How does UTF-8 turn “😂” into “F09F9882”?
So Long Surrogates: How we moved to UTF-8 in Haskell
テキスト広告が文字化け→実は意図的だった？ Twitterのプロモーションが話題に【やじうまWatch】
変体仮名を使える「Android 15 Beta 2」が公開 ～「プライベートスペース」なども追加／今秋にも正式リリース
Go 1.17からの負のruneの扱い | フューチャー技術ブログ
UnicodeとUTF-8と、GoのByte型とrune型についてのまとめ - たのしい駆動開発
Go言語(golang)でShiftJISのファイルをutf-8に変換する | DevelopersIO
Unicode のスペースは色々あるし、半角スペースと   は同じでもない - A Memorandum
Decoding UTF8 with Parallel Extract
文字コードの異なるフォームへのPOST（UTF8 to Shift_JIS）
MySQL 8.0.24 の文字コードまわり - tmtms のメモ
文字コードとは？~UTF-8はパソコンの世界共通語~｜データ分析用語を解説 - GiXo Ltd.
CyberChef のオペレーションめも - setodaNote