第157回 MySQLのデフォルトcollationの注意点 | gihyo.jp
MySQLではcharacter set（以後、charset）やcollationをグローバル、データベース、テーブルやカラムレベルで設定することができます。今回はMySQLのデフォルトcollationの注意点を紹介したいと思います。使用するMySQLのバージョンは8.0.26です。 charsetやcollationとはなにかについては説明はしません。よって、charsetやcollationについてご存知ない方は、先にマニュアル「第10章 文字セット、照合順序、Unicode」をご確認ください。 charsetやcollationの各レベルの設定方法 グローバル 以下のシステム変数を設定します。 character_set_server… サーバーのデフォルトのcharset collation_server… サーバーのデフォルトのcollation データベース CREATE
Your code displays Japanese wrong
A static site to link people to when their code is displaying Japanese wrong. View the Project on GitHub heistak/your-code-displays-japanese-wrong Why am I here? If someone gave you a link to this page, that person probably thinks your code displays Japanese wrong. In short, from a native Japanese eye, yѳur ҭєxҭ lѳѳκs κιnd ѳf lικє ҭЋιs. This page will give you a brief description of the glyph appe
StackOverflowからのコピペをやめろ。今すぐにだ。 - Qiita
Original article:https://dev.to/dotnetsafer/rip-copy-and-paste-from-stackoverflow-trojan-source-solution-4p8f その昔コピペできない文章というものがありました。 実際は単にフォントを変えているだけというものですが、人間の目に見える文字と実際の文字が異なることを利用した攻撃の一種と見ることもできます。 さて、最近になって似たような攻撃に関する論文が公開されました。 人間には見えない文字を織り交ぜることによって、一見問題ないコードが実は脆弱になってしまうというものです。 ただ論文は堅苦しいうえに長くて読むのがつらいので、具体的に何がどうなのかよくわかりません。 平易に解説している記事があったので紹介してみます。 以下はDotnetsafer( Twitter / GitHub / Web
Rubyの内部文字コードはUTF-8ではない...だと...？！｜TechRacho by BPS株式会社
こんにちは、hachi8833です。 少し前に、babaさんから「Rubyの内部文字コードはUTF-8じゃないよ」とツッコミがありました。 （追記: 上は会話の途中から切り取りましたのでご了承ください） いきなりの展開にくらくらきましたが、babaさんはさらにたたみかけます。 こうしたことはとっくにご存じの方も多いと思いますが、「Rubyといえば2.0以来UTF-8完全対応なんじゃないの」と勝手に思い込んでた私は脳に掌底を食らったような思いです。ああ、でもこういうことがあるから面白い。 ⚓ プログラミング言語と内部文字コードの関係 まず最初に押さえておきたい点です。プログラミング言語で文字コードに関連する部分は、「文字列」「正規表現」「入出力」「コード中の文字リテラル（""の中など）」「コード中の文字リテラル以外の要素（変数名など）」「ファイル名」などが中心になります。そして文字列に関連し
ZIP中のファイル名の文字化け(Ruby編) - tmtms のメモ
tmtms.hatenablog.com という記事を書きましたが、今回はRubyでZIPファイルを作る時の話を。 RubyでZIPファイルを作るには、rubyzip というライブラリを使います。 % gem install rubyzip 次のようにしてZIPにファイルを追加できます。 require 'zip' Zip::File.open('hoge.zip', Zip::File::CREATE) do |zip| zip.add('いろはにほへと.txt', '/path/to/いろはにほへと.txt') end Zip::File#add の第一引数はZIP内に記録されるファイル名、第二引数は実際のファイルのパスです。この二つのファイル名は同じである必要はありません。 ただし、この場合はUTF-8フラグがセットされません。つまりWindowsの標準機能で開くと文字化けしてしまい
Windows-31Jに変換する時の例外を防止するためのString拡張 - Qiita
class String def sjisable str = self #変換テーブル上の文字を下の文字に置換する from_chr = "\u{301C 2212 00A2 00A3 00AC 2013 2014 2016 203E 00A0 00F8 203A}" to_chr = "\u{FF5E FF0D FFE0 FFE1 FFE2 FF0D 2015 2225 FFE3 0020 03A6 3009}" str.tr!(from_chr, to_chr) #変換テーブルから漏れた不正文字は?に変換し、さらにUTF8に戻すことで今後例外を出さないようにする str = str.encode("Windows-31J","UTF-8",:invalid => :replace,:undef=>:replace).encode("UTF-8","Windows-31J") end
Ctrl-[ が Esc になる理由 - Humanity
理由 SHIFT キーはキーコードを -0x20、CTRL キーはキーコードを -0x40 する機能 全文 vim-jp.slack.com の #random から。 heavenshell [10:08 AM] TouchBar MBP にしたら強制的に C-[ になるので、オススメです！ようやく矯正できた。 mattn [10:09 AM] 人間の方が最適化されている yoshitia [10:12 AM] Escが物理的にない状況用にデフォルトでCtrl-[ 用意してるのすごい mattn [10:14 AM] いや、用意した訳ではないです。 SHIFT キーはキーコードを -0x20、CTRL キーはキーコードを -0x40 する機能なのです。 なので `[` つまり 0x5b は 0x1b になる。 0x1b = ESC 同様に CTRL-H は H が 0x48 なので 0x
Javaで文字コードの変換をしたい
1import java.nio.charset.StandardCharsets; 2import java.nio.charset.Charset; 3 4class U8SJ { 5 public static void main(String[] args) { 6 // String str = "aあ①????"; 7 // byte[] u8bytes = str.getBytes(StandardCharsets.UTF_8); 8 byte[] u8bytes = { 9 (byte)0x61, // a 10 (byte)0xE3, (byte)0x81, (byte)0x82, // あ 11 (byte)0xE2, (byte)0x91, (byte)0xA0, // ① 12 (byte)0xF0, (byte)0xA0, (byte)0xAE, (byte)0x
Java 文字列操作
正規表現 import java.util.regex.Pattern; import java.util.regex.Matcher; class Main { public static void main(String args[]) { { // 完全一致 Pattern pattern = Pattern.compile("^http://www\\."); Pattern pattern2 = Pattern.compile("abc", Pattern.CASE_INSENSITIVE); Matcher matcher = pattern.matcher("http://www.example.com"); Matcher matcher2 = pattern2.matcher("ABC"); System.out.println(matcher.matches()); /
Java で UnsupportedEncodingException を発生させなくする - Qiita
こんにちは、最近は Go か Java しか書いていない米林です。 UnsupportedEncodingException 嫌い Java開発において String.getBytes("UTF-8") や new String(byte[], "UTF-8) する際に、毎回 UnsupportedEncofingException を try-catch したり throws に追加して「"UTF-8"はサポートしてるだろう」と思いながら仕方なく書いてた人は日本 には多数いるはずです。 コードとしてはこんな感じ、Java 開発者なら「あー、これね」と頷くレベルですね。 private void getBytes() { final String msg = "ABC"; try { final byte[] bytes = msg.getBytes("UTF-8"); } catch (
デフォルトエンコーディングを確認する
デフォルトのエンコーディングは開発に使用している環境によって異なります。自分の環境におけるデフォルトのエンコーディングを確認するには、 file.encoding プロパティに設定されているエンコーディングを出力してみることで確認できます。 それでは file.encoding プロパティを出力する簡単なプログラムを作成します。テキストエディタで次のプログラムを記述し、 JSample1_1.java として保存してください。 class JSample1_1{ public static void main(String[] args){ System.out.println(System.getProperty("file.encoding")); } } コマンドプロンプトから作成したソースファイルをコンパイルを行い、その後でプログラムを実行してください。 Windows 10 の環
MySQLの照合順序 - Qiita
やってみた MySQLの照合順序、UTF-8の日本語で使える照合順序はいくつかあるけど、 実際にどんなマッチの仕方をするのかわからなかったので、ちょっとやってみた。 ちなみに、MySQLのUTF-8で日本語を扱う場合に使用可能な照合順序はしたの3つ。 utf8_bin utf8_general_ci utf8_unicode_ci 確認したかったのは、半角・全角、小文字・大文字がどんな感じでマッチするのかという事。 ながーいので、結果を utf8_bin キャラクターコードが完全に一致するもののみマッチする。 utf8_general_ci アルファベットの大文字・小文字は区別せずにマッチする。 ただし、区別しない文字は、半角は半角の大文字・小文字、全角は全角の大文字・小文字のみ。 半角小文字と全角小文字同士はマッチしない。 utf8_unicode_ci 下記がマッチする。 アルファベッ
Excelで開くと文字化けするCSVファイルへの簡単な対応方法
CSVファイルをダブルクリックでExcelで開くと、下の画像みたいに文字化けしてることありますよね。 文字化けしたCSVをエクセルで開いた状態 このファイルをちゃんと見れるようにするには、 Windowsのメモ帳で開いて保存しなおす Excelの外部データの取り込みを使う（Excel2013まで） Excelのデータと取得と変換を使う（Excel2016以降、または、Microsoft 365） CSVファイルをWindowsのメモ帳で開いて保存しなおす 僕はいつもこの方法でやってます。一番簡単です。 Windowsのメモ帳で文字化けするCSVファイルを開いて、「ファイル（F）」>「名前を付けて保存（A）」をクリック。 Windowsのメモ帳で名前を付けて保存 名前を付けて保存のウィンドウで、文字コードが「UTF-8」になってると思います。「UTF-8（BOM付き）」に変えて「保存」してく
C言語の全角文字コメント行がコンパイルエラーを起こすことがある - 生物物理計算化学者の雛
エラーを引き起こすコメント行 とあるＣ言語のプログラムを Windows 上の Visual Studio 2008 で編集・作成し、完成したソースコードを Linux マシンにコピーし gcc でコンパイルしてデータ処理を実行という流れで作業を行っていました。 その際に、ある全角文字を含むコメント行が存在するとエラーが生じるという現象に遭遇しました。 このエラーを再現するプログラムは以下のようなものです。 #include <stdio.h> int main(void) { int n = 10; // n の値により分岐可能 if(n > 5){ printf("Large\n"); }else{ printf("Small\n"); } return 0; } このソースコードは、Visual Studio上では何の問題もなくコンパイル、実行できます。 しかしながら、Linux の
rubyで㈱などの機種依存文字をUTF-8に変換する
“㈱"や"㈲"などの文字をCSVなどからShift_JISで取り込み、rubyでUTF-8に変換するときにUndefinedConversionでハマった。 "㈱".encode('UTF-8', 'Shift_JIS') > "\x87\x8A" from Shift_JIS to UTF-8 > /User/sanojimaru/workspace/example/lib/string.rb:849:in `encode': "\x87\x8A" from Shift_JIS to UTF-8 (Encoding::UndefinedConversionError) Shift_JISは一部の機種依存文字に対応していないので、CP932(Windows-31J)を使えば良い。 "㈱".encode('UTF-8', 'CP932')
Excel：VBA：UTF-8／LFのファイルを読み込む - HiiHahWIKI - making some notes for... -
Excel：VBA：UTF-8／LFのファイルを読み込む † ハマったのでごみごみコメントを書いたコードを残します。 まあ、端的には、「ADODB.Stream」ってやつを使えばOKです。 ↑ コメント無し版 † コメント無しだとすっきりです。 Sub loadLogFile2(ByRef fileName As Variant) Dim rowNo As Integer Dim readString As String Dim st As Object Set st = CreateObject("ADODB.Stream") 'ADODB.Stream生成 st.Type = 2 'オブジェクトに保存するデータの種類を文字列型に指定する st.Charset = "utf-8" '文字コード（Shift_JIS, Unicodeなど） st.LineSeparator = 10 '改行
文字コード変換ミスによる文字化けパターンと想定される原因 - drk7jp
とあるシステムでデータベースから引いてきたデータの表示が文字化けするという不具合がありました。 データベース内のデータとしては文字化けしていない状態で格納されていることはわかっていたので、どこかしらの文字変換で化けていることはわかっています。まずはどの誤変換により文字化けするのか原因切り分けのために、decode/encode の組み合わせによる文字化けパターン一覧を作りました。おかげさまでどのパターンに類するものか判別することができ、無事に改修することができました。 その話はまた別にするとして、今も昔も変わらず文字化けに悩む人は意外と多いと思います。誤変換結果一覧は原因解析の参考になると思い、記事としてまとめることにしました。 文字コード変換ミスによる文字化けパターンを可視化するプログラムと一覧表 まずは誤変換を生成する perl スクリプトです。プログラムはとっても簡単で、「文字化けで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
rails6.0ではsend_dataでファイル名を明示的にエンコードしなくても文字化けしなくなってる - Qiita
新元号「令和」と文字コード(主にUnicode)の問題
Java Tips