BOMなしUTF-8によってWindowsでもたらされる困惑 (1/2)

かつてWindowsでテキストファイルといえばシフトJIS形式のものが大半だった。しかし最近では、UTF-8形式のテキストファイルも普通に見かけるようになってきた。世の中はUTF-8が主流になりつつあると言っていいだろう。 しかし、WindowsでUTF-8を使うと、ちょっと困ったことがある。それは、エクスプローラーの検索欄などで用いるWindows Searchが、UTF-8にはしっかり対応していないのである。正確に言うと、Windows Searchはファイル先頭に「BOM」のあるUTF-8は認識して正確にインデックス化し、ファイルの全文検索が可能になるが、BOMのないUTF-8では正しくインデックス化できず、ファイルの全文検索はASCIIコードのみ可能で、日本語などの非ASCII文字では全文検索ができない。 同じ内容のテキストをUTF-8、UTF-8 BOM付き、UTF-16ビッグエ

[tettekete37564]

いいかUTF-8ってのはUnicodeのエンコーディング方式の中でUTF16や32と違ってBOMが要らないエンコーディングの事だ。そもも初期はUTF8でBOMは禁止だったんだよ。

[chintaro3]

　まぁ、そもそも Windows Search がヘボすぎて、よっぽど困った時以外は誰も使ってないっていう・・・

[rti7743]

Windowsの検索はXP以降は全文検索ではなくなったので、検索漏れの可能性があって怖くて使えない。余計にヒットするより、確実にあるのにないと嘘つかれる方が困る。他のまともに全文検索しているソフトを使ったほういい

[misarine3]

結局何でファイル作ればいいの…（困惑のMac民）

[kakei-akihiko]

個別のプロジェクトならVSCodeの検索を使うし、OS自体の検索は使う場面がないな。

[m50747]

これだからWindowsを卒業した。日本の技術負債SJISがメインの文字コードのOSなんて。 とにかくWindowsは技術負債が多過ぎる。

[verda]

あんだけ機能あるなかで漏らさず一気に切り替えるなんてできるとは思えないし ちょっとずつ直してくしかないわな

[vbwmle]

Unicodeなんて名前なのに仕様を複数種類作った時点で負け確なのでは

[onionskin]

まだそんな状態なのか。Consoleのデフォルトもさっさと65001にしてほしい。

[agricola]

macOSで作成された日本語テキストでひらがなやカタカナの（半）濁音が清音と（半）濁点に分解されてる件も各方面に支障を来すんだがな。

[paku7651]

あちゃー、というか、自社の中で整合性のないままだったりがMS

[georgew]

これだからWindowsは...

[field_combat]

Windows SearchがBOM無しを検索できないの知らなかった

[rryu]

BOMを付けないとWindowsでどうにもならないが付けるとWindows以外で面倒なことになるというのが一番困るところ。

[hatest]

BOM：(B)馬鹿な (O)OS (M)マイクロソフト

[momizikeiko]

なんで今更そこがユーザのフェーズで問題になっているのかがよく分からない

[buhoho]

そもそもバイト並び固定のUTF8にBOMなんてないので。マイクロソフト環境の問題よね

[kohiro0]

もしかしてUTF-8(with BOM)だと、csvをEXCELで開いても文字化けしない？/しなかった！マジか！

[Talgo]

BOMってBills of materialsのことしか知らなかったから、UTF-8のBOMってなんだろうかと思ってた。byte order markっていうのもあるのね。

[miruto]

もうUTF-8統一にしてくれ！勿論BOMなしでね。

[kunioya]

txt はふつうに grep して pdf と Office 関連は Windows Search だなぁ

[inazuma2073]

以前からBOMってなんだ？と思ってて読んでみたが結局なんのために存在するのか解らなかった。

[richard_raw]

“ファイルの全文検索はASCIIコードのみ可能で、日本語などの非ASCII文字では全文検索ができない。 ” Windows Searchは役に立ったことがないなーと思ってたらそういうことでしたか。

[delphinus35]

あれ。UTF-8って6バイトまであったはずが……とWikipedia見たら、今は5〜6バイトは不正なのか。

[kibitaki]

slsいいな。

[queeuq]

デフォはファイル名だけで検索してくれ。頼む。

[minamishinji]

こういうところは一掃してくれているのかと思ったがそうでもないのか。そして今後日本特有の課題の解決に対する優先度が上がることってあるのだろうか…

[irasally]

“正しくUTF-8に対応しているなら、BOMがあってもなくても問題は発生しない” CSV読み込み機能を作る時にハマるのはBOMありデータ…／Excelで作ったCSVはBOM無しUTF-8でも保存できるようにしてほしい

[Kil]

全文検索しないのでBOM無しでいいです。

[urtz]

Windows Searchなんて誰も使ってない機能は廃止すると思う

[IGA-OS]

え、めんどくさ

[diveintounlimit]

Shift_JISかと思った？残念、Windows-31Jでした！

[nekonyantaro]

今までもWindowsの全文検索は思い通りに動かないことが多い、という印象があったがやはりいろいろ有るようだ。

[quick_past]

いろいろと特殊すぎるOS

[akulog]

全部デスクトップに保存すれば検索しなくてもよくね？HAHAHAHA

[dollarss]

な、なんだってー…

[n_231]

everything買収して・・・

[NOV1975]

検索使わねーしなー

[qtamaki]

BOMうざい