Windowsでは、文字コードに「ユニコード」を使う。Windowsに搭載されているフォントはさまざまあるが、ユニコード文字を表示できるように、多数の文字の形が組み込まれている。 今回は、Windowsでユニコードを“見る”方法について解説する。なお、WindowsではUTF-16LEエンコードをUnicodeと表記する。ここでは、エンコードと混同されないために、文字仕様のUnicodeは「ユニコード」とカナ書きすることにする。 GUIアプリでユニコードを使う ユニコード文字は多数ある。それぞれの文字に割り当てられた文字コードをユニコードでは「コードポイント」と呼ぶ。コードポイントは、「U+」の後ろに16進数4桁または6桁で指定するのが正式な表記方法だ。たとえば、「漢」は「U+6F22」となる。ユニコード関連の文書やもちろん、インターネット内のウェブページでも同様の表記をすることが多い。
こんにちは。iOSの日本語入力アプリである「azooKey」を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである「Zenzai」を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください! Zenzaiの概要 日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。 クローズドソースのシステ
日本語が本格的に使えるようになりだした頃、そのコードはJISコードを巧妙に細工してモード切替を不要にしたシフトJISと呼ばれるものが使われました。当時は英語のみが使える環境でプログラムが作られることが殆どだったので、これを移植して日本語を扱えるようにすれば充分だということだったのです。 文字コード 最初に使われたのはCP/M-86という説もありますが、一般的に使われるようになったのはMS-DOS(PC-DOS)が最初です。これはWindowsにも引き継がれ、Macintoshも日本主導で日本語化が行われたという経緯もありシフトJISが使われました。 さてシフトJISの問題は米国標準であるASCIIに対する拡張であって、それ以外の国のローカルコードのことを考えていないことです。例えば英国では一部の記号がポンド記号に置き換わっているコードが使われていましたし、他のヨーロッパ諸国の言語でもいろい
先日以下の記事を書きました。 ここでUTF-8の最初の文字かどうかの判定を以下の自作した関数で実装していました。 const ( t1 = 0b00000000 tx = 0b10000000 t2 = 0b00000110 t3 = 0b00001110 t4 = 0b00011110 ) func isUTF8LeadByte(tmp byte) bool { if tmp&tx == t1 { return true } tmp >>= 3 if tmp == t4 { return true } tmp >>= 1 if tmp == t3 { return true } tmp >>= 1 if tmp == t2 { return true } return false }
Orange Tsai tweeted a few hours ago about “One of [his] PHP vulnerabilities, which affects XAMPP by default”, and we were curious to say the least. XAMPP is a very popular way for administrators and developers to rapidly deploy Apache, PHP, and a bunch of other tools, and any bug that could give us RCE in its default installation sounds pretty tantalizing. Fortunately, for defenders, the bug has o
JavaScriptの識別子(変数名、関数名、プロパティ名など)の2文字目以降に中黒「・」(U+30FB KATAKANA MIDDLE DOT)が使えるようになりました。以下のコードはChrome 124では構文エラーになりますが、Chrome 125では問題なく実行できます。 const シン・ゴジラ = 2016; JavaScriptの識別子 中黒が使えるようになったのは、JavaScript(ECMAScript)の仕様が変わったからではありません。変わったのはUnicodeの仕様のほうです。Unicode 15.1.0(2023年9月)においてOther_ID_Continueプロパティ(を持つ文字の集まり)に中黒が追加されました。 そもそもJavaScriptの識別子に使える文字は、Unicodeを参照して定義されています。ECMAScript 2023(2023年6月)では
Motivation Introduction User input strace Printing non-printable stty raw -echo -isig UTF-8 Conclusion Motivation This blog series explains how modern terminals and command-line tools work. The primary goal here is to learn by experimenting. I’ll provide Linux tools to debug every component mentioned in the discussion. Our focus is to discover how things work. For the explanation of why things wor
ASCII Silhouettify [ About | Example | Galleries | Install | Uninstall | Options | Algorithm ] About ASCII Silhouettify is an app that converts images into ASCII silhouettes, a style of ASCII art distinguished by uniformly filled geometric shapes rather than lines or textures. For input, the app expects flat graphics—visuals with minimalistic, high-contrast forms lacking dimensional depth, such as
© 2021. All rights reserved. Site created with Hakyll. Modified theme lanyon-hakyll based on Lanyon. The ultimate guide to Haskell Strings May 7, 2024, Posted by Julian Ospald This guide is aimed at Haskellers who seek to improve their understanding of String types, be it beginners or seasoned developers. It is also meant to be a quick reference/cheat sheet for deciding which string type to use in
iOS18では、入力中の文章に応じて、人工知能(AI)がオリジナルの絵文字を生成する新機能が投入される、とBloombergのマーク・ガーマン記者がニュースレター「Power On」で報じています。AIを活用した新機能開発プロジェクトは「Project Greymatter」と呼ばれているそうです。 入力中の文章に応じてオリジナル絵文字を自動生成! 人工知能(AI)を活用したiOS18の目玉機能として、入力中の文章の内容に応じたオリジナルの絵文字を生成できる機能が導入される、とBloombergのマーク・ガーマン氏は伝えています。 iPhoneなどのデバイスでは、すでに多くの絵文字が利用可能となっており、今後も新作が追加される見込みですが、この新機能により、従来の絵文字カタログにない、まったく新規の絵文字が使えるようになるとのことです。 ステッカーのような画像を生成? 絵文字は、送信側と受
Rails7.1をローカル環境で動かしてみます! PC上で直接動かし、その後にDockerコンテナ上で動かしてみます。 コンテナでは、rails newで作成された公式のDockerfileを使用していきます。 Ruby・Railsのインストールから始めていきます! Ruby/Railsのインストール Rubyインストール rbenvをインストールする brew install rbenv rbenvからインストールできるRubyのバージョンを確認する rbenv install -l リスト内から最新バージョンを確認して,Rubyをインストールする(ここでは3.3.1をインストールします) rbenv install 3.3.1 rbenv global 3.3.1 rbenvのRubyに切り替えます export PATH="$HOME/.rbenv/bin:$PATH" eval "
まいどおなじみTenです。つい先日まで自治会の会長さんというやつをやっていたのですけど、ドキュメントの整備や広報の配布作業とかで手を取られてあっぷあっぷでした。ドキュメント整備からも開放されたのでそろそろエクステンション作りたいなって思っています。まずはIllustrator向けのカラーフォントエディタを作りたいと思います。 まあ、それはおいておいて、先日はAcrobatのPDF内部構造の参照機能を見ていただいたんですけど、Acrobatさんには他にも面白い機能がありますので、今回はそちらをご紹介する次第です。 まず、例によってPDFの内部構造を覗き見してみます。 このようにフォントが埋め込まれていて色々と情報が見えるのがおわかりいただけるかと思います。ここで見えているCFFというのはCompact Font Formatの略称で、Postscript系フォントの中核をになうテーブルとなり
Emojis are small picture-like symbols that can add context and emotion to written text. They are about the same size as a letter that can be typed, but unlike alphanumeric characters, they are usually depicted in color, and their meaning is often open to interpretation. The word emoji comes from combining the Japanese words for picture and character. The first emoji characters, introduced in the 9
English Version, 中文版本 During DEVCORE’s continuous offensive research, our team discovered a remote code execution vulnerability in PHP. Due to the widespread use of the programming language in the web ecosystem and the ease of exploitability, DEVCORE classified its severity as critical, and promptly reported it to the PHP official team. The official team released a patch on 2024/06/06. Please refe
こんにちは、技術広報のえんじぇるです。RubyKaigi 2024 お疲れさまでした! STORES はNursery Sponsorとして、託児所の企画・運営をしました。(託児所の企画・運営についてはまた別途ブログを書きます)また、会場ではブースを出したり、会期中にSTORES CAFE for WomenとSTORES CAFE at RubyKaigi 2024を開催したりと、盛りだくさんな3日間でした。 このブログではRubyKaigi 2024に参加したメンバーから印象に残ったセッション、出来事について聞きました。それぞれの視点のレポートをお楽しみください。 ko1 印象に残ったセッション1:Writing Weird Code まさに Weird code を面白く、わかりやすく紹介してくださって大変よかったです。 印象に残ったセッション2:Unlocking Potentia
Description of Issue: A draft UAX is now available for general public review and comment. This Unicode Standard Annex will be published as a part of Unicode 16.0. It describes the format and content of the Unikemet database, which will be added to the UCD to provide source and other information about Egyptian hieroglyphs. How to Provide Feedback: For information about how to discuss this Public Re
RubyKaigi2024 はじめに ペイトナー請求書のフロントエンドエンジニアの@fuqda です。 本稿は、先日開催されたRubyKaigi2024の参加レポートになります。 フロントエンドエンジニア目線でRubyKaigiの面白かった部分のレポートが出来ればと思いますので、最後までお付き合いください。 参加したセッション 1日目 Writing Weird Code Namespace, What and Why Generating a custom SDK for your web service or Rails API 2日目 Leveraging Falcon and Rails for Real-Time Interactivity Reducing Implicit Allocations During Method Calling Breaking the Ruby
Version 1.90 is now available! Read about the new features and fixes from May. May 2024 (version 1.90) Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the May 2024 release of Visual Studio Code. There are many updates in this version that we hope you'll like, some of the key highlights include: Editor tabs multi-select - Select and perform
In 2019 Emojipedia detailed a historic revelation: Docomo’s i-mode emojis from 20 years prior were not the first to exist. Now, in 2024, further digital excavations have led to the recreation of emoji designs that predate both Softbank’s 1997 emoji set and the ❤-enabled Pocket Bell pagers of 1995. Above: the emojis from the Sharp Zaurus PI-4000. Credit: Matt Sephton.This recreation work was undert
LaTeX と Typst はともにテキストファイルから PDF を出力できる目的や方法が卑近なツールです。 これらにはよく知られた違いがいくつかありますが、これらの違いが明文化されている記事は無いようでした。 そこで、この 2 つのツールをさまざまな点で比較してみました。 注意:本記事は LaTeX と Typst のどちらが良いツールかを検討する記事ではありません。単に比較することのみに終始することに注意してください。 環境構築 LaTeX を利用するには、以下のようなディストリビューションをインストールする必要があります。(W32TeX は配布終了しました) TeX Live MacTeX MiKTeX ...and more TeX Live のインストールには少なく見積もっても 1 時間弱、フルスキームに至っては 2 時間強ほど必要です。これは、多数のパッケージやフォント、それら
はじめに Unix 哲学には DOTADIW: Do One Thing and Do It Well という言葉があります。日本語に訳すと「一つのことをうまくやる」となりますが、しばしば単機能のコマンドを作ることだと勘違いされています。この記事ではなぜこれが勘違いであるのかを解説します。ところで DOTADIW という単語はぜんぜん覚えられないのですがドタディウと発音すればよいのでしょうか? パイプの誕生とUnix哲学の4つの考え方 Unix 哲学には「これが Unix 哲学である」という定義があるわけではありませんが、1973 年のパイプの誕生を契機として「ソフトウェアツール」という考え方が生まれ、ここから Unix 哲学と呼ばれる考え方が広まったことはよく知られています。パイプの発案者は Unix が開発された AT&Tベル研究所の Doug McIlroy であり、彼が 1978
TeX Live 2024は2024/3/13にリリースされましたが、インストール方法はおそらく変わりありません。当方の事情で遅れることになりますが、確認し次第更新します。 僕はWindowsとLinux(Debian)しか持っていないので、その他(RedHat系Linuxとか、MacOS)については書いていません。(使い方に関しては変わりません。) PC詳しくわからない方でもわかるように書くつもりです。わかりにくかったりしたらコメントとかTwitterで言ってください。直します。 あと、僕もまだ初心者なので、間違いもあるかもしれません。そんなときも言っていただければ直します。 はじめに(華麗に読み飛ばしていただいて可) 僕は今まで、文書とかほとんど作成してきませんでした。 高校でも、レポート書けって言われるのは学期間休業くらい。 そんな中LinuxとかJavaScriptとかPython
INI files were introduced by 16-bit Windows, and 16-bit Windows predates Unicode, so INI files naturally did not support Unicode at the time they were introduced. The relatively simple format of INI files means that many people parse (and sometimes even modify) them directly, without using the INI file manager. This in turn means that the format of INI files is pretty much locked and cannot be ext
Memory safety Over the past two years, the United States Government has been issuing warnings about memory-unsafe programming languages with increasing urgency. Much of the country's critical infrastructure relies on software written in C and C++, languages which are very memory unsafe, leaving these systems more vulnerable to exploits by adversaries. Nov. 10, 2022 - NSA Releases Guidance on How t
Raycastを愛用しています! RaycastはMac専用のコマンドランチャーアプリです。 Alfredとほぼ同じことができると考えて良いかと思います。 Raycastの非常に気に入っている機能として、 シェルスクリプトなどをコマンドランチャーから簡単に実行することができる点があります。 やり方はこちらを参照してください。 この機能は省略可能な引数を受け取ることもできるので、 かなり利便性の高いスクリプトをホットキーで簡単に実行することができます。 控えめに言って最高です。 例えば私は自作のtodo管理アプリを使っているのですが、 タスク追加のAPIを実装して、 それを叩くようなスクリプトを叩くことでタスクを追加しています。 こんな感じです。 ちなみに与えられる引数の数は3つまでに制限されています。1 タスク追加は思いついた瞬間にできるだけ少ない手数で登録できることが重要なので、 tod
KISS is an acronym and software development approach that means "Keep It Small and Simple". Sometimes all the user interaction is GUI, so GUI is very general. Certainly there are an immense number of ways how a developer may want to do it. Having everything ready made is thus not a good idea, except for some special cases. The solution is to make GUI toolkit general, but small and simple, so that
LuaTEX-ja パッケージ LuaTEX-ja プロジェクトチーム 20240514.0(2024 年 5 月 14 日) 目次 第 I 部 ユーザーズマニュアル 5 1 はじめに 5 1.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2 pTEX からの主な変更点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3 用語と記法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.4 プロジェ
Appleが政治的な理由で「ピエロ」の絵文字を削除しようとしている、というXの投稿が、次期大統領選挙を控えたアメリカで拡散され、話題となっています。しかし、投稿に添えられたスクリーンショットは捏造された偽物で、情報は完全なフェイクニュースです。 拡散されたフェイクニュース Appleが政治的な理由で「ピエロ(英語ではclown)」の絵文字を次のソフトウェアアップデートで削除しようとしている、との情報が、米大手メディアCNBCニュースのスクリーンショットとともにアメリカで出回りました。 画像には「次のApple製品のアップデートでピエロの絵文字が削除へ:この絵文字は極右勢力の暗号として使われていると情報筋」とのタイトルが踊っています。 しかし、この画像は捏造されたもので、Appleがピエロの絵文字を削除する計画もなく、根も葉もないフェイクニュースです。 確かめるために記事タイトルを検索しても
During the past months, I’ve been lucky to have the chance to write more Rust code for work and also for fun. Rust continues to be an interesting and fun language for me. Not everything is perfect, of course. Today I wanted to write about something that has bothered me since day one. It’s definitely not a huge problem, more like a slight annoyance, but I wanted to write about it anyway because it
阪急電鉄が2024年6月5日(水)、公式X(旧Twitter)へ、とある文字の入力方法について投稿しました。その文字とは「□」(くにがまえ)の中に「メ」を書いたもの。漢字の「田」の異体字です。 実は同社ではこの字が日常的に使われています。それは「大阪梅田駅」を表す際です。 例えば大阪梅田駅できっぷを買うと、券面にこの異体字が印字されています。なぜ常用漢字の「田」を用いないのか――それは、同社にほかにも5駅ある「田」の付く駅名と梅田駅とを区別するため。計6駅の中では、大阪梅田駅から乗車する利用者が最も多いため、各駅の改札で最も多く扱われるのは大阪梅田発のきっぷとなります。 今でこそICカードが一般的ですが、改札で係員がきっぷを確認していた時代は、大量に扱う梅田(当時)発のきっぷと、駅名に「田」が付くほかの駅発のきっぷとを瞬時に区別し、運賃が正しいかチェックする必要がありました。その際、梅田発
定期的にわからなくなるため、まとめる。 Shift-JIS 主に日本で使われる文字コードの一つで、ASCIIの英数字やいくつかの特殊文字に加えて、ほぼすべての日本語文字(漢字、ひらがな、カタカナ等)をカバーしている。しかし、その他の多くの言語や特殊な文字はカバーしていない。英数字は1バイト、日本語は主に2バイトで表現される。 Shift-JISでのバイト表現の例 「A」は0x41(16進数)、「1」は0x31と表される。これはASCIIと同じである。日本語の文字は2バイトで表現される。たとえば、「あ」は0x82A0、「漢」は0x8ABFなど。 Shift-JISが使われる事例 レガシーシステム Shift-JISはかつて日本で広く使われていたため、古いシステムやソフトウェア、特に1990年代から2000年代初頭までのものは、Shift-JISで日本語を扱っていることが多い。 CSVファイル
The last year has been a great one for WebKit. After unveiling Safari 17 beta at WWDC23, we’ve shipped six releases of Safari 17.x with a total of 200 new web technologies. And we’ve been hard at work on multiple architectural improvement projects that strengthen WebKit for the long-term. Now, we are pleased to announce WebKit for Safari 18 beta. It adds another 48 web platform features, as well a
System.Text.Json でJSONを扱ってみよう 今回は、JSONを取り扱う処理です。 C#のJSONの取り扱いの歴史 System.Runtime.Serialization.Json.DataContractJsonSerializer 長く使われてきたサードパーティ製ライブラリのJson.NET (NuGetで取り込むときのライブラリ名はNewtonsoft.Json) C#4.0で導入されたライブラリのDynamic.Json ググると上記が入り混じってヒットするかと思います。特にJson.NETが広く使われたのでよくヒットしますね。 2015/11リリースの .NET Framework 4.6.1 からSystem.Text.Jsonが導入されパッケージ管理のNuGetでインストールすると使えるようになり、実行環境自体が刷新された .NET Core では2017/8
富浜定吉『宮古伊良部方言辞典』(沖縄タイムス社, 2013年12月)は、喉頭破裂音(グロッタルストップ)をかなり特殊な仮名で表している。 「あ」の上に乗っているのは「COMBINING RIGHT ANGLE ABOVE」とでも呼ぶべき記号なのだが、私(安岡孝一)の知る限り、ISO/IEC 10646 (Unicode)にはU+031A「COMBINING LEFT ANGLE ABOVE」はあっても、逆向きは無い。意味的にはU+02E4「MODIFIER LETTER SMALL REVERSED GLOTTAL STOP」が近いが、この文字は「あ」の上に乗せることができない。 ならば、発音記号の「aʔaᶻï」「kaʔam」「paʔa」はどうだろう。『南琉球宮古方言調査報告書』(国立国語研究所, 2012年8月)の基礎語彙aデータと見較べてみよう。 a143 東 a124 鏡 a186
/t5/after-effects%E3%83%95%E3%82%A9%E3%83%BC%E3%83%A9%E3%83%A0-discussions/%E6%97%A2%E7%9F%A5%E3%81%AE%E5%95%8F%E9%A1%8C-after-effects2024-24-4-%E3%82%92%E8%B5%B7%E5%8B%95%E6%99%82%E3%81%ABunicode%E3%82%A8%E3%83%A9%E3%83%BC%E3%81%8C%E8%A1%A8%E7%A4%BA%E3%81%95%E3%82%8C%E3%82%8B%E5%95%8F%E9%A1%8C%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/td-p/14618311 May 14, 2024 May 14, 2024 2024年5月に配信されたAfter Effects20
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く