資産運用から広島ラーメンまでを網羅する「とほほのＷＷＷ入門」に今度は「Unicode一覧」が追加／「ＷＷＷ」の意味と可能性を広げまくっている超老舗のなんでも入門サイト【やじうまの杜】
すでに多くのニュースや公開記事で言及されているように、「LockBit 2.0」はリークサイトを持つ暴露型ランサムウェア攻撃グループの中で現在(2021年後半)最も活発である攻撃グループです。LockBit 2.0のリークサイト上では、いきなり窃取データが暴露されるのではなく、「被害組織名」とともに「暴露までの残り時間」をリアルタイムでカウントし被害組織に圧力をかけます。そのため、リークサイトに初めて掲載された時点においては被害組織と攻撃者間で金銭の支払いに関する交渉が行われているかもしくは交渉前の段階にあるケースが多いものと考えられます。 LockBit 2.0の開発者は自身のサイト上で、LockBit 2.0のランサムウェアが世界で最も暗号化速度が速く他のランサムウェアよりも優れていると、攻撃の実働部隊であるアフィリエイトに向け詳細にアピールしており、加えて他のランサムウェアには無い新
こちらは翻訳記事となります。原著者の許諾を得て翻訳・公開しております。 英語記事: The History of the URL原文公開日: 2020/03/05著者: Zack BloomURL: https://blog.cloudflare.com/the-history-of-the-url/ 1982年1月11日、22 人のコンピュータ科学者が「コンピュータメール」(今日の電子メール）の問題を議論するために集まりました。議論の参加者にはサン・マイクロシステムズを作った人、Zork の開発者に NTP の開発者、そして政府に Unix の支払いをするように説得した人も含まれていました。 問題は単純で、 ARPANET にある455台のホストが制御不能に陥っていたのです。 この問題は、ARPANET がもともとの NCP プロトコルから、今日の”インターネット”と呼ばれる TCP/I
![[翻訳]”URL”の歴史 — Cloudflare Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d08fa716709e9ce713da4039682c4ddc6011178/height=288;version=1;width=512/https%3A%2F%2Fmiro.medium.com%2Fv2%2Fda%3Atrue%2Fresize%3Afit%3A514%2F0%2AvGh9FcrsUeIMw0DK.gif)
自然言語処理技術のなかでも固有表現抽出（Named Entity Recognition; NER）は情報抽出の処理をやろうとするときにとても役立つ。 応用は幅広く、会社名や個人名などの情報抽出処理、個人情報除去などのような抽出した情報に対する処理、代名詞の解析（照応解析・共参照解析）のような文脈解析処理などに用いられる。 最も簡単なNERの方法としては、辞書や形態素解析結果や正規表現などに基づくルールを用いて、単語列にラベリングする方法があるが、会社名など判断が難しいケースについては機械学習によってNERを行うことが有効なことが多い。機械学習ベースの既存の固有表現抽出器を使ってみたい場合には、GiNZAやKNPのようなNERモデルが同梱されているツールを使用してみるのがよい。 しかし公開モデルの性能では満足いかない場合に自分でモデルを構築しようとしても、公開データセットが見つけにくかった
GitHub - contour-terminal/contour: Modern C++ Terminal Emulator
✅ Available on all 4 major platforms, Linux, macOS, FreeBSD, Windows. ✅ GPU-accelerated rendering. ✅ Font ligatures support (such as in Fira Code). ✅ Unicode: Emoji support (-: 🌈 💝 😛 👪 - including ZWJ, VS15, VS16 emoji :-) ✅ Unicode: Grapheme cluster support ✅ Bold and italic fonts ✅ High-DPI support. ✅ Vertical Line Markers (quickly jump to markers in your history!) ✅ Vi-like input modes for
こんにちは。福岡オフィスエンジニアの @petamoriken です。趣味でFloat16Arrayのponyfill1を公開しECMAScriptに入れてもらうように活動していたところ、喜ばしいことに2023年5月のTC39会議にてStage 3となりました。折角なのでその経緯を書いていこうと思います。 ECMAScript excitement 😉@TC39 advanced these proposals this week 🎉 4️⃣ Atomics.waitAsync 4️⃣ RegExp v flag 4️⃣ Well-Formed Unicode Strings 3️⃣ Decorator Metadata 3️⃣ Float16Array 2️⃣ Base64 for Uint8Array 2️⃣ Promise.withResolvers 2️⃣ TimeZone C
Ruby 3.3リリース！ 新機能解説 Prism：エラートレラントな、まったく新しいRubyパーサ Prismは、Ruby 3.3.0にバンドルされた新しいライブラリで、プログラミング言語Rubyの新しいパーサであるPrismパーサのバインディングです。Prismはエラートレラント、移植性、メンテナンス性、高速性、効率性を考慮して設計されています。この記事では、Prismの歴史、設計、API、そして今後の課題について取り上げます。 使用方法 Rubyバインディングを通してPrismパーサを使うにはrequire "prism"をして、Prismモジュールのparseメソッド、または他のparse_*系のメソッドを呼んでください。次に例を示します。 require "prism" Prism.parse("1 + 2") parseメソッドは、パース結果のオブジェクトを返します。こ
法務省 戸籍統一文字情報 検索条件入力
法務省トップ 検索条件入力 文字検索 ←利用の前に必ず「使い方」を御確認下さい。 検索条件を指定して[検索]ボタンを押して下さい。 読み AND検索 入力したキーワードのすべてを含む語を検索します OR検索 入力したキーワードのいずれかを含む語を検索します 画数 画 （ 範囲： 画 ） 部首 部首選択1 （クリア） 部首選択2 （クリア） 部首選択3 （クリア） 子の名に 使える漢字 人名用漢字 常用漢字 JIS水準 文字コードを入力する場合は、その他の検索条件は指定できません。 文字コード 戸籍統一文字番号 UNICODE シフトJIS (C)Copyright Ministry of Justice
50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs
50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs 50 Shades of Go in Other Languages Chinese Translation: blog post, segmentfault (by wuYin) - needs updates Another Chinese Translation: blog post (by Shadowwind LEY) - needs updates Russian Translation: blog post (by Ilia Ozhereliev, Mail.Ru Group Blog) - needs updates Overview Go is a simple and fun language, but, like any o
プログラムに埋め込まれた脆弱性やマルウエア（コンピューターウイルス）などを見つける有効な手段の1つが、そのソースコードを丹念に調べる（レビューする）こと。スキルのある開発者なら、ソースコードを調べることで異常に気づける。 だが、そういった開発者の目を欺く手法が発表された。ソースコードに細工を施せば、テキストエディターなどで表示されるソースコードの「見た目」を変えられるというのだ。言い方を変えれば、目に見えない脆弱性を埋め込めるという。そんなことが可能なのだろうか。 「トロイの木馬」のソースコード版 この新手法は、英ケンブリッジ大学の研究者らが2021年11月1日（現地時間）に発表した。「Trojan Source（トロージャンソース：トロイのソース）」と名付けられた。「Trojan Horse（トロージャンホース：トロイの木馬）」にちなんだ命名だと考えられる。 トロイの木馬とは、ギリシャ神
こんにちは、晴れて2020新卒になったmipsparcです。最近は趣味の鉄道技術系同人誌の新版が出来上がって喜んでいます。 本記事では、入力値には必ずと言っていいほど混入する不必要な制御文字への対処方法をご紹介します。ユーザーに文字列を入力してもらうことのあるすべてのサービスで活用できる話かと思います。 不要な制御文字が入ることで生じる問題 前提として、この記事は制御文字類が必ずしも邪魔と言いたいわけではありません。 制御文字は多言語対応(特に右から左方向に記述する言語)などで重要なときもありますが、今回は問題が発生しうるケースのお話をします。 「腐向け」 「メリークリスマス」 「ゾンビ」 なんの変哲もない3つのイラストタグですが、どれも不可視の制御文字が混入しています。 $ php -r "var_dump(json_encode('腐向け'));" string(26) ""\u2
ミャンマー語フォント『Zawgyi-one』の問題に直面した話 - GMO Research & AI Tech Blog
システム部のはたです。 GMOリサーチには2年ぐらい前に入社して、主にシステム開発をやっています。 趣味は音楽鑑賞と旅行とキャンプで、焚火を見ながらお酒を飲んでのんびり過ごすのにハマってます。 今回は、ミャンマー語フォントの問題についてお話をしたいと思います。 GMOリサーチでは、国内だけではなく、海外ビジネスの展開にも力を入れており、2019年にはミャンマーへ進出し、リサーチサービスの展開を行ってきました。 そんな中、ミャンマー語のWebアンケートサイトを作ることになったのですが、ある問題に直面しました。それは「ミャンマー語のWebサイトの文字化け問題」です。 ということで、早速どんな事象が発生したのかご紹介していきます。 ◆ ミャンマー進出の背景 まず、ミャンマー進出の背景から簡単にご説明させていただきます。 弊社では生活者の方々の声を企業に届けること、そしてそのデータを企業のマーケテ
GitHub.com を MySQL 8.0にアップグレード
Authors Jiaqi Liu Daniel Rogart Xin Wu GitHubは、15年以上前に単一のMySQLデータベースを持つRuby on Railsアプリケーションとしてスタートしました。それ以来、GitHubは高可用性を構築する、テスト自動化を実装する、データのパーティショニングを行うなど、プラットフォームのスケーリングと可用性のニーズを満たすために、MySQLアーキテクチャを進化させてきました。今日、MySQLはGitHubのインフラストラクチャの中核を担い、選択可能なリレーショナルデータベースの一部です。 このブログは、1200台以上のMySQLホストを8.0にアップグレードした物語です。私たちのサービスレベル目標(SLO)に影響を与えることなくフリートをアップグレードすることは小手先の技で済むようなものではありませんでした。計画、テスト、そしてアップグレード自体
映画『Winny』の公開に伴い、記憶から消えかけている20年前の諸々の思い出話をする「Winnyとは何だったのか v2.0b7.1」。ここで宮本久仁男氏が登壇。Winnyがリリースされた頃に起きた“ブレーキ”について話します。 宮本氏の自己紹介 宮本久仁男氏（以下、宮本）：「Back to 2004年ごろ」ということで、（この頃は）もうブレーキがバンバン利いていたのですが、起こったこと、やれたこととして、政府系の話、世の中の話をまとめて、「こんな感じだったんじゃないかな」ということをお伝えします。 ちなみに、スライドはもう少し参考資料などを加筆した上で後で公開するようにします。 いろいろ調べてなるべく間違いがないようにしていますが、あくまで私見です。事実を陳列して、そこに私見を載せたような感じです。 今の自分の立場は、CSIRT（Computer Security Incident Res
【JS体操】JavaScript で頭の体操をしよう！〜第一問 44文字 解説編〜 - KAYAC engineers' blog
こんにちは！カヤック面白プロデュース事業部のおばらです。 普段は受託案件、特にインタラクティブな WebGL や Canvas2D を駆使する案件のデザイン＆実装を担当しています。 先日出題したJS体操 第一問目、挑戦してくださったみなさまありがとうございました！ 早速ですが最短文字数の回答は 44文字 でした！ export default x=>x-(x%=.2)+.2-(.04-x*x)**.5 みごと44文字を達成した方は、 halwhite さん koyama41 さん sugyan さん tkihira さん たつけん さん の5名！（※ Unicode コードポイント順） おめでとうございます！！ 最短文字数を狙った正統派の回答以外にも、裏技的な面白アプローチがたくさんありました笑 このアプローチは面白い、ぜひ紹介したい！という回答がいくつかあったので、解説記事は2回に分けて
以下のツイートを見て、自分の環境でも再現したので気になって調べてみた。 現象 text-spacing-trim プロパティを Yu Gothic UI のテキストに適用すると、一部の括弧類が重なってしまう。これは値に space-all を設定すると解消される。 halt と hmtx を見る Windows に標準搭載される Yu Gothic UI や游ゴシックには、GPOS テーブルに halt 機能タグが含まれている。 halt 機能タグの正式名称は「字幅半角メトリクス」であり、全角の約物を半角として扱う際などに位置を補正する役割を持つ。text-spacing-trim プロパティの実装においても、この halt の値を見て文字詰めを決定している。 TTX（fontTools が提供する解析ツール）を用いて、Yu Gothic UI／游ゴシック の halt と hmtx（水平
ある個人開発 OSS の歩み： 5 歳になった Janome のこれまでと，これから - Speaker Deck
Transcript ͋Δݸਓ։ൃ OSS ͷาΈɿ 5 ࡀʹͳͬͨ Janome ͷ͜Ε·Ͱͱɼ͜Ε͔Β PyConJP 2020 ଧాஐࢠ ࣗݾհ ଧాஐࢠ ڵຯɿݕࡧʢຊۀʣɼػցֶशɼࣗવݴޠॲཧ ❤ OSS : Janome ։ൃऀɼApache Lucene committer ॴଐɿʢגʣLegalForce ݚڀ։ൃΤϯδχΞ @moco_beta Agenda Janome ͷհ ॳظϦϦʔε͔Β͜Ε·Ͱ 0.4.0 ϦϦʔεͷ͓Βͤ ͜Ε͔Β͍͖͍ͬͯͨ͜ͱ https://mocobeta.github.io/janome/ 扉絵の この子は絵師さんに描いてもらいました (*´Ŗ`*) Hello, Janome $ pip install janome $ python >>> from janome.tokenizer import Tokenizer >
僕は2003年に最初の会社を作って、以来20年で10社の設立に関わった。 しかし、今年は5社設立して、その全てで社長をやっていない。 なぜかというと、社長を僕がやるのはものすごく非効率的だからだ。 僕は著者で、YouTuberで、研究家で、配達員である。 それぞれが深く連関していて、不可分であり、社長などやっている暇はない。 社長という仕事がクソなのは「教養としてのAI講座」などで散々言及しているためここでは説明は避けるが、こんなクソな仕事は人間にやらせるべきではない。非人道的だからだ。 そこでAIが社長の会社を作ることにした。 社長はAIであるため、どんなにクソなことがおきても、社長の責任ではない。 ただし、現行法では社長は犬でもネズミでもなれるが、代取にはなれないため、便宜上、代表取締役社長秘書を設置することにした。 しかしあくまでも社長は「継之助つぐのすけ」ことAIスーパーコンピュー
目次 ハイフンに似た文字参考ソースコードを読んでいたら、既存処理にとある文字列変換処理があった。 例 (ソースはイメージです) const convert = (arg) => { return arg.split('ー').join('‐'); }; いざテストをしようと思って、「—」を入力したら期待値が出なかった。 なぜならば、この処理は「ー（全角長音）」を「‐（全角ハイフン）」に変換しているので、「—(全角ダッシュ)」はスルーされるからだ。 ハイフンに似た文字 気になったので色々調べたら、少なくとも以下の文字があることがわかった。 －（全角ハイフンマイナス） -（半角ハイフンマイナス） ‐（全角ハイフン） −（全角マイナス） ‒（フィギュアダッシュ） —（全角ダッシュ(emダッシュ)） –（二分ダッシュ(enダッシュ)） ―（ホリゾンタルバー） ー（全角長音） ｰ（半角長音） ─（罫
WSL 2、GitHub、Visual Studio Online、Azure DevOps――クラウドネイティブな機能の充実が進むMicrosoftの開発ツールまとめ
Microsoft 365の開発者向け新機能 Microsoft コーポレートバイスプレジデントのジャレッド・スパタロウ氏は、基調講演の中で自身が担当した「Microsoft 365」関連のブロックにおいて、現在、主にWindows 10向けに開発を進めている、幾つかの新機能を紹介した。 React Native for Windows 「React Native for Windows」は、Facebookによって開発されたクロスプラットフォームの開発フレームワーク「React Native」を、ユニバーサルWindowsプラットフォーム（UWP）アプリの開発に利用できるテクノロジーだ。React Nativeの経験がある開発者は、JavaScriptによる記述でReact Nativeのコンポーネントを利用したUWPアプリのUI作成が可能になる。この機能は既にVisual Studio
Windows と Unicode とボク
「今まで Shift-JIS しか使えなかった Windows で UTF8 が使えるようになりました！」 素人だけでなく、Windows についてろくに知らないLinuxかぶれのプログラマまでに知ったふうなことを言っています。 別に Unicode の委員会とも縁があるわけではなく、単に UNIX と Windows 、ちょっとずつだけかじっただけの、たまたま独自シェル用に ReadLine を作ってみただけに過ぎない１プログラマのワタクシが世間の Unicode の認識にグチります。 そんな怪文書、はーじまーるよー
筑波大学学園祭 Web サイト構築の舞台裏
年の瀬ですね。こんにちは、いなにわうどん（@kyoto_mast21）です。 11 月 5, 6 日に、筑波大学では雙峰祭（そうほうさい）と呼ばれる学園祭が開催されました。私は雙峰祭 Web サイトのフロントエンドのデザインや実装を主に担当したので、その工夫や裏話的なものを少しお話しできればと思います。 Web サイトの開発光景 本稿は 学園祭非公式 Advent Calendar 2022 の 14 日目の記事です。12 日目の担当は issy さんでした[1]。 背景 学園祭の運営を担う筑波大学学園祭実行委員会には、情報メディアシステム局[2]（以下、jsys）と呼ばれる部門が存在しています。jsys では、学園祭で使用する映像の制作・生中継[3]等に加え、学園祭運営に必要な各種システムや Web サイトの内製を担当しています。 例年、雙峰祭の前後 1 ヶ月程度は、その年のテーマに合わ
こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 早速ですが皆さん、日本酒は好きですか？私はほぼ毎週近所の酒屋さんに買いに行くぐらい大好きです。 つい最近、こんな日本酒がSNSで話題になっていました。 「自分好み」を読み解いてシステムエンジニアに捧ぐ日本酒 クリアな飲み口に、豊かなお米の旨みが溢れ出る上質な味わい。料理と合わせても、様々な温度帯でも楽しめる1本に、思わず誰もが「自分好みの楽しみ方」を探してしまう。「読み解きたくなるロジック」が詰め込まれた、システムエンジニアたちに飲んでほしい純米吟醸酒です。 とのこと。 はい、買いました。ラベルのソースコードが気になったというのもあるんですが、純粋に味が気になったので買ってみました。 本記事では味の感想含め、ラベルの内容についても触れたいと思います。 飲んでみた コードの解読前にまずは飲んでみます。お酒は飲ん
HTTPX
>>> import httpx >>> r = httpx.get('https://www.example.org/') >>> r <Response [200 OK]> >>> r.status_code 200 >>> r.headers['content-type'] 'text/html; charset=UTF-8' >>> r.text '<!doctype html>\n<html>\n<head>\n<title>Example Domain</title>...' Which now allows us to use HTTPX directly from the command-line... Sending a request... Features HTTPX builds on the well-established usability of reques
Unicodeの異体字セレクターを使ったステガノグラフィ：秘密の文字列をテキストにこっそり隠し込む方法 - Qiita
Unicodeの異体字セレクター(variation selectors)を使い、ユニコード文字列内に隠し情報を埋め込む方法です。 異体字セレクターとは 異体字セレクターは、文字の字体を詳細に指定するモディファイアのようなもの 異体字セレクターは16種類のコードポイントがある(FE00~FE0F) 仕組みの概要 隠したい文字列(hidden)を文字単位にバラす (例: js → j, s) 文字ごとに16進数に変換する (例: j → 6A) その16進数をひと桁ずつ異体字セレクターのコードポイントにマッピングする (例: 6→FE06, A → FE0A) 異体字セレクターの配列をひとつの文字列にまとめなおす 最後にそれを埋め込み先の文字列(body)に混ぜ込んで隠す。 よくあるユニコードステガノグラフィーとの違い ゼロ幅文字を使ったステガノグラフィー 次のようなゼロ幅空白文字を用いたス
JavaScript Primer 迷わないための入門書
JavaScript Primer 迷わないための入門書 azu, Suguru Inatomi アスキードワンゴ 3,344円 (3,040円+税) 変化に対応できる基礎を身につけよう! JavaScriptは激しく変化している言語です。このような変化に対応できる基礎を身に付けられるよう、単に書き方を解説するのではなく、プログラミングの現場で直面する問題を自分自身で解決するのに必要な調査方法についても焦点を当てています。 関連サイト本書の関連ページが用意されています。 JavaScript Primerを出版しました！/JavaScript Primerはなぜ書かれたのか？ | Web Scratch内容紹介変化に対応できる基礎を身につけよう! 本書の「第1部 基本文法」では、JavaScriptの文法と機能について、実際の利用方法を示しながら解説しています。また「第2部 ユースケース」
JEPでは語れないJava 19
半年ぶりのJavaのアップデートで、Java 19がリリースされます。 Java 19はJava 18よりJEPは少なく、しかもPreviewやIncubatorでないJEPはJEP 422のLinux/RISC-V Portしかありません。こんなアップデートは初めてかも。 405: Record Patterns (Preview) 422: Linux/RISC-V Port 424: Foreign Function & Memory API (Preview) 425: Virtual Threads (Preview) 426: Vector API (Fouth Incubator) 427: Pattern Matchning for switch (Third Preview) 428: Structured Concurrency (Incubator) JEP 424の
ブラウザでVJした - hitode909の日記
木屋町のシエスタを借りて開催したちょっとしたDJイベントでVJした。普段からよく遊びで愉快なウェブページを作っていたので、その延長上。去年はVRで見えるページを作ったりしていたけど、その根底には愉快なウェブページを作りたいという願いがある。 いろんな機能を作ったので記録しておく。 音量に合わせてでかくなる文字 マイクの音量を拾って、音量に合わせて文字がでかくなるのを最初に作った。基本は、前に作ったのの再利用。 blog.sushi.money 妻ことDJモチモチモッチの名前を画面いっぱいに表示する。文字が伸びるだけでは地味なのでちょっと工夫していて、DJモッチ→DJモチモッチ→DJモチモチモチモチモチモチモッチみたいに文字が伸びるようにもした。inputを置いておいて、そこにメッセージを書くと、そちらを優先、空のときはDJ名、ということにして、VJ中に 挨拶したくなったら挨拶をかけるように
Small String Optimization で Rust ライブラリ ratatui を最適化した話 - はやくプログラムになりたい
最近 ratatui という crate に Small String Optimization を利用した最適化を入れたので，その話を書きます． 目次 Small String Optimization (SSO) とは（SSO を既に知っている人は読み飛ばして大丈夫です） Rust で SSO を適用した文字列型を提供する crate 比較 SSO を利用して ratatui のメモリ効率と実行効率を最適化した話 compact_str crate の実装の最適化の話 インラインストレージに24バイト全てを使える理由 隙間最適化のための工夫 説明を簡潔にするため，特に断りが無い場合 64bit アーキテクチャを前提とします． Small String Optimization (SSO) とは Rust の可変長文字列型 String は文字列バッファへのポインタ，文字列の長さ，バッフ
拙著『[改訂新版] プログラマのための文字コード技術入門』(技術評論社，2018)についての感想で，初版にAppendixとして入っていたSKKとEmacsによるJIS X 0213対応の話が無くなっていることを惜しんでくれているものがありました。 これは初版執筆時に著者(私だ)がEmacsとSKKを使ってEUC-JIS-2004のプレーンテキストとして原稿を書いていたことを紹介し，当時の一般的な日本語入力環境が抱えていた問題点をこれによって解消できることを説明したものです。 当時の日本語入力環境というのは，おおまかにいえばJIS X 0208の第1・第2水準漢字に制約されており，それ以外の文字は入力できないか，できたとしても単漢字変換や文字パレットのような使いにくい方式によるしかないというものでした。そういう状況を改善し，現代日本で使われている文字は第1・第2水準漢字に限らず，分け隔てな
Black Hat USA 2019: 今注目すべき Web セキュリティ関連トピックの解説 - Flatt Security Blog
はじめに BlackHat USA 2019 株式会社 Flatt Security でセキュリティエンジニアをしている米内(@lmt_swallow)です。私は 2019/8/3 から 2019/8/8 で開催された Black Hat USA 2019 と、続いて開催された DEFCON 27 に参加してきました。本記事では、特に Black Hat USA 2019 で印象的だった以下の 4 つの発表について、簡単な紹介と解説をしたいと思います。 HTTP Desync Attacks: Smashing into the Cell Next Door API-Induced SSRF: How Apple Pay Scattered Vulnerabilities Across the Web Denial of Service with a Fistful of Packets:
本記事は 【Advent Calendar 2023】 17日目の記事です。 🎄 16日目 ▶▶ 本記事 ▶▶ 18日目 🎅 こんにちは。 2年目の草野です。年末が近づいてきましたね。 今回はAdvent Calendarの執筆に参加ということで、2023年の業務の中で印象深かったUnicodeについて少しお話したいと思います。 そもそもUnicodeとは サロゲートペア文字 突然ですが…… 異体字セレクタとの出会い 異体字セレクタって？ 全く同じ意味を持つ文字、異体字 異体字セレクタの誕生 具体例 結局私の名字はどう書くの？ おわりに そもそもUnicodeとは みなさんご存じの通り、Unicodeは文字を表すための国際的な標準規格の1つです。 一般的には [U+91CE] のように、16進数で表記されます。 常用文字は [U+0000] ～ [U+FFFF] の16進数4文字＝2バ
こんにちは、株式会社カケハシでおくすり連絡帳 Pocket Musubiの開発を担当している渡辺です。 今回は文字コードについての記事を書きました。 Pocket Musubiではお薬手帳用QRコードを読み込み、デコードした結果を利用します。ここでデコードするときにうまくいかないケースがあり、そこでの知見です。 文字コードについて 蛇足ですが、文字コードについて簡単におさらいします。 文字コードとは、文字をコンピューターで扱うために、文字ごと割り当てた数字のことです。 文字コードの対応表に基づいて、文字を数字に割り当てることを文字エンコードと言います。 文字コードの対応表には、ASCIIやUTF-8のような規格があります。 たとえば、アルファベットを扱うASCII文字だと'a' は97番、'b'は98番と割り当てられています。 ASCII 先ほども出てきた「ASCII」とは、文字コードの標
Transcript Lucene Kuromoji のコードを読む会 （辞書ビルダー編） 2019/10/3 @moco_beta 自己紹介 打田智子 twitter : @moco_beta 所属 : 株式会社 LegalForce R&D チーム / ソフトウェアエンジニア 検索システムに興味があります 趣味でOSS開発をしています Janome https://github.com/mocobeta/janome Apache Lucene committer () 趣旨など 主催者 (@moco_beta) が Lucene / Kuromoji のソースコード（辞書周り）を読むうえで，調 べたことをまとめておきたい 素のままで触る機会は少ないかもしれないけれ ど， Lucene のコードを読んでみるのも楽しい よ！というのを伝えたい 仕事ではブラック
JavaScriptで絵文字とサロゲートペアと結合文字とgrapheme clusterを正しく扱うのに少し苦労した話 - Qiita
皆さんはUnicodeや絵文字についてどのくらい理解していますか？ 私は全く理解できていません。 JavaScriptで絵文字を扱おうとしたら苦労した話を書きます。誰かの参考になれば幸いです。 経緯 MuscularというジョークコマンドをNode.jsで開発していました。 これは、ボディビルダーとともにテキストを叫んだ感じで表示するという単純なアプリケーションでした。 「cowsay」と「echo-sd」と「筋肉」をあわせたようなコマンドです。 $ muscular shout ナイスバルク .-~-. / \ | / ,_-/ ,.*`--., .r ; `` \ .`,` ,: ,.`A`,\ /,`/\`'' '' ? \` \ / / \ ; , ; / ) } ＿人人＿ | / \:':': | | 7 ＞ ナ ＜ | | ) ':' | ,` / ＞ イ ＜ ( \ `-,_
Emoji Frequency
ARCHIVE THIS SECTION CONTAINS EMOJI DATA FROM PREVIOUS YEARS The Most Frequent Emoji — 2019 How does the Unicode Consortium choose which new emoji to add to the Unicode Standard? One important factor is data about how frequently current emoji are used. Patterns of usage help to inform decisions about future emoji. The Consortium has been working to assemble information about how frequently various
moreutilsについて学ぶ
moreutilsについて学ぶ 今日、ふとしたことで moreutils というものの存在を知った。ニッチだが使いこなすと便利そうなコマンド郡だったので一通りすべて触ってみることにする。最近お仕事で shell のワンライナーを書くことが多々あるので有効活用するぞ。 今回扱うのはCentOS7で入る moreutils にする。Ubuntuでも多分同じ中身だろう(未確認) かなり参考にしました。アウトプットのために内容が被っていても投稿 Qiita- シェル芸力向上のため moreutils を一通り試してみた $ sudo yum install moreutils $ rpm -qi moreutils Name : moreutils Version : 0.49 Release : 2.el7 Architecture: x86_64 Install Date: Tue 13 No
Cloud Run 上のページが一部の Chrome 環境で文字化けする謎を探るべく我々は Google Cloud の奥地へと向かった
この記事は 2024 年 2 月 28 日に執筆されました．今後この問題が Cloud Run 側で修正された場合，再現しない可能性がありますのでご留意ください． TL; DR Cloud Run は執筆時現在 zstd による圧縮に対応していない ヘッダの Content-Encoding: zstd のみが削除され，ボディは圧縮されたまま応答される ブラウザはこの応答を正しく解釈できないため文字化けのような表示となる zstd による圧縮は，執筆時現在 Chrome に実装されているもののデフォルトでは無効だが近い将来に有効化される 悲劇は突然訪れる 弊社では，コーポレートエンジニアリングチーム [1] [2] において，社内向けにいくつかのサービスを提供しています． これらのサービスはもともと AWS でホストされていましたが，アクセス制限に Identity-Aware Proxy
Elasticsearchで日本語を同義語展開する
全文検索における同義語展開の必要性 全文検索では、基本的に文字列のマッチにより検索を行います。しかし我々が言葉を扱うときには、同じものを違う表現で指し示すことが多々あります。 例えば「独占禁止法」と呼ばれる法律があります。これは経済憲法とも言われる大変重要な法律なのですが、日本では「昭和二十二年法律第五十四号（私的独占の禁止及び公正取引の確保に関する法律）」という法律がそれに該当し、独占禁止法という名前にはなっていません。これを皆、「独占禁止法」や「独禁法」といった代替可能な別表現（同義語）で呼んでいるわけです。 同法律には法令用語で言うところの「題名」は付されておらず、頭書の名称は制定時の公布文から引用したいわゆる「件名」である。独占禁止法ないし独禁法と略称されることも多い。 もし「独禁法」で検索して当該法律がヒットしなければ、ユーザーとしては不満足でしょう。検索システムのクオリティを向
更新履歴 2021.01.20 追加 ・・・ フォントワークス 2020.09.24 追加 ・・・ 雑文集積所 2020.09.18 追加 ・・・ オザワタクヤ（ROLAchan） 2020.09.16 追加 ・・・ 鈴木メモ（ふんわりラウンド） 現在公開中のフリーフォント・フォント配布サイトから、 ゲーム内に組み込みOKなフォントをライセンス・配布サイト毎にまとめてみました。 組み込みOK ＝ 規約が比較的ゆるいフォント でもあるため、 ゲーム以外の用途にも広く扱える可能性が高いフォントの紹介となります。 なお、ライセンスの確認ミス、配布元の規約変更等が考えられるため、 フォントご利用の際は、必ず最新の規約をご自身でご確認ください。 目次 --- はじめに --- M+ FONT LICENSE SIL Open Font License 1.1 Apache License 2.0 そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ランサムウェア「LockBit 2.0」の内部構造を紐解く | 技術者ブログ | 三井物産セキュアディレクション株式会社
[翻訳]”URL”の歴史 — Cloudflare Blog
固有表現抽出のアノテーションデータについて - NLP太郎のブログ
6年を経てFloat16ArrayをStage 3にしてもらった - pixiv inside
Prism：エラートレラントな、まったく新しいRubyパーサ | gihyo.jp
見えない脆弱性をソースコードに埋め込む、プログラマーも欺く「トロイのソース」
不必要な制御文字への対処 - pixiv inside
Winnyリリースは「非常に悪いタイミング」だった 世の中が“効きすぎたブレーキ”になって起きたこと
Yu Gothic UIに text-spacing-trim を適用するとバグる
AIが社長の会社「FreeAI」を設立しました｜shi3z
ハイフンとかマイナスとかダッシュとか | 404 motivation not found
話題の日本酒「ソースコード」を読んで（飲んで）みた | DevelopersIO
なぜ『プログラマのための文字コード技術入門』の改訂新版にはSKKと Emacsの話が入っていないのか - yanok.net
私の名前ってUnicodeでどう表すの？~異体字セレクタとの出会い~ - NRIネットコムBlog
文字コードの世界の第一歩 - KAKEHASHI Tech Blog
Lucene #Kuromoji のコードを読む会 （辞書ビルダー編） - Speaker Deck
組み込みOK！今すぐゲームに使えるフリーフォントまとめ - ひよっこ創作ブログ@Rwi