Dear Google Cloud: Your Deprecation Policy is Killing You
God dammit, I didn’t want to blog again. I have so much stuff to do. Blogging takes time and energy and creativity that I could be putting to good use: my novels, my music, my game, and so on. But you get me riled enough, and I have to blog. Let’s get this over with, then. I’ll begin with a small but enlightening story from my early days at Google. For the record, I know I’ve said some perhaps unk
Unicode変体仮名一覧
Unicode（ユニコード）に登録されている変体仮名（へんたいがな）286文字（U+1B001〜U+1B11E）を、現代のひらがなごとにまとめ直し、ひらがなごとに字母を確認できるようにしました。 表の左列のリンクから、日本古典籍くずし字データセットに収録された実際の字形を確認できます。ただしすべての字母に対応する字形が収録されているわけではない点にご注意下さい。なお、変体仮名や字母の説明については、くずし字とは？をご覧下さい。くずし字の字形については、くずし字データベース検索（ひらがな（変体仮名）・カタカナ・漢字）やくずし字データセット 文字種（くずし字）一覧をご利用ください。
Mastering Emacs is now available in Japanese Thanks to the hard work of USAMI Kenta and AYANOKOJI Takesi you can now read Mastering Emacs in Japanese! If you’re a Japanese speaker, you can now read my book, Mastering Emacs, in Japanese. I owe all this hard work to AYANOKOJI Takesi and USAMI Kenta, two legendary Emacs hackers and writers in the Japanese Emacs community. There’s a large Emacs commun
はじめに こんにちは。みなさん、テストしてますか？ 開発者にとってはもちろん、テスターやQAにとっても、時にソフトウェアテストは退屈で辛い作業になりがちです。 特にメールや外部サービスが絡む部分はテストがしづらい分面倒ですね。 そこで今回は、テスタビリティを高めるために自分がよく使うサービスやライブラリを紹介していこうと思います。 mailhog SMTPサーバとして動き、送られたメールを全てキャッチしてWebUIから見ることが出来ます。メールの絡むテストには必須。 mail = env === 'honban' ? mail : 'hoge@example.com' みたいなifををこの世から滅殺したり、うっかりステージングサーバから本物のメールを送って事故死するリスクを無くすことが出来ます。 特徴的なのが、SMTPではなくPHPの mail() 関数などを使いsendmail, pos
【RubyKaigi発表予告】超絶技巧コードコンテストTRICK 2022結果発表 - クックパッド開発者ブログ
技術部の遠藤です。CookpadのフルタイムRubyコミッタの1人です。RubyKaigiまであと1週間ですね！ 今年のRubyKaigiでは、"TRICK"の発表をします。TRICKとは何か。まずはこのRubyコードを見てください。 ->\ &\ w{ a= ?a b= ?b c= ?, d= ?. e= ?e g= ?g h= ?/ i= ?{ l= ?l m= ?_ n= ?$ o= ?1 q= ?' r= ?< s= ?s t= ?> u= ?u v= ?v x= ?( y= ?) z= ?- _= "" f= w[ w, z+ t+ i+ m+ r+ r+ m+ o+ d+ g+ s+ u+ b+ x+ n+ h+ c+ q+ q+ y+ ?} ]; f[ 'p ut s" He ll o, '] _\ << 32 f[ 'w or ld !" '] w[ w, e+ v+ a+
We’re excited to release .NET 5.0 today and for you to start using it. It’s a major release — including C# 9 and F# 5 — with a broad set of new features and compelling improvements. It’s already in active use by teams at Microsoft and other companies, in production and for performance testing. Those teams are showing us great results that demonstrate performance gains and/or opportunities to reduc
On January 8, 2022, the open source maintainer of the wildly popular npm package colors, published colors@1.4.1 and colors@1.4.44-liberty-2 in which they intentionally introduced an offending commit that adds an infinite loop to the source code. The infinite loop is triggered and executed immediately upon initialization of the package’s source code, and would result in a Denial of Service (DoS) to
grex is a library as well as a command-line utility that is meant to simplify the often complicated and tedious task of creating regular expressions. It does so by automatically generating a single regular expression from user-provided test cases. The resulting expression is guaranteed to match the test cases which it was generated from. This project has started as a Rust port of the JavaScript to
HAProxy 2.0 and Beyond
HAProxy Technologies is excited to announce the release of HAProxy 2.0, bringing features critical for cloud-native and containerized environments, while retaining its industry-leading performance and reliability. HAProxy 2.0 adds a powerful set of core features as well as completely new functionality that further improves its seamless support for integration into modern architectures. This includ
Introduction to Go 1.14 The latest Go release, version 1.14, arrives six months after Go 1.13. Most of its changes are in the implementation of the toolchain, runtime, and libraries. As always, the release maintains the Go 1 promise of compatibility. We expect almost all Go programs to continue to compile and run as before. Module support in the go command is now ready for production use, and we e
Golang Mini Reference 2022: A Quick Guide to the Modern Go Programming Language (REVIEW COPY)
Golang Mini Reference 2022 A Quick Guide to the Modern Go Programming Language (REVIEW COPY) Harry Yoon Version 0.9.0, 2022-08-24 REVIEW COPY This is review copy, not to be shared or distributed to others. Please forward any feedback or comments to the author. • feedback@codingbookspress.com The book is tentatively scheduled to be published on September 14th, 2022. We hope that when the release da
序 今はすっかり整備されて、普通に使えるようになったLinux環境。 あれから15年、20年という時がたち、もうユーザーの中でそんな昔のことを知らない人が圧倒的に多い、という状態になっているから、あのワクワクするようなカオスの中にあった時代の話をしようと思う。 今からすれば考えられないようなことばかりで、とても信じられないような話がいっぱいだ。 きっと、今の若い(年齢的な意味でなく)ユーザーにとっては興味深く聞けるのではないだろうか。 この記事は至って懐古的なものであり、過去のLinuxやインターネットの姿というものが今や検索してもあまり見つからないことから、それを残そうという意図によるものである。 また、この記事はあくまで私の主観的な観測に基づいていることをご了承いただきたい。 Linuxブームさりし日々 2000年は、それ以前に吹き荒れた「Linuxブーム」が去った直後である。 まだ未
This post describes the Ladybird browser, based on the LibWeb and LibJS engines from SerenityOS. Since starting the SerenityOS project in 2018, my goal has been “to build a complete desktop operating system to eventually use as my daily driver”. What started as a little therapy project for myself has blossomed into a huge OSS community with hundreds of people working on it all over the world. We’v
日本語LLMの学習に向けたデータ前処理
はじめに 大規模言語モデルの学習にあたり、大規模なデータセットで学習することが重要ですが、高品質なデータを用いることも重要です。 Webなどから大規模に収集したデータを用いることが一般的ですが、そのままだとかなりノイズが多く、モデルの学習が困難です。 本記事では、言語検出、テキスト正規化、テキストのチャンキング、品質フィルタリングのデータ前処理によりノイズを取り除く方法について解説します。 言語検出 Webから大規模に収集したデータには、様々な言語が含まれます。 日本語をターゲットとした言語モデルの学習のためには、日本語のデータのみを抽出する必要があります。 言語検出のPythonライブラリとして、pycld3やlangdetectが有名ですが、2022/1/11にlinguaがリリースされています。開発者のベンチマークによると、性能は他のライブラリと比べて高いです。 特にpycld3はp
概要 - Overview この辞書を Google日本語入力・ATOK・Microsoft IME などに導入することで、 GitHub, Slack, Qiita のようにコロン : をトリガーとして IME でも絵文字を入力することができるようになります。 「GitHub, Slack, Qiita 以外のアプリケーションでも GitHub, Slack, Qiita のように絵文字を入力したい」 という要望に応えるための IME 追加辞書です。 ちなみに GitHub や Qiita は英語で絵文字を探す必要がありますが、この辞書を利用することで GitHub や Qiita でも Slack のように日本語で絵文字を入力することができるようになります。 GitHub に MIT License で公開しており、現在は 8264 ペアの絵文字とその読みが収録されています。 👇辞書
ソフトウェアエンジニア版 親父の小言 pyspa編
ドメインモデルは貧血にするな Keep it simple stupid バリューオブジェクトはイミュータブルにしろ 博打は決して打つな YAGNI 分散トランザクションとか寝言言ってるんじゃねぇ 使わなくなったコードはさっさと消せ コメントも含めてメンテしろ 推測するな、計測しろ そのアラートは必要ない ロールよりプラクティス コードが書けない奴がチームにいることを肯定するためにスクラムという言葉を使うな ソースと一緒にドキュメントもメンテしろ 欲しいのはエンジニア上がりのPM、エンジニア崩れのPMは要らん 分野ごとの最適なアルゴリズム選びはきちんとやれ プロパティをむやみに作るな 狭くて深いモジュールにしろ 英語を勉強しろ 早く寝ろ DB切り替えとかの予定もないのに、最初からインタフェース切ったりするな。本当にそれが有用なら、そういう機構を誰かがすでに用意したり事例があるはずだ。ないな
cargo-crevとは 最近、複数のRubyライブラリにバックドアが発見されました。このような事件はnode/npmやPython/PyPIなどでも発生しています。これらは正当な作者のアカウントがハックされてアップロードされているケースや、はじめから悪意のある作者が公開しているケースなどがありますが、いずれのケースでも公開されているライブラリバージョンの安全性が検証されていないことが問題であるといえます。 これに対してRustのcrates.ioに関してもコミュニティーから懸念が表明されています (URLO18860, URLO29989) が、その中でdpc氏が提案しているのが分散コードレビューによる信頼性の担保です。これを実際に実装したのがcargo-crevというツールです。 (なお、RustSecチームがcargo-auditというツールを公開していますが、これは既知の脆弱性デー
Introduction to Go 1.13 The latest Go release, version 1.13, arrives six months after Go 1.12. Most of its changes are in the implementation of the toolchain, runtime, and libraries. As always, the release maintains the Go 1 promise of compatibility. We expect almost all Go programs to continue to compile and run as before. As of Go 1.13, the go command by default downloads and authenticates modul
IntroductionWhen roaming around the techies forums, I often see some people (and many not very experienced) asking for “How do I make an antivirus”, sometimes with not very adapted languages (bat, PHP, …) and having a wrong idea of what an antivirus is, and how it should be built. I’ve also seen many “Antivirus softwares” made by kiddies, with very few still-at-school people and about 4 hours per
「人生100年時代」と言われる現代。定年退職を迎えたエンジニア人生の先には、何があるのか。その回答として、まさに先ごろ60歳でエンジニアとしての会社員人生を終えたよしおかひろたか氏は、東京大学大学院に入学し、学びなおすという道を選んだ。その理由は、とある「パラダイムシフト＝社会における価値観の劇的変化」にあったという。IT業界で多発するいくつものパラダイムシフトを、我々エンジニアはどのように乗り越えていくべきか。講演の中で示された60年越しの解答をもとに、実践的な処世術を身につけたい。 講演資料：エンジニア人生と定年退職、人生100年時代のエンジニアの生き方 人生100年時代に「学びなおし」を選んだ理由 現代は「人生100年時代」に突入したと言われる。『LIFE SHIFT』の著者であるリンダ・グラットン教授が提唱した価値観で、これまでのモデルケースであった「60歳や65歳で定年し、残りは
「デジタル人文学」以前の日本の人文系デジタルテキスト研究を探訪してみる - digitalnagasakiのブログ
本日、日本デジタル・ヒューマニティーズ学会（JADH）の年次国際学術大会JADH2020が終了しました。リアル開催の予定だったものがバーチャルに途中で変更になり、日程も少し後ろに動かして、それでもなんとかきちんと開催でき、それほど人数は多くないながらも意義のある議論が展開され、相互に認識を深められるとても良い学会になったと思いました。開催を引き受けてくださった大阪大学言語文化研究科の田畑智司先生、ホドシチェク・ボル先生には感謝すること至極です。また、キーノートスピーチを引き受けてくださった東国大学のKim Youngmin先生、IIT インドールのNirmala Menon先生、それから、休日を返上して参加してくださった発表者・参加者の方々のおかげで会も盛り上がりました。大変ありがたく思っております。JADHは、国際デジタル・ヒューマニティーズ連合（Alliance of Digital
XのロゴはU+1D54Fの「𝕏」です
𝕏 誰でも簡単に使えて便利だね！ （比較用） https://www.compart.com/en/unicode/U+1D54F https://twitter.com/
Register now for a full day of community, learning, and all things Visual Studio Code April 2022 (version 1.67) Update 1.67.1: The update addresses this security issue. Update 1.67.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the April 2022 release of Visual Studio Code. There are many updates in thi
「『生成AIを使ってこんなもの作ってみました』開発者LT大会」は、急速に発展しているChatGPTや生成AIといったAI技術を使って何かを作ってみた人たちがアイデアや成果を共有する、ログミーTech主催のイベントです。ここでPR TIMES社の土屋氏が登壇。「ChatGPTを使って文字コードを扱う負担を軽減できるか」という調査の内容と結果について紹介します。 Shun氏の自己紹介と、本セッションのアジェンダ Shun氏（以下、Shun）：それでは、PR TIMES社の土屋が発表します。私の名前はShunといいます。PR TIMESに勤めていて、ソフトウェアエンジニアをやっています。 本日のアジェンダです。私の発表はどちらかというと、個人開発でChatGPTを使ったものを作って、それで実験をしてみたという内容になっております。 表題にもあるとおり、ChatGPTに文字コードのことを聞いてどん
プログラミング言語AWK 第2版
「AWK」という名前は開発者の頭文字Aho、Weinberger、Kernighanから来たもので、長い歴史を持つ、テキスト処理用のスクリプト言語です。Unix・Linuxにはデフォルトでインストールされており、多くの人に利用され、愛され続けています。改訂に伴い、計算/集計、データ分析といった話題の追加、CSV入力、Unicode対応など、時代に即したアップデートが行われています。 『プログラミング言語AWK』第2版 日本語版まえがき まえがき 1章 Awkチュートリアル 1.1 さあ始めよう 1.2 簡単な表示 1.3 書式付き表示 1.4 選択 1.5 計算 1.6 制御フロー文 1.7 配列 1.8 便利な一行プログラム 1.9 さて次は？ 2章 Awkの実践例 2.1 個人用ツール 2.2 選択 2.3 変換 2.4 データ要約 2.5 個人用データベース 2.6 個人用ライブラリ
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社 の吉井です。 今回はタグ付けの活用方法を考えてみます。 タグとは そもそもタグとは何でしょうか？ AWS リソースを識別および整理するためのメタデータとして使用される単語やフレーズです。 タグはキーと 1 つのオプションの値で構成されています。 以下はタグ付けの例です。 タグ活用パターン タグを活用する主なパターンを洗い出してみました。 AWS リソースを識別/グルーピングする IAM ポリシーのアクセス制御として コストのグルーピング AWS リソースを識別/グルーピングする 例えば EC2 が10台起動しているとします。 どの EC2 が自分のプロジェクトのものなのか、一覧できると便利です。 そうしたい際には以下のようなタグ付けを行います。 (
LINE株式会社が開催する技術者向けミートアップ「LINE Developer Meetup」。第62回となる今回のテーマは「Android」です。セッション「Androidアプリに潜む脆弱性 -LINEの場合-」では、LINE株式会社の玉木英嗣氏が登壇し、すでに修正済みのLINEのAndroidアプリの脆弱性と、それに対してどのような対策を行ったかについて、9つの事例を紹介しました。講演資料はこちら Androidアプリに潜む脆弱性 玉木英嗣氏：はい、よろしくお願いいたします。「アプリに潜む脆弱性 -LINEの場合-」というタイトルでLINEの玉木が発表させていただきます。よろしくお願いします。 始めに自己紹介です。玉木英嗣と申します。2018年4月に入社してからLINE Androidのチャットまわりの機能開発を担当しています。LINEがGitHub上で公開しているAndroid向けの
Introduction to Go 1.21 The latest Go release, version 1.21, arrives six months after Go 1.20. Most of its changes are in the implementation of the toolchain, runtime, and libraries. As always, the release maintains the Go 1 promise of compatibility; in fact, Go 1.21 improves upon that promise. We expect almost all Go programs to continue to compile and run as before. Go 1.21 introduces a small ch
Cedro Español, English Cedro is a C language extension that works as a pre-processor with eight features: The backstitch macro x@ f(), g(y); → f(x); g(x, y); (related work). Deferred resource release auto ... or defer ... (related work). Break out of nested loops break label; (related work). Notation for array slices array[start..end] (related work). Block macros #define { ... #define }. Loop macr
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Ary Borenzweig Brian J. Cardiff Juan Wajnerman +450 more The release of the first major release of Crystal arrives after many years of hard work. With thousands of contributions from people worldwide, it was finally possible to find consensus for what truly mattered for 1.0 and what could wait for future releases. Getting here wasn’t an easy journey, filled with enriching, controversial, delightfu
Panic を恐れるべからず
Panic を恐れるべからず Rust で panic! や assert! の利用を躊躇うべきでないという話。 個人の見解マシマシでお送りします。 この記事は Rustその3 Advent Calendar 2019 の18日目の記事である[0]。 TL;DR 不正な値の存在の存在を許してはいけない。 不正な値が存在できてしまう時点で、未定義動作を覚悟するくらいのつもりでいるべきである。 満たされるべき条件を満たさない時点で、プログラムの内部的な整合性は既に破綻しており、未定義動作も同然の状態である。 これ以上余計なことをする前にさっさとクラッシュせよ。 整合性破壊バグから「うまく復帰」できると思うのは甘え (極論)。 もうちょっと詳しくは 本題、大雑把な指針、まとめ を参照。 いろいろな panic Rust で panic させるにも様々な方法がある。 まずはそれらを見ていこう。 O
Fuzzing Farm #4: 0-dayエクスプロイトの開発 [CVE-2022-24834]
著者：Dronex, ptr-yudai はじめに この記事は、Fuzzing Farmシリーズ全4章のパート4で、パート3の記事「Fuzzing Farm #3: パッチ解析とPoC開発」の続きです。 Fuzzing Farmチームでは、前回の記事で紹介したように、1-dayエクスプロイトだけでなく0-dayエクスプロイトの開発にも取り組んでいます。Fuzzing Farmシリーズ最終章では、弊社エンジニアが発見した0-dayと、そのエクスプロイト開発について解説します。 我々は1年以上前の2022年4月の段階で、CVE-2022-24834に該当するRedisの脆弱性を発見し、RCE（Remote Code Execution; 任意コマンド実行）エクスプロイトの開発を完了していました。ベンダ側も修正を急いでくれましたが、利用者側の対応に時間を要したため、前回パート3の記事から今回の投
![Fuzzing Farm #4: 0-dayエクスプロイトの開発 [CVE-2022-24834]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4e5ac5baf736fb766ab8a7937adbafd253f9026c/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEgbIQH5cqe2SUkJLWXDDADjbJrKrPvLiVVuTLPsKWUu9dHp9kJcD9bOjlQcvR6_XSbLYiSr5zclxktrFU_MfirSHvkkvb6dySo-ZzVn9-NKMBLWO30nZ1irAFp4GNvNVqr_-cLxSgR7_QonQXufjQse5SGXsOmtcnnIT0ZfV7speDIV9IQZdVSe_2nvMrLp%2Fw1200-h630-p-k-no-nu%2F02.png)
Motivation Introduction User input strace Printing non-printable stty raw -echo -isig UTF-8 Conclusion Motivation This blog series explains how modern terminals and command-line tools work. The primary goal here is to learn by experimenting. I’ll provide Linux tools to debug every component mentioned in the discussion. Our focus is to discover how things work. For the explanation of why things wor
By Andreas Kellas Trail of Bits is publicly disclosing CVE-2022-35737, which affects applications that use the SQLite library API. CVE-2022-35737 was introduced in SQLite version 1.0.12 (released on October 17, 2000) and fixed in release 3.39.2 (released on July 21, 2022). CVE-2022-35737 is exploitable on 64-bit systems, and exploitability depends on how the program is compiled; arbitrary code exe
iPhoneの新絵文字21種：震え顔にピンクや水色ハート、翼に扇子にクラゲなど。iOS 16.4ベータでEmoji 15.0対応🫨 | テクノエッジ TechnoEdge
iPhoneに新しい絵文字が加わります。iOS 16.4ベータで加わったのは「震える顔」、ピンクや水色や灰色のハート、くらげ・翼・驢馬・扇子・ヒヤシンス・マラカス、生姜、無線マークなど、Unicodeのemoji 15.0で定められた21種。肌の色違いを含めれば31種になります。 🫨🫷🫸🩷🩵🩶🪿🐦⬛🫏🫎🪽🪼🪻🫛🫚🪭🪮🪇🪈🛜🪯 (21字を列挙。非対応OSでは豆腐に、対応OSで見ると絵文字になっているはずです。黒い鳥だけはフォールバック動作で鳥と■に見えます) 更新：正式配信が始まりました。
Azureが提供するWindowsは原則として英語版です。 最近は中国語版も選べるようですが、日本語版はありません。 しかし、英語版ではせっかくのGUIも魅力半減です。やはり、Windowsは日本語で使いたいものです。 現在、Windowsは国際化が進んでいて「言語パック」を追加することで、どの言語にでも対応できます。 ちなみに、アラビア語の言語パックを入れると、[スタート]ボタンが右下にできます。 興味のある方は試してみてください（戻せなくなっても責任は持てませんが）。 Windowsの日本語化は以下の手順で行ないます。 なお、操作の順序によって、多少手順が変わるようなのでご注意ください。 なお、AWSの場合は「Community AMI」として日本語化されたものが提供されているので、それを選べば以下の手順は不要です。 Windows Server 2019の日本語化 Windows S
GitHub - unicode-org/last-resort-font: Last Resort Font
This repository includes two versions of the Last Resort font: Last Resort and Last Resort High-Efficiency. Although both fonts can be installed at the same time—because they have different names—you are encouraged to download and install only the one that is expected to work in the environments that you use: The file LastResort-Regular.ttf is a font named Last Resort, and its 'cmap' table include
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mastering Emacs is now available in Japanese
テストで個人的によく使うツール7選 - Qiita
API凍結にあっていた「OpenTween」が2年ぶりに復活、v2.5.0がリリース／「Unicode 13.0」で追加された絵文字にも対応
Announcing .NET 5.0 - .NET Blog
Open source maintainer pulls the plug on npm packages colors and faker, now what? | Snyk
grex/README.md at main · pemistahl/grex
Go 1.14 Release Notes - The Go Programming Language
2000-2005年ころのLinuxとインターネットとパソコン - Chienomi
Ladybird: A new cross-platform browser project
日本語で絵文字入力するための IME 追加辞書を公開しました - Qiita
「Twitter」改め「X」のロゴはUnicodeの「U+1D54F」らしい／「黒板文字」や「重ね打ち体」と呼ばれる文字の1つ【やじうまの杜】
Rustの依存関係の信頼性を検証する (crev) - Qiita
Go 1.13 Release Notes - The Go Programming Language
Making an antivirus engine : Guidelines - Adlice Software
エンジニア定年退職を迎えたよしおかひろたか氏が語る、パラダイムシフトを乗り越える生き方【デブサミ2019】
Visual Studio Code April 2022
ChatGPTを使って、文字コードの理解と記述の負担を軽減できるのか 「日本語と認識しているUnicodeの範囲」「括弧の検出」「新字体への変換」を調査してみた
AWS タグの活用方法と命名ルールを考える | DevelopersIO
LINEはAndroidアプリに潜む脆弱性にどう対処したか？ 実際にあった9つの事例を紹介
Go 1.21 Release Notes - The Go Programming Language
C programming language extension: Cedro pre-processor
Netflix (ネットフリックス) 日本 - 大好きな映画やドラマを楽しもう!
Crystal 1.0 - What to expect
How terminal works. Part 1: Xterm, user input
Stranger Strings: An exploitable flaw in SQLite
【図解】英語版Windowsの日本語化～画面ショット付き詳細手順～