正規表現を使ったパターンマッチはとても便利なのだが、なんだか難しそうというイメージを持っていないだろうか。正規表現はワイルドカードを拡張したものと考えて基本だけを覚えるだけでも、いろいろな場面で活用できる。今回は、正規表現を使って大量ファイルの自動分類に挑戦してみよう。 正規表現でファイルをフォルダに分類したところ 正規表現とは？ 正規表現とは文字列を特殊なパターンを使って表現するものだ。ファイル操作に使うワイルドカードを拡張したものと言えば分かりやすいだろうか。今や、正規表現は大抵のテキストエディタに実装されていることもあり、正規表現を覚えるなら、Pythonのプログラミングだけでなく、日々のあらゆる場面で役立つとも言える。 なお、以前本連載の33回目でも正規表現について紹介したが、今回はPythonでファイルを分類する目的のため、基本の基本に絞って紹介しよう。 Pythonで正規表現を
正規表現とは何なのか、makenowjustが正規表現に興味を持ったきっかけ。深掘りRubyKaigi 2023 with spikeolaf & makenowjust 文字起こしレポート vol.1 - STORES Product Blog
2023年6月15日に『深掘りRubyKaigi 2023 with spikeolaf & makenowjust』を開催しました。イベントの内容をほぼ全文文字起こし形式でお届けします。この記事は第1部です。 hey.connpass.com イベントのアーカイブはYouTubeでも公開しています。 www.youtube.com 登場人物 ゲスト makenowjust/藤浪 大弥さん spikeolaf/金子 雄一郎さん STORES fujimura/藤村 大介 shyouhei/卜部 昌平 hogelog/小室 直 正規表現に興味を持ったきっかけ fujimura：最初は藤浪さん、makenowjustさんに正規表現の発表について伺おうと思います。まずは改めてRubyKaigi 2023でどんなことを発表したかを紹介いただけないでしょうか？ makenowjust：Rubyの正規
GitHub - yoav-lavi/melody: Melody is a language that compiles to regular expressions and aims to be more readable and maintainable
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Rob Pike’s simple C regex matcher in Go August 2022 Back in 1998, Rob Pike – of Go and Plan 9 fame – wrote a simple regular expression matcher in C for The Practice of Programming, a book he wrote with fellow Unix hacker Brian Kernighan. If you haven’t read Kernighan’s “exegesis” of this code, it’s definitely worth the 30-minute time investment it takes to go through that slowly. With Go’s C herit
メールアドレスを深堀りする
Art Directing for the Web. Five minutes with CSS Template Areas
先読みと後読みを使ったパターン
正規表現ではパターンが対象の文字列とマッチするかどうかをチェックしますが、先読みや後読みでは文字列とマッチするかどうかは調べるけれどマッチした文字列としては取得しません。先読みと後読みでは利用方法に応じて、肯定先読み、否定先読み、肯定後読み、否定後読み、の 4 種類が利用できます。ここでは正規表現における先読みと後読みを使ったパターンの利用方法について解説します。
こんにちは、UXライターのkunyです。3月にスケボーを始めて、最近チックタックができるようになりました。 さてSmartHRでは、textlintに独自のルールプリセットを追加して利用しています。ルールプリセットはオープンソースで公開しており、継続的にルールを追加しています。 さて、そのルール追加の際に正規表現の知識が必要なのですが、「正規表現、マジ難しい...」と感じています。「う〜ん」と唸りながらルールを追加することも多いです。 そこで自分の勉強も兼ねて、textlintへのルール追加の際に必要な「基本的な正規表現」を、実例とセットでまとめてみました。「ブログ書くぞ〜」と宣言したところ、少数ながらも「いいね」をいただき、需要あるかも？と思っています。感想やフィードバックを、Twitterでつぶやいていただけると嬉しいです。 textlintのルール作りに必要な正規表現、というタイトル
grex is a library as well as a command-line utility that is meant to simplify the often complicated and tedious task of creating regular expressions. It does so by automatically generating a single regular expression from user-provided test cases. The resulting expression is guaranteed to match the test cases which it was generated from. This project has started as a Rust port of the JavaScript to
Cloudflare outage caused by bad software deploy (updated)
Cloudflare outage caused by bad software deploy (updated) Loading... This is a short placeholder blog and will be replaced with a full post-mortem and disclosure of what happened today. For about 30 minutes today, visitors to Cloudflare sites received 502 errors caused by a massive spike in CPU utilization on our network. This CPU spike was caused by a bad software deploy that was rolled back. Onc
Ruby: ruby-regexp_trie gemで文字列リストを効果的な正規表現に変換する｜TechRacho by BPS株式会社
@gfxさん作のruby-regexp_trie gemを使うと、Rubyで文字列の配列から凝縮された正規表現を楽に生成できることを知りました😍。 リポジトリ: gfx/ruby-regexp_trie: Fast keyword matching with the Trie algorithm (a Ruby port of Perl's Regexp::Trie) 文字列リストを単に|でつなげるだけならRuby標準のRegexp.unionでもできますが、文字列リストが巨大になってくると単純連結では効率が低下します。 以下説明のために、わざとソート順を崩したaryを用います。 ary = %w( YMS-15 MSM-10 YMS-14 MAN-07 MSN-02 MSM-07S MA-05 MSM-07 MSM-04F MSM-03 MS-X16 MAN-03 MS-X10 MS-
The unreasonable effectiveness of f-strings and re.VERBOSE
... in which we look at one or two ways to make life easier when working with Python regular expressions. tl;dr: You can compose verbose regular expressions using f-strings. Here's a real-world example – instead of this: 1pattern = r"((?:\(\s*)?[A-Z]*H\d+[a-z]*(?:\s*\+\s*[A-Z]*H\d+[a-z]*)*(?:\s*[\):+])?)(.*?)(?=(?:\(\s*)?[A-Z]*H\d+[a-z]*(?:\s*\+\s*[A-Z]*H\d+[a-z]*)*(?:\s*[\):+])?(?![^\w\s])|$)"
【2023/05/17 変更】 2023年5月の TC39 会議で Stage 4 になったため、タイトルを変更 HTML Standard の pattern 属性に取り込まれたので修正 ES2024 RegExp v (unicodeSets) フラグ ES2024 に RegExp v (unicodeSets) フラグというものがあります。これは既存の u (unicode) フラグを改善して置き換え、機能追加することを目的としています。 詳しい内容については V8 や 2ality による解説記事が詳しいです。ここではその概要をピックアップして述べたいと思います。 複数のコードポイントからなる絵文字の対応（Unicode Properties of Strings） ES2015 に u (unicode) フラグが導入され、コードポイント単位で正規表現を扱えるようになりました。
正規表現でmasawada - hogashi.*
masawada Advent Calendar 2021 - Adventar 10日目の記事です。昨日の id:Sixeight さんに見事に釘を刺されてしまったので、ありがたく受け取り、whywaita Advent Calendar 2021 - Adventarはこちらに書きました → 秘蔵UserCSS大放出祭 - hogashi.*。大目に見てください！ id:masawada / id:whywaita Advent Calendar 七五三おめでとうございます。 7, 5, 3 と素数ですね*1。ゴルゴ13が好きな id:hogashi です。 七五三は 11月 15日にやるそうです。 11 は素数だし、 15 は 3＋5＋7 ですね。 3×5 でも 15 になります。 能では、 7歳ごろから稽古を始めるので、このあたりを初心というそうで*2、世阿弥曰く、このころに自然に
GitHub - hedhyw/rex: Flexible regular expressions constructor for Golang.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - pemistahl/grex-js: A JavaScript / WebAssembly library for generating regular expressions from user-provided test cases
grex is a library that is meant to simplify the often complicated and tedious task of creating regular expressions. It does so by automatically generating a single regular expression from user-provided test cases. The resulting expression is guaranteed to match the test cases which it was generated from. This project has started as a Rust port of the JavaScript tool regexgen written by Devon Govet
Whilst the trend is seemingly to rewrite every JavaScript build tool in other languages such as Rust or Go, the current JavaScript-based tools could be a lot faster. The build pipeline in a typical frontend project is usually composed of many different tools working together. But the diversification of tools makes it a little harder to spot performance problems for tooling maintainers as they need
Masato Kinugawa Security Blog: CVE-2020-11022/CVE-2020-11023: jQuery 3.5.0で修正されたSecurity Fixの詳細
English version is here: https://mksben.l0.cm/2020/05/jquery3.5.0-xss.html 先月、jQuery 3.5.0がリリースされました。 このバージョンでは、僕が報告した問題がSecurity Fixとして含まれています。 jQuery 3.5.0 Released! | Official jQuery Blog https://blog.jquery.com/2020/04/10/jquery-3-5-0-released/ 報告したバグは、CVE-2020-11022、 CVE-2020-11023 として採番されています。 https://github.com/advisories/GHSA-gxr4-xjj5-5px2 https://github.com/advisories/GHSA-jpcq-cgw6-v4j6
I stumbled on this regex recently: \d{2}[,-.]\d{2}. The intention is clear enough: match two sets of two digits separated by a comma, a dash, or a period. Of course, it shouldn’t work. Dashes in character classes are special because they’re used for ranges (like [a-z] to match lower-case ASCII letters). If you want - in a character class you put it at the beginning, or the end, never the middle. S
![The regex [,-.]](https://cdn-ak-scissors.b.st-hatena.com/image/square/35b4c7818be85249d8df43989c3d5f3748c37c08/height=288;version=1;width=512/https%3A%2F%2Fpboyd.io%2Fposts%2Fcomma-dash-dot%2Fcode.png)
覚え書き: 先読み・後読みを含む正規表現の数学的定式化
いかにも既知な気がしますが、ぱっと既存の議論が探せないのでとりあえず書き出してみます。 ※用語は独自のものです。また、証明・定義は厳密に検証しているわけではないので誤りがあるかもしれません。 この定義でカバーできること 先頭 ^ 末尾 $ 肯定先読み (?= ... ) 否定先読み (?! ... ) 肯定後読み (?<= ... ) 否定後読み (?<! ... ) この定義でカバーしないこと 選択の左右の優先度 (r1|r2 vs. r2|r1) 最長優先と最短優先の区別 (r* vs. r*?) 基本の正規表現 基本の正規表現は通常以下のように定義されます。 \Sigma はアルファベットで有限サイズとします。 文字リテラル a (a は文字 a \in \Sigma) 空文字列 \epsilon と連接 R_1R_2 (R_1, R_2 は正規表現) 空集合 \emptyset と
Pike VMとEarley法の関係についてRubyで実装して考えてみる | makenowjust-labs/blog
正規表現マッチングの実装手法の1つとしてPike VMと呼ばれるものがあります。 これはGo言語の正規表現実装やRustのregex crateで使われている手法であり、正規表現rrrと入力文字列wwwに対してO(∣r∣×∣w∣)O(|r| \times |w|)O(∣r∣×∣w∣)の計算量でマッチングができるのが特徴です。 Earley法はJay Earleyの提案した文脈自由文法 (CFG) の構文解析手法の1つです。 すべてのCFGを構文解析できる手法で最悪計算量はO(∣w∣3)O({|w|}^3)O(∣w∣3)ですが、無曖昧であればO(∣w∣2)O({|w|}^2)O(∣w∣2)で、決定的であればO(∣w∣)O({|w|})O(∣w∣)で構文解析ができます。 実装してみると分かりますが、Pike VMとEarley法には類似している点があり、Earley法をPike VMの発展系の
Regexide
Why XML Comments matter XML is a popular format for storing and sharing data. It was explicitly designed for people and programs to read and write data.[1] From spreadsheets to save states, most modern software and games parse and write XML. XML comments are special notes that parsers should not treat as data. XML comments start with <!-- and end with -->. Technically XML comments must not contain
「〜を含まない」といった、否定の意味を持つ正規表現を記述する場合、下記のように、大きく分けて２種類のケースがあります。 「特定の１文字を含まない」といった否定表現か、もしくは「正規表現パターンを含まない」といった表現かで、大きく解決の方針が異なる点に注意して下さい。 特定の１文字だけを否定したい場合は非常にシンプルです。この場合、「文字クラス」、もしくはエスケープシーケンスで表される文字型を利用する事で表現できます。 一方で、特定の正規表現パターンを否定したい場合、少し記述が複雑になります。今回は「否定先読み」を利用した表現を、この記事の後半にご紹介します。 基本的な正規表現の記法はこの記事では触れませんので、不安な方はこちらの記事も合わせてご参照下さい： 正規表現とは？基本構文とメタ文字一覧（サンプル付） それでは、順番に詳しく見ていきます。 任意の一文字を含まない文字列の正規表現 a「
Regex Vis
Regex visualizer & editor, make the regular expression easier.
GitHub - rcoh/angle-grinder: Slice and dice logs on the command line
Slice and dice log files on the command line. Angle-grinder allows you to parse, aggregate, sum, average, min/max, percentile, and sort your data. You can see it, live-updating, in your terminal. Angle grinder is designed for when, for whatever reason, you don't have your data in graphite/honeycomb/kibana/sumologic/splunk/etc. but still want to be able to do sophisticated analytics. Angle grinder
Security advisory for the regex crate (CVE-2022-24713) | Rust Blog
This is a cross-post of the official security advisory. The official advisory contains a signed version with our PGP key, as well. The Rust Security Response WG was notified that the regex crate did not properly limit the complexity of the regular expressions (regex) it parses. An attacker could use this security issue to perform a denial of service, by sending a specially crafted regex to a servi
🔗 正規表現は文字列メソッドより「遅い」 新しい話ではなくて恐縮です。 Rubyに限らず、一般に正規表現は言語の文字列マッチメソッドより低速になります。 複雑なパターンを調べたい場合は正規表現を使うことになりますが、特に「開始文字列」「終了文字列」とのマッチを単純にチェックするだけなら、String#start_with?やString#end_with?でマッチを取る方が可読性の上でも速度面からもおすすめです。 本記事ではtrue/falseを返す文字列マッチメソッドについてのみ言及していますが、文字列の取り出しや置換といった操作についても、専用メソッドの方が正規表現よりも一般に高速なので、「正規表現は次なる手段」と考えるようにしています。 🔗 文字列マッチ専用メソッド（単機能、高速） String#start_with? (Ruby リファレンスマニュアル) String#end_
とほほの正規表現入門 - とほほのWWW入門
英語では regular expression と呼びます。 文字列が「～を含んでいる」や、「～にマッチする」、「4文字の数字」など、指定したパターンにマッチするか否かを評価します。 利用する言語やライブラリやバージョンによってサポートされているものが異なります。 まず最初に、正規表現で見落としてしまいがちな落とし穴について触れておきます。 メタ文字に注意が必要。PHP や Python では正規表現を文字列で扱う際に、\ などが文字列のメタ文字として解釈され、正規表現としてもメタ文字として見なされないケースがある。 末尾を示す $ は、末尾に改行(\n)があってもマッチしてしまう。例えば、/^ABC$/ は、"ABC" や "ABC\n" にマッチする。Perl, PHP, Python など。JavaScript はマッチしない。これを防ぐには /.../D や /...\z/ や /
Regular expressions can be daunting, but they don't have to be! Learn everything you need about regular expressions and how to use them in JavaScript. The string is arguably the most essential data type in programming; every programming language and software in the world uses strings in one way or another. It enables humans to easily communicate with sophisticated programs and machines. One thing
https://www.autoregex.xyz/
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田 純、以下「NTT」）と学校法人早稲田大学（本部：東京都新宿区 理事長：田中愛治 以下、「早稲田大学」）は、文字列のチェック機能の処理時間を長期化させコンピュータの負荷を大幅に増大させる攻撃を引き起こす脆弱性に対する実用的な自動修正技術を世界に先駆けて実現いたしました。文字列のパターンマッチに用いられる正規表現（※1）とは、特定の文字の並び（文字列）をルールに基づき簡略化して表現する方法で、Webサービスなどにおいてユーザの入力値が期待したものであるかの検証など幅広い場面で利用されています。難解な正規表現の仕組みやルールを深く理解し、検証すべき文字列を厳密に定義できていないと脆弱性になってしまうため、近年グローバルで大きな脅威となっています。この技術によって、専門知識をもたない開発者でもこうした正規表現の脆弱性の修正が可能とな
About the Rosie Project
Mission Statement The Rosie Pattern Language (RPL) is intended to replace regular expressions (regex) in situations where: many regex are used in an application, project, or organization; or some regex are used by many people, or by a few people over a long period of time; or regex are used in production systems, where the cost of run-time errors is high. The advantages conferred by RPL in cases 1
GoogleアナリティクスやGoogleタグマネージャーなど、Webマーケティングに不可欠なツールを使いこなすのに、知っていると非常に便利なのが、正規表現と呼ばれるもの。 Googleアナリティクスを使っているとき、「正規表現一致」のような選択肢を見たことがある方も多いでしょう。 しかし、正規表現とは何なのかよくわからず、調べてみてもなんだか難しくて使っていない……という方はかなり多いのではないでしょうか。 実際、正規表現をマスターするのは難しいですが、知っておくと便利な一部の正規表現だけに絞って覚えれば、そう難しいものではありませんし、使える場面も多いものです。 今回は、GoogleアナリティクスやGoogleタグマネージャーで使える便利な正規表現の一部について解説していきます。 Googleアナリティクスで使える正規表現とは正規表現とは、「メタ文字」と呼ばれる特定の記号を使うことで、簡
GitHub - chmln/sd: Intuitive find & replace CLI (sed alternative)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Pomsky
Saner SyntaxPomsky is designed to be easy to write and understand. Instant FeedbackSyntax highlighting, autocompletion, and diagnostics in VSCode.
ノイズが多いテキストを対象にした正規表現を書きやすくするPythonモジュール regex - MNTSQ Techブログ
MNTSQ(モンテスキュー)という契約書管理のSaaS製品を開発する会社で、 アルゴリズムエンジニアをしている坂本です。 契約書に書かれた情報を自動で抽出する仕組みを作っています。 概要 正規表現とはなにか 正規表現を書きにくい、中ボス的なテキストが存在する regexモジュールのFuzzy match機能を使って、楽に中ボスを倒す Fuzzy matchの使用例 裏話 実は、採用ブログも兼ねています この記事を書いた人 概要 私も非エンジニア出身であるため、Techブログではあるものの、 幅広い方に読んでいただきたいと思いました。 このブログの内容をざっくり図解すると、こんな内容を扱います。 正規表現とはなにか テキスト（＝文字列）に対して、マッチさせるパターンのことです。 特定の文字を含むテキストを探すときに使います。 例えば、 テキスト１：「庭には２羽ニワトリがいる」 パターン１：「
正規表現パズル - ゲーム作るくんのサイト
正規表現を使ったパズルゲームです。正規表現の学習用ツールとしても使えます！
Use lightweight templates to easily search and change code, HTML, or JSON. Comby is designed to work on any language or data format. Read the docs → Perform richer search and replace because Comby understands the syntax of code blocks, strings, and comments for your language. Install and try → Comby is ideal for touching up pieces of code. Use it to translate code like this Python 2 to 3 fixer on
シェルスクリプトの正規表現の詳細解説（令和最新版）〜 基本正規表現(BRE)と拡張正規表現(ERE) - Qiita
はじめに この記事は UNIX コマンド（POSIX コマンド）で使える正規表現（基本正規表現 BRE と拡張正規表現 ERE）を正しく理解したい人のための記事です。正規表現とはなにか？みたいな基本的な話はしません。他のプログラミング言語で使ってるから正規表現自体は知ってるつもりだけど、シェルスクリプトだといつもの正規表現が使えず苦手だという人のために、シェルスクリプトにおける正規表現を深く理解できるような内容にしています。 基本的に POSIX に準拠した内容を中心に解説しており、どの環境にも対応した内容にしています。さらに Linux (GNU) や BSD や macOS の環境固有の拡張された正規表現、歴史的な UNIX コマンドの話や各コマンド毎の細かい違いなど、実際に使う上で必要な知識も解説しています。 注意 bash 等のシェルの正規表現についてはこの記事では詳しく扱っていま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロからはじめるPython(78) Pythonの正規表現を使って200個のファイルをフォルダ分けしよう
Rob Pike's simple C regex matcher in Go
textlintへのルール追加に必要な正規表現を、やさしく解説してみた - SmartHR Tech Blog
grex/README.md at main · pemistahl/grex
「Ruby 3」系統の正規表現コンパイラーに情報漏えいの脆弱性、修正版がリリース／v3.0.7、v3.1.5、v3.2.4、v3.3.1への更新を
正規表現を豊かにする ES2024 RegExp v (unicodeSets) フラグ
Speeding up the JavaScript ecosystem - one library at a time
The regex [,-.]
正規表現：文字列を「含まない」否定の表現まとめ | WWWクリエイターズ
Ruby: 文字列マッチは正規表現より先に専用メソッドを使おう｜TechRacho by BPS株式会社
Regular expressions in JavaScript
プログラム中の文字列チェック機能の脆弱性を自動修正する技術を世界に先駆けて実現～専門知識をもたない開発者でもReDoS脆弱性の修正が容易に～ | ニュースリリース | NTT
【Googleアナリティクス上級編】知ってたら使える”正規表現”ガイド | Webマーケティングメディア「Grab」
Comby · Structural code search and replace for ~every language.
https://www.ci.seikei.ac.jp/yamamoto/lecture/automaton/text.pdf