正規表現とAI
「Why is this interesting?」より。 コード、初期のニューラル・ネットワーク、そしてかつて信用されなかったAIの先駆者たちについて バズ・アンダーセン(BA)は、インターネット上では興味深い存在ですが(しばらくの間、Apple、Square、Tumblrなどで経験を積んできました)、テクノロジーの進化において重要かつ道徳的な発言者としても注目されています。彼はtwitterでとてもよくフォローされていて、彼と交流したことでいつも賢くなった気がします。-コリン(CJN) 話題はここから。2021年3月10日、ロシアのインターネットユーザの多くが、突然、Webの一部にアクセスできなくなったことにに気づきました。米国のネットワーク分析会社Kentikは、ロシアの国営通信会社であるロステレコムのネットワークトラフィックが24%も減少したと報告し、サイバーセキュリティ関連のTw
正規表現の落とし穴（ReDoS - Regular Expressions DoS） - Qiita
過去にWordPressを題材にしていろいろな脆弱性のケーススタディを取り上げました。 Webアプリケーションの脆弱性ケーススタディ（WordPress編） Webアプリケーションの脆弱性ケーススタディ（WordPress編その２） 今回は、ReDoS（Regular Expressions DoS）について取り上げてみたいと思います。ReDoSとはOWASPによると以下のように記載されています。 The Regular expression Denial of Service (ReDoS) is a Denial of Service attack, that exploits the fact that most Regular Expression implementations may reach extreme situations that cause them to wor
\sが完全には空白文字を網羅できていなかった件 - Panda Noir
「空白文字」が世の中に何種類あるかご存じですか?半角スペース、全角スペース、タブ、改行くらいは分かると思いますが、実は世の中にはもっと空白文字があります。なんと空白文字だけで30文字以上もあります。これだけある空白文字を、/\s/は果たして網羅できているのでしょうか？今回はこれについて調べてみました。 '\s'にマッチするスペース文字の一覧 仕様書を見てみる '\s'と等価な正規表現とは？ 終わりに '\s'にマッチするスペース文字の一覧 2. スペースは" "だけじゃない的な話 ここのページに書いてあるスペース文字について、\sにマッチするか検証してみま した。 結論から書くと、\sは全てを網羅していませんでした。 青くなっている方が\sにマッチした文字、赤くなっている方がマッチしなかった文 字です。 名称文字 FILE SEPARATOR[�] GROUP SEPARATOR[�] R
ひらがなをカタカナに一括変換する方法 - JavaScript TIPSふぁくとりー
《2017年6月13日 12:00 PM 公開/更新》 ひらがなをカタカナに一括変換する方法 [計算・変換] JavaScriptを使えば平仮名(ひらがな)を片仮名(カタカナ)を相互に一括変換するのも簡単です。ユーザが入力したフリガナ文字列を「カタカナ」か「ひらがな」のどちらかに統一する必要があるなどの場合に便利です。「カタカナ」と「ひらがな」は文字コードの並び順が同じなので、単純に足し引きするだけで相互に変換できます。JavaScriptで正規表現を使えば、文字列中に含まれる「ひらがな」や「カタカナ」だけを対象にして簡単に揃えられます。 平仮名(ひらがな)と片仮名(カタカナ)を相互に一括変換できると便利 平仮名(ひらがな)と片仮名(カタカナ)は、0x60を足し引きすれば相互変換できる 正規表現を使って、平仮名(ひらがな)を片仮名(カタカナ)に一括変換する方法 正規表現を使って、片仮名(カ
pythonの正規表現でハマった件 - ITの隊長のブログ
またハマった。。。 そろそろハマったシリーズ作ろうかな？ 今度は正規表現です。 正規表現で、置換や文字列削除などで オススメの言語はPerlです。 なんて言ったって、書きやすいこの上無し。 他の言語はコンパイルだったり、手続きが多いのでちっと面倒くさい。 でも、今回はPython上で利用したかったので、Pythonの re.sub() でやろうとしたのね。そしたらね。 4時間もバトルするハメに・・・（´・ω・）ナゼデショウ？ 例えばこういうhtmlソースがあったとします。 <li>Apple</li> <li>Orange</li> <li>Meron</li> <li>Grape</li> <li>Cherry</li> で、正規表現を使って、タグだけとりはずしたいのね。 「re」モジュールをインポートして、「re.sub」で置換します。 「re.compile」からでもよかったですが、
正規表現を使ったマッチングに変数を使用する - Qiita
正規表現による文字列のマッチングをはじめて試みたんですが、 正規表現に変数を使用するのに少し手こずったので、 やり方をメモしておきます。 単純にRegExp(正規表現オブジェクト)の存在を いままで知らなかったというだけですが・・・ var strBase = '', // 検索対象となる文字列 strCombRegex = '', // 正規表現に組み合わせたい文字列 regexp = new RegExp(strCombRegex + '(.*?)', 'g'), // 正規表現オブジェクト ここでは正規表現も文字列で記載する matchArr = strBase.match(regexp); // 検索対象から正規表現にマッチするものを抽出して、返す console.log(matchArr); 正規表現オブジェクトの文末(フラグ)に'g'を指定すると、 2つ目以降のマッチする箇所も
電話番号の正規表現はどうしたらいいのか - ノンカフェインであなたにやさしい
Railsのアプリを作っていて電話番号のバリデーションをするための正規表現はどう書いたらいいのか悩んだので調べてみました ※細かくやっていますが新しい電話番号や考慮されないパターンがあるかもなのでバリデーションは緩くしておくことをおすすめします。 電話番号の正規表現 日本の一般の電話番号の正規表現はこうなりそう /\A(((0(\d{1}[-(]?\d{4}|\d{2}[-(]?\d{3}|\d{3}[-(]?\d{2}|\d{4}[-(]?\d{1}|[5789]0[-(]?\d{4})[-)]?)|\d{1,4}\-?)\d{4}|0120[-(]?\d{3}[-)]?\d{3})\z/ 想定している仕様 0から始まる市外局番込の10桁の番号 [2-9]から始まる市外局番を含まない5~8桁の番号 市外局番と市内局番は各1~4桁、合わせると5桁 になる 携帯電話とPHSは「070」、「0
JavaScript で全置換(正規表現も使った)の速度比較 - Qiita
この記事は、JavaScript全置換(正規表現使わない)の速度比較 - Qiita の続きです。 続き 先の記事のコメント欄で、@mpywさんに、教えていただきました。 コストとしては，漠然としたイメージですが 機械語レベルでのループ処理: 1 正規表現のコンパイル処理: 10 VM・インタプリタレベルでのループ処理: 100 のような感じで考えていいと思います。コンパイラ系では 普通にループ処理を書く → 1 正規表現を書く → 1+10=11 となるため前者のほうが速く，VM・インタプリタ系では 普通にループ処理を書く → 100 正規表現を書く → 1+10=11 となるため後者のほうが速いイメージでしょうか。 まぢかよ！正規表現の方がはやいなんて！！！びっくりだぜ！ ということで、積極的に正規表現を使っていくことにしました。 あ、嘘です。可読性が低いので、正規表現使いたくないです
pythonの正規表現メモ - Qiita
はじめに Pythonにはperlやrubyのような正規表現リテラルはないらしい 正規表現を使用するときはreモジュールをインポートする Raw文字列 文字列リテラルの頭に rをつけると、その文字列ではエスケープシーケンスは無効となる。 （C#でいうところの@"~"みたいなやつ） "C:¥¥My Document¥¥fire¥¥test.txt" を r"C:¥My Document¥fire¥test.txt" と書ける。 rは大文字でもよい模様。 R"C:¥My Document¥fire¥test.txt" マッチ import re m = re.match(r"FIRE[0-9]+", "FIRE123") if m: print("matchした") else: print("matchしてない")
文字列に含まれるタグを削除して要素を取り出す - Qiita
def remove_select_tags(string, start_tag, end_tag): start = string.find(start_tag) while start != -1: end = string.find(end_tag, start) string = string[:start] + " " + string[end + 1:] start = string.find(start_tag) return string.split() def test_case(): target_string = '''<h1>Title</h1><p>This is a <a href="mt-takao.top">link</a>.<p>''' assert remove_select_tags(target_string, '<', '>') == ['Titl
正規表現がどれぐらい遅くなるか(計算量？)を調べてみた - 唯物是真 @Scaled_Wurm
最近あんまりパフォーマンス的によくない正規表現を見かけたので、いくつかのパターンについて正規表現をいろんな言語で試してみて実行時間を測ってみた(ついでに最悪計算量についてゆるふわに考えてみた) 実際には正規表現エンジンの実装(NFAやDFAとか？)やバージョン、オプション(？)によると思いますしなんとなくの傾向という感じです やること 以下の正規表現についてパターンマッチされる対象の文字列の長さ\(L\)が増えたときに、1回マッチするか調べる時間がどれぐらい伸びるかを調べます .*a a.*b a.*b.*c a(a|aa)*b 計測方法 以下の言語についてIdeoneで実行してみて実際に測ってみた時間を載せます(括弧内はIdeoneに書かれていたバージョン) Ruby (ruby-2.1) Python (python 2.7.10) PHP (php 5.6.4) Java (sun-
正規表現チェックツールまとめ - Qiita
個人的によく使う or 人に教える正規表現チェックツールをまとめました お役に立てますと幸いです 目次 Debuggex: Online visual regex tester Regexper Regular Expression Test Drive 正規表現チェックツール - Kaizen Platform RegexPlanet - Online Regular Expression (Regex) Testing and Cookbook Regex Tester Online regex tester and debugger Rubular: a Ruby regular expression editor and tester 1．Debuggex: Online visual regex tester 対応言語 JavaScript, Python, PCRE 正規表現を
プログラミング工場 / Python 正規表現
19 2010年01月19日 15:28 カテゴリPython 文字の種類で切り出す (Python) 漢字やヒラガナ，カタカナ，数字などの文字種類で切り出す． #!/usr/bin/env python # -*- coding: utf-8 -*- import re def parse(text): TOKENS = re.compile(u'[一-龠]+|[ぁ-ん]+|[ァ-ヴ]+|[。．、，]|[a-zA-Z0-9]+') results = TOKENS.findall(text) return results text = u'平成22年1月19日，今日はとてもいい天気です．' for e in parse(text): print e ※全角英数，半角カタカナは未対応． 実行結果 平成 22 年 1 月 19 日 ， 今日 はとてもいい 天気 です ． 参考 すべての漢字を
Python Tips: 文字列を検索したい
Python で文字列を検索する方法をご紹介してみます。 ここでは 2 つの方法をご紹介します。ひとつは「文字列型」のメソッドを使う最もシンプルな方法、もうひとつは「正規表現」を使う方法です。 文字列型のメソッドを使う方法 正規表現を使う方法 1. 文字列型のメソッドを使う方法 まずは文字列型のメソッドを使う方法を見てみましょう。 対象パターンの場所（インデックス）を取得したい場合には find() メソッドを、単純に対象パターンが存在するかどうかだけを知りたい場合には in キーワードを使います。 find() メソッドを使う s = 'hello kyoto' print(s.find('kyo')) # => 6 print(s.find('tokyo')) # => -1 文字列型のメソッド find() は、引数に渡されたパターンが最初に現れるインデックスを返します。マッチしなか
「正規表現」の基本的な使い方をJavaScriptで理解する
書籍の中から有用な技術情報をピックアップして紹介する本シリーズ。今回は、秀和システム発行の書籍『JavaScript Web開発パーフェクトマスター（2015年6月27日発行）』からの抜粋です。 ご注意：本稿は、著者及び出版社の許可を得て、そのまま転載したものです。このため用字用語の統一ルールなどは＠ITのそれとは一致しません。あらかじめご了承ください。 プログラムを作成するうえで、特定の文字列の中から指定したパターンに合致する部分があるかを調べたい場合があります。このような場合に利用するのが正規表現です。 正規表現はあいまいな文字列パターンを指定することで、条件にマッチする文字列を見付け出せるのが最大の特徴です。文字列が含む「特定の規則に則った箇所」を見付けて、それに見合う文字列を取り出すことができるのですね。 正規表現って何のためのもの？ 正規表現は、基本的に文字列を検索するために使う
Linuxで使う正規表現についてまとめました
正規表現とは、複数のケースにおいて、その言葉が指定した文字のパターンに一致しているかをチェックするものだ。 Linuxでも正規表現は使え、ファイルの検索や一括の処理など様々な場面で活躍する。 書籍やWebに掲載されている例をそのまま使って動作させることもできるが、基本をしっかりと抑えれば応用も聞いて、幅広く使えるだろう。 このページでは、Linuxで使える正規表現を一通り解説した。ぜひ参考にしてほしい。 正規表現の基本 正規表現とは？ 正規表現は、正規という言葉がついているので誤解しやすいが、きちんとした文字を指定するものではない。 むしろ、あやふやな文字を指定することで、複数の文字列にマッチするのか調べる方法だ。 例を３つ挙げてみよう。 「print」「script」の２つの文字列で同じパターンを見つけてみると、文字は、pとrとiとtが含まれるという共通点がある。 「echo」と「blu
【 grep 】コマンド（応用編その2）――複数の文字列を検索する
Linux基本コマンドTips一覧 本連載では、Linuxの基本的なコマンドについて、基本的な書式からオプション、具体的な実行例までを分かりやすく紹介していきます。今回は「grep」コマンドで複数の文字列を検索する方法を紹介します。 grepコマンド――特定の文字を含む行を抽出する（本連載 第9回） grepコマンド（応用編その1）――空白を含む文字列を検索する／正規表現を使って検索する（本連載 第10回） grepコマンドとは？ 「grep」は、ファイルの中で「文字列（パターン）」が含まれている行を表示するコマンドです。検索対象には、複数のファイルやディレクトリを指定できます。 ファイルを指定しなかった場合は、標準入力から読み込みます。パイプ（｜）と組み合わせて、他のコマンドの出力結果から必要な箇所だけを絞り込んで表示する際によく使われます。 ［参考記事］パイプとリダイレクトでコマンドを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Welcome to m-bsys.com
覚えておくと便利な正規表現のパターンをまとめた・「Regex Hub」
正規表現：変数の中には数字しか入ってない事を確認したい - 先がまっくろー
