正規表現がどれぐらい遅くなるか(計算量？)を調べてみた - 唯物是真 @Scaled_Wurm
最近あんまりパフォーマンス的によくない正規表現を見かけたので、いくつかのパターンについて正規表現をいろんな言語で試してみて実行時間を測ってみた(ついでに最悪計算量についてゆるふわに考えてみた) 実際には正規表現エンジンの実装(NFAやDFAとか？)やバージョン、オプション(？)によると思いますしなんとなくの傾向という感じです やること 以下の正規表現についてパターンマッチされる対象の文字列の長さ\(L\)が増えたときに、1回マッチするか調べる時間がどれぐらい伸びるかを調べます .*a a.*b a.*b.*c a(a|aa)*b 計測方法 以下の言語についてIdeoneで実行してみて実際に測ってみた時間を載せます(括弧内はIdeoneに書かれていたバージョン) Ruby (ruby-2.1) Python (python 2.7.10) PHP (php 5.6.4) Java (sun-
最もシンプルで(驚くべき)ソートアルゴリズム？ - 唯物是真 @Scaled_Wurm
こういうツイートを見かけたので元の論文を読んだり実装してみたりしました 世界一単純な? ソートアルゴリズム。 for i=1..n: for j=1..n: if a[i]<a[j]: swap(a[i], a[j]) 一見バブルソートのように見えるが、if判定の不等号の向きがバブルソートとは逆になっているのに、それでもソートされる。https://t.co/1qSnomUrUR— 新山祐介 (Yusuke Shinyama) (@mootastic) 2021年10月6日 注意点ですが、このアルゴリズム自体はよく使われるソートアルゴリズムと比べて特に利点があるわけではなくてネタ的な話です。 元論文 arxiv.org 実装(Python) この記事のソートでは昇順に並べます ICan’tBelieveItCanSort というわけで論文で言うところのICan’tBelieveItCanS
ABテストの12の落とし穴 - 唯物是真 @Scaled_Wurm
Twitterで見かけた以下の記事で紹介されていた論文がおもしろそうだったので読んだ感想と内容のてきとーな紹介(詳しく知りたい人は元論文を呼んでください) マイクロソフトの研究者による、いわゆる A/B テストにおいてメトリックを解釈するときに陥りがちな罠12選。実例がことごとく直感に反していてとても面白かった。 https://t.co/jC9JOsx1uB— Shuhei Takahashi (@nya3jp) 2017年10月11日 内容が間違っている部分があったらコメントなどで教えていただけると嬉しいです 論文 このKDD2017の論文ではABテストの結果を解釈する時に陥りがちな12種類の罠についてMicrosoftの研究者が実例と対策を交えて説明しています Pavel Dmitriev, Somit Gupta, Dong Woo Kim and Garnet Vaz, "A D
Google の可視化ツールの Data Studio を試してみた - 唯物是真 @Scaled_Wurm
Google Data Studio (データスタジオ) という可視化サービスがベータ版で使えるようになっていたので試してみた 見たい数値を一覧するためのダッシュボード的なものを作るためのサービスなので、いろんな場所からデータを取ってきて一箇所でまとめて確認するのが用途っぽい(今のところ似たようなサービス・ツールの方が機能が多そう データソース データソースとしてGoogle AnalyticsやBigQuery、Google Spreadsheet、MySQLなどを選んでデータを取ってこれる データソースを選んでGUIでグラフやテキストを配置していく データの既存のフィールドに関数を適用した結果の値を使うこともできる 使える関数のリスト 下の画像ではGoogle Analyticsの「ブラウザ」(Chrome, Firefoxなど)と「ブラウザのバージョン」(バージョンの番号)をCONC
Twitterで特定のユーザー達が共通してフォローしているユーザーをリストアップする - 唯物是真 @Scaled_Wurm
前にこんなツイートをした ホクソエムからフォローをされている数で定義されるホクソエム数— 無限猿(id:sucrose)@29月病 (@Scaled_Wurm) 2016年4月1日 連休で時間があったのでTwitter APIに慣れるついでに計算してみた ホクソエムとは よくわからないけど、Twitterで統計や機械学習をやってる人の一部が名乗っている notchained.hatenablog.com メンバーのリストは以下を参考にした @teramonagi/匿名知的集団ホクソエム on Twitter 本題 というわけでホクソエムの人達からフォローされている数が多いユーザーを調べるためにTwitter APIを叩いてユーザーのフォロー情報を取ってくる 今回はPythonのライブラリのTweepyを使った 使い方は公式のドキュメントを読めばだいたいわかると思う(ドキュメントが古くて(？
読書記録『手を動かしながら学ぶ ビジネスに活かすデータマイニング』☆☆☆ - 唯物是真 @Scaled_Wurm
データマイニング系の手法の入門書 どちらかというと初心者向けの本？ 著者は下記のブログで有名な方で、この本の内容もブログの内容をまとめて加筆したもの tjo.hatenablog.com いろいろな手法をあまり数式を使わずに図などを使って説明して、実際にRのライブラリを使って試していく感じ 著者のブログ記事を読んだら本のイメージが掴みやすいかも 手法の説明自体はあっさりした感じなので、手法名と概要を知りたい人向け 新しい専門用語が次々と出てきて、あまり説明は無かったりするかも(？) いきなり最初の方で統計的仮説検定が出てきて「いきなりとっつきにくいなー」と思うのは自分があまり統計に慣れてないからなのだろうか どういう手法をどういう時に使う、みたいなのがリアルな設定で書かれているのはよい 手を動かしながら学ぶ ビジネスに活かすデータマイニング 作者: 尾崎隆出版社/メーカー: 技術評論社発売
小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm
小説家になろうというWeb小説投稿サイトがあります。 いわゆるライトノベル的な作品が多いのですが、近年書籍化される作品が多く出ていて注目を集めています。 続々と「小説家になろう」から書籍化作品が登場！ - フラン☆Skin はてな支店 小説を読もう！ || 小説ランキング[累計]の上位100件を解析して、どんな作品が多いのか調べてみました。 解析手法 トピックモデルというものを用います。 これは文書が何のトピックを含むかを推定してくれるモデルで、他にもトピックの代表的な単語などもわかります。 Pythonでトピックモデルを使えるライブラリの一つであるgensim: Topic modelling for humansを使います。 gensim gensimはLDAやLSIなど複数のトピックモデルを実装しています。 今回はLDA(Latent Dirichlet Allocation)という
大量のテキストからランダムに少数の行を抽出したい - Reservoir Sampling - 唯物是真 @Scaled_Wurm
前に以下のような記事を書きましたが、大量のテキストではうまくいかなかったので新たに書きました ファイルからランダムにN行取り出す(shufコマンド) - 唯物是真 @Scaled_Wurm 上の記事ではテキストをランダムに\(k\)行取り出したい時"shuf -n k"コマンドでランダムにシャッフルした\(k\)行を取り出していました ところが非常に大きなテキストファイルに対して上のコマンドを実行すると、一度にデータを全部メモリに読み込み始めているのか、すごい勢いでメモリを消費していきました(sort -Rでも) そこでメモリをあまり使わずにランダムに\(k\)行取り出す方法について調べました まず基本的な非復元抽出のアルゴリズムは以下の記事の発展手法とか追記のあたりの話がわかりやすいと思います 非復元抽出の高速かつ実装が簡単な方法を考える - 睡眠不足？！ この記事の話も一度全部の要素を
単語の頻度からLDAまでの流れの簡単なイメージのメモ - 唯物是真 @Scaled_Wurm
トピックモデルのLDA(Latent Dirichlet Allocation)が難しいって話をよく聞きますけど，詳しい理論的な部分はともかくどういう流れに位置するものかってのはわかりやすいので簡単にメモ． 専門でないので，詳しくは参考文献を読んだほうがいいです． トピック 同じ文書内で使われる確率が高いような似た意味を持つ単語の集まり． 例えばスポーツトピックなら「野球」「サッカー」「ボール」が出やすい，など． トピックモデルは文書のトピックと，トピックに属する単語を推定する． 単語頻度からトピックモデルまでの流れのイメージ 文書をモデル化しよう→単語の頻度 同義語や多義語を捉えよう≒次元削減をしよう→LSA＝SVD→以下がトピックモデル 確率的にしよう→PLSI ベイズ的にしよう＝訓練データに登場しなかったものにも対応できる→LDA トピック数が自動で決まるようにしよう→ノンパラメトリ
python カテゴリーの記事一覧 - 唯物是真 @Scaled_Wurm
1月23日頃に出た pip 21.0 でついにPython 2系のサポートが切られてインストールできなくなりました https://pip.pypa.io/en/stable/news/ pip 21.0 Deprecations and Removalsstackoverflow.comhttps://bootstrap.pypa.io/2.7/get-pip.py などに古いバージ…
pythonの機械学習ライブラリscikit-learnの紹介 - 唯物是真 @Scaled_Wurm
scikit-learn(sklearn)の日本語の入門記事があんまりないなーと思って書きました。 どちらかっていうとよく使う機能の紹介的な感じです。 英語が読める方は公式のチュートリアルがおすすめです。 scikit-learnとは？ scikit-learnはオープンソースの機械学習ライブラリで、分類や回帰、クラスタリングなどの機能が実装されています。 また様々な評価尺度やクロスバリデーション、パラメータのグリッドサーチなどの痒いところに手が届く機能もあります。 インストール scikit-learnの他にもnumpyとかscipyとかが必要です。 Windows 64 bit版の人は以下のURLに色々なインストーラーがおいてあるのでおすすめ Python Extension Packages for Windows - Christoph Gohlke その他の人は以下のURLを見て
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
