Pythonで文字列の類似度を120倍高速に計算するRapidFuzzを勧めたい - Qiita
はじめに みずほリサーチ&テクノロジーズ株式会社の@fujineです。 本記事では、文字列同士の類似度を計算する「レーベンシュタイン距離」をRapidFuzzで超高速に処理する方法を解説いたします。 この方法で実装すると、1万件の文字列同士の類似度計算において、 一般的なlevenshteinライブラリよりも120倍近く高速に計算することが可能です！ (RapidFuzzのGitHubリポジトリより引用) 本記事の概要 Pythonで一般的に用いられているlevenshteinライブラリは、比較対象データが多いと処理が長時間化し、実用的ではない RapidFuzzは上記ライブラリよりも約120倍高速であり、エンタープライズ規模のデータにも十分に適用可能 RapidFuzzはレーベンシュタイン距離以外のアルゴリズムや、並列処理、前処理など多様な機能を提供しているため、読者の皆さんには積極的に
ネットワーク越しでパイプしたり、あらゆるデバイス間でデータ転送したい！ - Qiita
何を解決したいか？ Mac, Windows, Linux, iPhoneやAndroidのスマホ・タブレットとかのデバイス間でデータの転送したいことがあります。 SlackとかLineとかSkypeとかAirDropとかあっても 送りたい相手と共通して使っているサービスを探す必要とか、 GUIのソフトウェアのインストールが必要とか、 AirDropだとApple系OSである必要 があるなどの転送の障壁があって、GUIが使えないデバイスに送りたいときなどは困ってしまいます。 すでにたくさんのファイル共有系のサービスがありますが、コマンドを使ったCUIベースにあまり親切な設計なものはあまりないと思います。 そこで、上記の問題を解決するために、以下のようなファイル転送の仕組みを作りました。 他デバイス間でデータ転送ができ、 別途ソフトウェアのインストール不要で、 パイプにとても親和性が高くエン
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
【技術メモ】python matplotlibで見栄えの良い色, グラフを作るTips - プロクラシスト
matplotlibでも割と綺麗な図を作ることができる。 図示の時に色々と使うテクニックを列挙。 どうぞ皆さんもお使いください 基本の体裁 関数で調整 plt()内の基本オプションで調整 透過度をあげる 漫画風にする 棒グラフに柄を載せる グラデーション用の色を作る グラデーションの作り方 色の参考にcmリスト 王道カラフル系 単色濃淡(っぽい) 温度系 季節の色たち グラデーションにならない系 その他 基本の体裁 まずこのグラフ import numpy as np import matplotlib.pyplot.plt x = np.arange(-np.pi,np.pi,np.pi/50) plt.axvspan(-0.5*np.pi,0.5*np.pi,color="red") plt.plot(x,np.sin(x)) plt.show() どぎついし、端が切れているし、イマイ
2017年のフロントエンドエンジニアならこの程度は知ってて当然だよな？ - Qiita
って海の向こうの人が言ってました。 私はjQueryさえあれば概ね生きていけるので全然知らないけど、 あなたは全部知ってるフロントエンドエンジニアなんだね。すごーい！ 以下はFront-End Developer Handbook 2017の第三部、Front-end Developer Toolsからリンクされているツールと、その簡単な紹介です。 ドキュメントツール Dash 150以上のライブラリのAPIリファレンスを検索できる。有料、Mac専用。 DevDocs 200以上のライブラリをオンラインで検索できる。無料。 Velocity 中身はDashと同じ。 有料、Windows専用。 Zeal 200以上略 無料のオフラインドキュメント。 SEOツール Keyword Tool 検索ワードを入れると関連キーワードを教えてくれる。 Google Webmasters Search C
形態素解析とは | 意味・用途・3種のツール・ライブラリを解説 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
Welcome to janome's documentation! (Japanese) — Janome v0.4 documentation (ja)
Welcome to janome's documentation! (Japanese)¶ English Janome とは¶ Janome (蛇の目; ◉) は，Pure Python で書かれた，辞書内包の形態素解析器です。 依存ライブラリなしで簡単にインストールでき，アプリケーションに組み込みやすいシンプルな API を備える形態素解析ライブラリを目指しています。 内包辞書として mecab-ipadic-2.7.0-20070801 を使っています。なお，v0.3.8+ では新元号「令和」がシステム辞書に追加されています。 ソースコードリポジトリ¶ https://github.com/mocobeta/janome 気に入ったらリポジトリにも★つけていってください！ :) API リファレンス¶ https://mocobeta.github.io/janome/api/ 動
Pythonプログラマー歓喜！JavaScriptの代わりにPythonが使える·Brython MOONGIFT
BrythonはJavaScriptの代わりにPythonを使ってプログラミングできるようにするライブラリです。 Webブラウザ標準で使えるプログラミング言語と言えばJavaScriptです。しかしそれだけでは満足できない、そんな方が開発したのがBrythonです。Webブラウザ上でPythonが書けてしまいます。 アナログ時計です。ちゃんと秒針が動いています。 コードは見事にPythonです。 Ajaxのデモ。 やはりちゃんとPythonコードです。 テーブルのソートデモ。 Importも使えて便利です。 左右にデータを移動させるデモ。 ボタンやコンポーネントをPythonの中で生成しています。 3Dを動くデモ。 エリア情報を含めてPythonで定義されています。 BrythonはHTMLコンテンツのハンドリングはもちろん、Ajax、ローカルストレージ、Canvasの操作もできます。HT
parson
About Parson is a lighweight json library written in C. Features Full JSON support Lightweight (only 2 files) Simple API Addressing json values with dot notation (similiar to C structs or objects in most OO languages, e.g. "objectA.objectB.value") C89 compatible Test suites Installation Run: git clone https://github.com/kgabis/parson.git and copy parson.h and parson.c to you source code tree. Run
OpenKinect
Notice: MediaWiki has been updated. Report any rough edges to marcan@marcan.st About OpenKinect is an open community of people interested in making use of the amazing Xbox Kinect hardware with our PCs and other devices. We are working on free, open source libraries that will enable the Kinect to be used with Windows, Linux, and Mac. The OpenKinect community consists of over 2000 members contributi
felicalib - FeliCa Library
What's new? 2008/6/1 : felicalib 0.4.2 リリース。FelicaDump.exe がクラッシュするバグを修正しました。 2008/4/20 : felicalib 0.4.1 リリース。MSVCR90.dll がない環境で動作しない問題を修正しました。 2008/4/19 : felicalib 0.4 リリース。x64 環境に対応しました。注意事項はこちら。 felicalibとは？ felicalib は、USB接続の FeliCa(フェリカ) リーダ PaSoRi(パソリ) を使って、FeliCa にアクセスするためのライブラリです。Suica, Edy, nanaco などの電子マネーへのアクセスなどに使用できます。 通常、PaSoRi を制御するためには SDK for FeliCa を使う必要がありますが、この SDK は10万円以上しますし
Lightbox 2
Overview Lightbox is a simple, unobtrusive script used to overlay images on the current page. It's a snap to setup and works on all modern browsers. What's New in Version 2 Image Sets: group related images and navigate through them with ease Visual Effects: fancy pants transitions Backwards Compatibility: yes! How to Use Part 1 - Setup Lightbox 2 uses the Prototype Framework and Scriptaculous Effe
音声合成ライブラリ製品の紹介 | 株式会社アクエスト
製品紹介 組み込み向け音声合成エンジン 小型・軽量にこだわった組み込みシステム向けの音声合成エンジンです。 昨今、サーバーで音声を合成するクラウド型のシステムが流行っていますが、 AquesTalkを使えばクラウドが使えないシステムでも音声合成できます。 AquesTalk 規則音声合成エンジン: テキスト情報（音声記号列）をリアルタイムに音声に変換します。 AquesTalk10/AquesTalk pico/AquesTalk2/AquesTalk1の4種類のエンジンがあります。 AqKanji2Koe 言語処理エンジン: 漢字を含むテキストを AquesTalk用の音声記号列に変換します。 AquesTalk-KM 小型IoT機器向けに言語処理と規則音声合成エンジンを組み合わせたものです。 その他の製品(アプリケーション) AquesTalkPlayer 3種類のAquesTalk音
「攻殻機動隊」「電脳コイル」の世界を実現！ - ARToolKitを使った拡張現実感プログラミング
仮想世界と現実世界を融合する技術は，拡張現実感（Augmented Reality：AR）と呼ばれています． おおげさな言い方をするとARは現実の世界に情報を「上書き」することができる技術です． アニメや映画にでてくる「電脳」を想像してみてください． 手のひらの上に3Dキャラクタを表示したり，現実の世界でデジタル・データに触れてみたり… そんな魔法のような技術です． ARToolKitは，ARアプリケーションの実装を手助けするC言語用のライブラリです． ARToolKitを使うと，紙に印刷されたパターンをカメラで読み取り， その上に3Dオブジェクトをオーバーレイ表示するアプリケーションが簡単に作れます． 本来は非常に敷居の高い技術なのですが，このライブラリは「難しい部分」の処理を 全てやってくれます． …というわけで今回はARToolKitを使って近未来の技術 「拡張現実感」 を体験してま
ＢＲＥＧＥＸＰ ＤＬＬ
BREGEXP DLLは、正規表現（Regular Expression)APIを提供します。 あなたのアプリケーションにPerl5の正規表現パワーが欲しい方是非どうぞ。 BASP21 DLLの正規表現メソッドは、このAPIを使っています。 テキスト文字だけでなくヌル文字をサポートしますのでバイナリもOK。 Visual Basicからも使えます。 2000/04/29 Update Down Load! Linux版ライブラリbregexpは こちら ダウンロードファイル一覧 bregexp.dll 本体 bregexp.h ヘッダファイル bregexp.lib Visual C++ 6.0 用LIBファイル breg50.lib Visual C++ 5.0 用LIBファイル 正規表現の説明を追加 BREGEXP構造体の説明とBregPoolクラスのサンプル追加 関数呼出
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IMI 情報共有基盤 コンポーネントツール
GitHub - google/guetzli: Perceptual JPEG encoder
エフェクト制作ツール 「Effekseer」 トップ
http://www.h2.dion.ne.jp/~eee/