Budou - 機械学習を用いた日本語改行問題へのソリューション - ウェブ雑記
こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ
Welcome to Fabric! — Fabric documentation
Welcome to Fabric!¶ Fabric is a high level Python (2.7, 3.4+) library designed to execute shell commands remotely over SSH, yielding useful Python objects in return. It builds on top of Invoke (subprocess command execution and command-line features) and Paramiko (SSH protocol implementation), extending their APIs to complement one another and provide additional functionality. To find out what’s ne
FireLogger
Usage Django: After installation, enable middleware by adding its path to MIDDLEWARE_CLASSES: firepython.middleware.FirePythonDjango. WSGI: After installation, enable middleware firepython.middleware.FirePythonWSGI. Custom: Look for inspiration at middleware.py Real-world examples FirePython added to Bloog (blog engine for GAE) FirePython added to DryDrop (GAE hosting engine for GitHubbers && !Pyt
たまには$を書かない日を -No Dollar Sign Day-
PHPを日々書いている人へ。 たまにはPHPから離れて他の言語でプログラムを書いてみましょうという話です。 Webシステムのプログラムを書く手段としてPHPは実用的なのですが、他にも様々な言語が存在しているのは周知のとおりです。PHPにはPHPの、他の言語には他の言語の良いところ悪いところがあり、それらは普段使っている言語を離れて他の言語を知ることによって、初めて気付かされます。 また他の言語での実装方法を知ることにより、PHPで実装する際に別の角度からプログラムを見ることができ、さらに深い理解を得ることができます。 PHPを極めていくことはとても良いことなのですが、ある程度頭で描いた仕様が実装できるようになったのなら、是非他の言語を触ってみることをおすすめします。 では実際どの言語を触ってみるのが良いかという話になるのですが、普段PHPでWebシステムを開発しているなら、おすすめはPyt
Linux上で動くSkype用のbotを作る方法 - muddy brown thang
はじめに 以前、知人のやっているBeProudという会社を手伝ったのですが、BeProudでは、エンジニアの主要なコミュニケーション手段としてSkypeが使われていました。当時、趣味でたまたまSkypeのAPIについて調べていたので、悪戯っ気を出して、開発環境に即席でSkype APIを使ったbotを設置してみたところ、思いのほか好評を博し、いまやインフラと言っても過言ではない存在 *1 *2と化したようです。 まあそんな状況を眺めつつ、自宅のサーバにSkype botを設置して、お気に入りのSkypeチャットにもbotを加えてみたところ、これも結構好評だったので、興味ありそうな人向けに作成方法をまとめることにします。 Skype Public API Skype Public APIとは、Skypeを外部からコントロールするためのインターフェイスです。 Skype Public APIを
ウノウラボ Unoh Labs: 2009年版Python開発環境を整えよう
なでしこの作者じゃない方のsakatokuです。 以前書いた「Python開発環境を整えよう」という記事からだいぶ時間が経ってしまったので、内容を更新したいなぁと思っていたのですが、ようやくその機会が来ました。 virtualenvで開発環境をつくる 開発環境をつくるにあたって次のような問題が生じると思います。 root権限がないためにインストールしたいライブラリが使えない 新しいライブラリをインストールしたり、既存のライブラリをアップグレードすることで、既に動いているアプリケーションを壊したくない 複数のバージョンのPythonを使って開発、テストを行いたい 自作したPythonパッケージのインストールのテストを行いたい 以前の記事ではvirtual-pythonという解決策を紹介しましたが、現在ではvirtualenvというツールが広く使われるようになってきています。 virtuale
Tornado Web Server — Tornado 6.4 documentation
¶ Tornado is a Python web framework and asynchronous networking library, originally developed at FriendFeed. By using non-blocking network I/O, Tornado can scale to tens of thousands of open connections, making it ideal for long polling, WebSockets, and other applications that require a long-lived connection to each user. Quick links¶ Current version: 6.4 (download from PyPI, release notes) Source
コマンド1つで今すぐWebサーバを起動させるためのワンライナー(Ruby or Python) - 元RX-7乗りの適当な日々
複数人で作業をしていると、ふとWebサーバを使いたくなるときがあります。 簡単なファイルの受け渡し等、ローカルマシンですぐにWebサーバを起動させることができると結構便利です。 でも、Apacheみたいな専用のWebサーバをわざわざインストールするほどでもない・・・。 そんなときにローカルマシンにRubyかPythonがインストールされていれば、コマンド一発(ワンライナー)ですぐにWebサーバを起動させることができます！ Python編 Pythonでは、バージョン2.4以降で追加されたモジュールをスクリプトとして実行できる"-m"オプションを活用します。 $ python -m SimpleHTTPServer上記のような感じでコマンドを実行すると、デフォルトの8000番ポートで、実行時のカレントディレクトリをドキュメントルートとしたWebサーバが起動します。Pythonコマンド1つでW
twitter で 60 日以上発言が無い人を remove する - Djangoへの片思い日記
いつのまにやら Twitter に Follow 制限とか出来て 色々な人の発言が見たいのに Follow 追加出来なくなって コンピュータの癖に人間様の処理能力に制限かけるんじゃねーよと お怒りのみなさまこんにちは オープンソースとバザールモデルの御祭に参加出来なくてさみしい僕ですが、 みなさんいかがおすごしですか？ そんなこんなで Twitter にむかついても 「サポートに連絡しても制限解除するつもりはネーYO！！」 と言われてしまいますし、 かといってむかついたままなのも精神衛生上良くないので 60 日以上発言の無いユーザを remove するスクリプト書きますた。 pit と simplejson が入ってれば動くはずですｗｗｗｗ #!/usr/bin/env python # -*- coding: utf-8 -*- import sys, simplejson, urlli
Flickrから2000枚の品質の高いグラビアアイドル画像を取得してみた - FutureInsight.info
今、ちょっと作成を考えているWebサービスがあって、その練習のためにFlickrから画像を取得するスクリプトを書きました。RubyやPerlをお使いの皆様には申し訳ありませんがPythonです。PerlならPlaggerというのを使うのでしょうか？ちょっと使ったことないのでわかりませんが。 # -*- coding: utf-8; -*- import sys import urllib import time def search_photos( text ): args = { 'method' : 'flickr.photos.search', 'api_key' : 'ここに自分のAPI_KEYを入れてください！', 'per_page': '500', 'sort' : 'date-posted-desc', 'format' : 'json', 'nojsoncallback'
MyMiniCityにいい感じでリダイレクトしてくれるPython製リダイレクタ ― TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 みんなのブロックチェーンは，ブロックチェーンの入門書。暗号やハッシュなどを含め，基礎からブロックチェーンの仕組みを学べる書籍です。 いろんな方に「新しい技術を学ぶことの楽しさ」を感じ取ってくれたら著者として嬉しいです:-)。お金は技術的にどのように定義されるのか。 みんなのIoTは，モノのインターネットと呼ばれるIoTの入門書です。IoTの基本について，読者に寄り添って優しく解説しました。裏テーマは一番とっつきやすいPython入門書。サポートページはこちら みんなのPython 第四版は，より分かりやすい入門書を目指し，機械学習やデータサイエンスの章も追加して第三版を大幅に書き換えました。Python 3.6にも華
PHPで高速に携帯ゲートウェイのIPから携帯キャリアを判別する - グニャラくんのグニャグニャ備忘録@はてな
[追記]id:hetimaに指摘された、32bitアーキテクチャでの問題を修正。大感謝。 携帯電話からのWebアクセスゲートウェイのIPアドレスから、 携帯キャリアを判別したい場合がある。 通常は、id:tokuhiromによる Net::CIDR::MobileJP(WWW::MobileCarrierJP)を使うといいと思う。 DSAS開発者の部屋:携帯ゲートウェイのIPアドレス帯更新を効率的に確認する方法 http://d.hatena.ne.jp/tokuhirom/20071207/1196989588 YAMLが出力されるので、さまざまな環境で利用ができるよ！ 今回、PHPで携帯キャリアを判別したいと思ったんだけど、 PHPでYAMLを読んでその中身をすべて検査するなんてやだいやだい！ と沸き立つような強い衝動が。 というわけで、cidr-mobilejpというPythonスク
2007-12-26
http://twitter.com/ha_ma 今まではtwitterログの空気を読まずにランダムに生成していたのだけど、今度のは次のように変えた。 twitterのログから名詞を抽出 名詞で統計を取り、多いうちのいくつかから一つの単語を選ぶ その単語が入るように文章を作る。 具体的に言うと、単語から後ろに向かって続く文章を作る。(これはいままでのやり方) さらに単語から前に向かって続く文章を作る。(このとき必要なのが、逆転させたマルコフテーブル) Read more 偶然気がついたんですが、pdfファイルを携帯に向かってメールで送ると、DoCoMo側で一旦保存して、そのあとダウンロードさせてくれるんですね。 うちの携帯(D902is)だとpdfファイルが読めるんで、これはちょっと便利。 分かち書きした単語列から、上位n個を得るプログラム。 Read more
Webstemmer（クローラーツール）
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleではどこのどんな部分をPythonで書いていますか?
[skype api]skypeで電話をかけ指定のwavを再生して切断 : maaash.jp
Google Code Archive - Long-term storage for Google Code Project Hosting.
reddit – Trac
http://www.mindswap.org/~katz/pychinko/
2008-02-17