GitHub - mikemccand/chromium-compact-language-detector: Automatically exported from code.google.com/p/chromium-compact-language-detector
Dick Sites (and others) at Google graciously provided a new version 2.0 of the compact language detector, here: https://code.google.com/p/cld2/ and I (lucene@mikemccandless.com) created the Python bindings and ported the C++ test case to test.py. This has been tested on Ubuntu 14.04, with both Python 2.7.6 and 3.4.0. Updated Nov 11 2014 to the latest CLD2 release, adding new bestEffort flag (to fo
ISO 639 - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "ISO 639" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2021年2月） ISO 639は、言語の名称の略号を規定した国際規格である。国際標準化機構が発行。 概説[編集] ISO 639は1998年より2023年まで、後述する複数の部に分かれていたが、ISO 639:2023によって旧ISO 639-1からISO 639-5までが再統合された。この間に各「部」（"Part"）に属したコードはそれぞれ同一規格内の「集合」（"Set"）に再編成された。 ISO 639:2023 Code for individual language
Rubyから「Twitter Streaming API」を利用して日本語のつぶやきを取得するスクリプト。：青心工機：So-netブログ
Rubyから「Twitter Streaming API」を利用して日本語のつぶやきを取得するスクリプト。 [tech] Rubyから「Twitter Streaming API」を利用して日本語を取得するスクリプトを作成しました。Twitter Streaming APIを利用すると、リアルタイムにPush型でつぶやきを取得することが可能です。ただし、許可の必要のないspritzerだとつぶやきの取り逃がしが発生します。 Twitter Streaming APIの詳細については以下のページを参照してください。 ・Twitter Streaming APIまた、日本語のつぶやきを選択するためにLingua::LanguageGuesserというPerlの言語判定モジュールを使用しました。Lingua::LanguageGuesserを利用すると、簡単に言語判定を行うことができます。 Li
Lingua::LanguageGuesser はいかにして生まれたのか
言選Webは東京大学情報基盤センター中川研究室で公開している 専門用語（キーワード）自動抽出サービスです。 このシステムは内部で、専門用語（キーワード）自動抽出Perlモジュール"TermExtract"を活用しています。 特に西欧言語版では英語だけではなく、フランス語、イタリア語などの用語抽出を行うことができます。 しかし、入力テキストがどの言語で書かれているか判定する仕組みをもたず、ユーザがその都度指定する必要がありました。 そこで、入力テキストがどの言語で書かれているか、自動判定する仕組みを新たに考えることになった次第です。 言語判定を行う方式を調べたところ、いくつかの手法があることがわかりました。 N-Gramモデルを用いたテキストの分類器を使う 各言語で頻出する単語や特徴的な単語があるかどうかで判定する アクセス先サイトのURLから国名を得る HTMLのMETAタグの記述を確認す
Perl5.8 の UNICODE 対応
perl は 5.8 から Unicode(utf-8) がサポートされました．5.6 でも Unicode に対応はしていましたが，ぜんぜん使い物にならず，ようやく 5.8 でまともに使えるようになったということです．ただせっかく使えるにもかか わらず perldoc などを見てもイマイチ使い方がわからないので，独自にまと めてみたのがこのページです． 誤った書き方や勘違いをしてい ることもあるので，形式的ですがこのページの内容は無保証です． 内容 文字コード変換 perlIO jperlからの移行 UTF-8フラグ 文字コード自動判別 Unicode Standard Unicode 正規化 その他 参考資料 文字コード変換 とりあえず perl5.8 で新しく組み込まれた機能を見るために，euc-jp から shift_jis への変換スクリプトをいくつか載せます． openを利用し
Introducing the AJAX Language API - Tools for Translation and Language Detection
Posted by Ben Lisbakken, Software Engineer The AJAX Search and Feeds team is happy to announce a new member to their API family -- the Language API. This new API boasts two functions, language translation and language detection - which cover 13 languages and 29 translation pairs. The best part? Using the API is simple. To begin, go ahead and add the script tag below to your page: <script type="tex
WhatLanguage: Ruby Library To Detect The Language Of A Text
Ruby Weekly is a weekly newsletter covering the latest Ruby and Rails news. WhatLanguage is a library by Peter Cooper (disclaimer: yes, that's me) that makes it quick and easy to determine what language a supplied text is written in. It's pretty accurate on anything from a short sentence up to several paragraphs in all of the languages supplied with the library (Dutch, English, Farsi, Russian, Fre
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Casinonic Australia – how to get much pleasure?
iir/langdetect at master · shuyo/iir
https://github.com/feedbackmine/language_detector/blob/master/lib/language_detector.rb