BudouX: 読みやすい改行のための軽量な分かち書き器
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
36億パラメータの日本語言語モデルを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
超高精度で商用利用可能な純国産の日本語音声認識モデル「ReazonSpeech」を無償公開
株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 2023年1月18日 株式会社レアゾン・ホールディングス(本社：東京都新宿区、代表取締役：渡邉 真)は世界最高レベルの高精度日本語音声認識モデルおよび世界最大19,000時間の日本語音声コーパス※「ReazonSpeech」を公開いたしました。 ※音声コーパス: 音声データとテキストデータを発話単位で対応付けて集めたもの。音声認識モデルを作成する材料として使用され、その規模と品質が音声認識の精度を大きく左右する。 ※2「ReazonSpeech」を用いた文字起こしサービスをプロジェクトwebサイトにて実際に試すことができます。 プロジェクトwebサイト：https://
【重要】日本語形態素解析・自然言語理解API V2 リリースのお知らせ - Yahoo!デベロッパーネットワーク
いつもテキスト解析Web APIをご利用いただきありがとうございます。 テキスト解析Web APIにおける一部APIの後継バージョン（V2）リリースと仕様変更についてお知らせいたします。 ■ 対象API 日本語形態素解析 自然言語理解 ■ 変更箇所 リクエストURLが変わります GETリクエストは廃止となり、POSTリクエストのみになります リクエストパラメータが変わります（一部パラメータが廃止されます） レスポンス形式・フィールドが共に変更になります V2の仕様の詳細につきましては以下のページをご覧ください。 日本語形態素解析 自然言語理解 V1終了予定時期につきましては2022年11月末を予定しております。 ご迷惑をおかけしますが、なにとぞご了承ください。 今後ともテキスト解析Web APIをよろしくお願いいたします。
「しりとり」徹底分析！最強キャラ（文字）解説＆５つの「驚愕」＆最長の増殖しりとりへ挑戦 - Qiita
背景 しりとりで最強のキャラ（文字）は？ 「ル」が圧倒的に有名である。 しかし、実際に「ル」以外はダメなのだろうか？ 濁音、半濁音がありの状態では、 「ル」以外にどの文字が強いのか？ 「しりとり」を知らぬものは居ないが、 「しりとり」の深淵はまだ誰も知らない。 「しりとり」の深淵をのぞく時、「しりとり」もまたこちらをのぞいているのだ。 ～ Char Fuitter (1847～1912 オランダ) ～ しりとりを徹底分析すると、驚きの新事実が見えてきた。 というのが今回のテーマ。 決して、よく他サイトの「しりとり必勝法」でありがちな 「ル」で始まる単語一覧を作った、とかではない。 しりとり道を究めんとする修験者たちの集い、に挑戦 QuizKnockというYouTuber集団をご存知だろうか？ 伊沢拓司さんという、テレビでも有名な東大生クイズ王が発起人となったチームで、 日本超トップクラス
単語感情極性対応表
単語感情極性対応表 日本語および英語の単語とその感情極性の対応表を、 研究目的の利用に限り公開します。 感情極性とは、その語が一般的に良い印象を持つか（positive） 悪い印象を持つか（negative）を表した二値属性です。 例えば、「良い」、「美しい」などはpositiveな極性、 「悪い」、「汚い」などはnegativeな極性を持ちます。 感情極性値は、語彙ネットワークを利用して自動的に計算されたものです。 もともと二値属性ですが、-1から+1の実数値を割り当てました。 -1に近いほどnegative、+1に近いほどpositiveと考えられます。 リソースとして、日本語は「岩波国語辞書（岩波書店）」を、 英語はWordNet-1.7.1を使わせていただきました。 こちらからダウンロードしてください→[日本語] [英語] フォーマットは、各行が一単語に対応し、 見出し語:読み:品
Rubyで実装する、文章間類似度によるレコメンドエンジン - Qiita
"文章の類似度によるレコメンド"をRubyで実現しようとして、色々探しました。実現できそうなGemがいくつか見つかったので試してみたのですが、いずれも問題があって使用を断念しました。なので自分で実装します。 類似度計算のアルゴリズムとしては、TF-IDF Cos類似度推定法を用います。 参考：TF-IDF Cos類似度推定法 全体の流れ 文章を分かち書き 名詞と形容詞以外を除外 TFIDFの低い単語を除外 重複なし単語リストを作成 各文章をベクトル化 入力文章のベクトルとCos類似度の高いベクトルを持つ文章を探す 目的 具体的な作業目標としては、特定の文章 1件を入力値として与えた場合に、その文章と類似度が高い文章を数件レコメンドしてくれる装置を作成することです。以下のようなイメージでしょうか。 この文章(id = 1)に似ている文章をお勧めして下さい。 ↓ その文章(id = 1)と似て
Trigram という gem を作りました - milk1000cc
2 つの文字列の類似度を計算する Trigram という gem を作りました。 https://github.com/milk1000cc/trigram Trigram.compare 'he is genius', 'he is genius' # => 1 Trigram.compare 'he is genius', 'he is very genius' # => 0.5625 Trigram.compare 'he is genius', 'she is cute' # => 0.26666666666666666 Trigram.compare 'he is genius', 'I can fly' # => 0 文字列を 3 文字ずつに分割して、重複率を出す感じです。 以下の記事を読んでもらうと、よくわかると思います。 livedoor Techブログ : String:
日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
日本はbot後進国になる運命かもね。
なんか、facebookのbot設計ツールのwit.aiとか触ってるんですけど、これはもう、すごいよね。botの会話の設計とかできるんですけど、よくできてる。素晴らしい。会話のパターンを教え込んで自然な会話を構築するツールです。機械学習で会話を構築できる。これは未来だ。 ただ、こういう会話ができる人工知能のクラウドサービスっていろいろ出てきているんですけど、ことごとく英語なんですよね。昨今は、日本語よりも中国語のサポートのほうが早いことも多いし、日本語のサポートは遅くなるかもしれません。いろいろなやましい。正直、facebookのbot設計ツールのWit.aiを使っているけど、けっこういけてる。かなりいい。 音声認識と同じだ。英語は進化が早い。日本語は進化が遅い。音声認識も英語はめちゃくちゃ進みすぎて、かなりレベルが高い。日本語の音声認識は進んでるけれど、英語ほどではない。英語は電話の自動
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
相変わらず半端ないディープラーニング、感動した最新の研究結果を2つ
ディープラーニングが猛威を振るっています。私の周りでは昨年から多く聞かれるようになり、私も日経BPさんの連載で昨年5月にGoogleの買収したDeep Mind社について触れました。今年はさらに今までディープラーニングについて触れていなかったメディアでも触れられるようになってきましたね。例えば、イケダハヤトさんも先日。高知でも話題になっているのですね。 私事ですが、今度湯川鶴章さんのTheWaveという勉強会で、人工知能とビジネスについて一時間ほど登壇させていただくことになりました。有料セミナーということです。チャールズべバッジの解析機関についてはこのブログでも以前触れましたが、「機械が人間を置き換える」みたいな妄想は100年位は言われていることですね。「解析機関」「機械学習」「人工知能」「シンギュラリティー」など、呼び名はどんどん変わり、流行り廃りもありますが、最近ロボットの発達も相まっ
自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData
言語データの分析と応用のために自然言語処理と呼ばれる分野で長年研究が行われて来た。同分野が昨年から大きく沸き立っている。米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法「Word2Vec」が、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にしたのだ。 この手法によって得られるベクトル空間には、今まで定量的に捉えることの難しかった言葉の「意味」を極めて直接的に表現しているかのような性質が認められている。今年9月、当社がスポンサー参加した自然言語処理系の研究発表会「NLP若手の会 第9回シンポジウム」でも、多くの研究がWord2Vecに関連したテーマについて取り上げていた。今後、意味解析、文書分類、機械翻訳など様々な分野でWord2Vecの応用が期待されている。 「意味ベクトル」の驚異的な性質 Word2Vecは、その名前の表す通り、単語をベクトル化して表現する
プログラマのための文書推薦入門 (社内勉強会の発表資料) - y_uti のブログ
勤務先の社内勉強会で、機械学習を用いた文書推薦*1に関する基本的なことがらについて説明しました。その資料を公開します。 プログラマのための文書推薦入門 from y-uti 数学やコンピュータサイエンスを専門的に学んでいないエンジニアでも理解しやすいように、できるだけ数式を使わずに説明したつもりです。厳密性にはこだわっていないので、専門家からはあちこちツッコミを受ける内容かもしれません。 プログラマ向けということで、実際にコンピュータ上で動作を確認できるように、Wikipedia のデータを対象にして類似文書検索を行うスクリプトを作成しました。GitHub に置いてあります。 y-uti/document-recommendation · GitHub *1:推薦というより情報検索、類似文書検索という方が適切だったかもしれません。
一目見ただけで通じる表現方法 | カメリオ開発者ブログ
戦略コンサルタントとして仕事をしていたとき、大企業の戦略会議に向けてスライドを大量に製造していました。そこで叩きこまれたことは今でも大事にしており、特に紙にメッセージを落としこむ上で重要なこととして以下の２つのことを意識するようにしています。 一目見た時に、文字を読む前から正しい印象が伝わるような構成になっていること 言葉が「クリスタライズ」されていて、端的でありながら細かいニュアンスまで伝えること 重役会議など、そもそも時間のない人たちに話を聞いてもらい、誤解を生まないように議論を進めていくのは容易ではなく、特に第一印象でコケると聞く側が全くお留守になってしまうという状況を生み出します。 一方で、ストーリーというのはどんなに端的に表しても長くなっていくものです。結局のところ１行にまとめることができるお話だけで済むほど世界は退屈な所ではないからです。だからこそ第一印象で相手の興味をひくこと
ログリー株式会社 Logly, Ltd.：オンラインカレンダー
×ログインキャンセルログインログインメールアドレスパスワード言語 ログインしたままにするパスワードを忘れた アカウント凍結解除メールを再送
kaisehのブログ
先週月曜日の12月10日、僕が代表を務める株式会社ゴクロから、iPhone向けニュースアプリ『SmartNews』をリリースしました。公開直後から予想を超える反響があり、多くのブログやニュースサイトに取り上げていただきました。今もApp Storeの無料総合ランキング上位をキープしており、非常に良いスタートが切れたと思っています。 SmartNewsのレビューを読むと、アプリのUXを評価してくださっている方が多いと感じます。自分としてはもちろん、UXにも強いこだわりがあるのですが、UXと同じくらい、「どんな情報を配信するのか」という点にも思い入れがあるので、以下書きたいと思います。 「必要な情報を必要な人に届ける」ことを目指したCrowsnest 僕は、Webプログラミングを始めた2005年ごろから、「Webには膨大な情報が溢れているのに、その情報が必要なかたちで必要な人へ届いていない」と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Natural Language | Google Cloud
BLOGOS サービス終了のお知らせ
