表記揺れ検出ツール「テキストゆれないくん」 - inzkyk.xyz
その他のサンプル: Wikipedia:良質な記事, Wikipedia:長いページ 紹介 「テキストゆれないくん」は文章に含まれる表記揺れを検出するツールです。「コンピュータ」と「コンピューター」、あるいは「全て」と「すべて」といった同じ単語の別表記が使われていないかどうかをチェックできます。 「テキストゆれないくん」は元々このサイト (https://inzkyk.xyz/) の文章校正用に開発されました。機能が成熟してきたので UI を付けて公開します。 このページから手動で使う限り、「テキストゆれないくん」は商用/非商用を問わず自由に使って構いません。「テキストゆれないくん」は無保証で提供されます。 特徴 ウェブブラウザから使える このページをウェブブラウザで開いているなら、「テキストゆれないくん」は既に動いています。このページの最初にあるのは「テキストゆれないくん」を使うための完
inu-ai/dolly-japanese-gpt-1b · Hugging Face
更新履歴 2023年5月7日 「oasst1-89k-ja」データセットを追加して対話システムに対応しました。1024トークンまで会話履歴を保存できます。 前回のモデルで行った質疑応答の正答率は今回のモデルで下がりました。「日本で一番広い湖は？」が91%から89%、「世界で一番高い山は？」が84%から73%に下がりました。（対話は分けた方が良かったのか、それともoasst1の質が良くないとか） 2023年4月13日 「japanese-gpt-1b」モデルを「databricks-dolly-15k-ja」データセットでRLHF (人間のフィードバックからの強化学習)Instruction Tuningしました。 dolly-japanese-gpt-1b 1.3Bパラメータの日本語GPT-2モデルを使用した対話型のAIです。VRAM 7GB または RAM 7GB が必要で、問題なく動作
Google Colab で RWKV を試す - RWKVパッケージ版｜npaka
1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、長い文脈長、自由な埋め込みを実現しています。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」を選択。 (2) Googleドライブのマウント。 # Googleドライブのマウント from google.colab import drive drive.mount('/content/drive')(3) 作業フォルダへの移動。 # 作業フォルダへの移動 import os os.makedirs("/content/drive/My Drive/work", exist_ok=True) %cd '/content/drive/My Drive/
日本語Alpacaデータを用いてJapanese-Alpaca-LoRAを作ったので公開します【期間限定デモページあり】｜kun1emon
⚠️注意今回公開するのはLoRAを用いて作成したLLaMAの日本語化Adapterでありモデル自体ではありません。 LoRAをマージするベースのLLaMAは商用不可であり、今回公開するAdapterで日本語化したモデルも商用利用はできません。 OpneAIの利用規約で、OpenAIサービス、ChatGPTの出力結果を競合モデル開発用途に利用することはできません コンテンツ生成者はできません。 詳細は記事後半で述べていますが利用規約が適用されるのはコンテンツ生成者までです。 概要2022年の11月末にOpenAIからChatGPTが発表されてから、それに追随するようにGoogleからBard、MetaからLLaMAなど大規模言語モデル（LLM）が発表されました。さらにLLaMA 7Bを「text-davinci-003」を用いて「Self-Instruct」で作成された52Kのデータセット（
TypeScriptでGPT-3.5を使ってChatGPTクローンを作る1 - GPTで検索エージェント
OpenAI が提供している ChatGPT は非常に面白いですね。今年以後、GPTやChatGPT周りがさらに流行ると思います。 この記事は、TypeScriptでChatGPTクローンを作る第一弾です。長くなりすぎるため、この記事では、GPTを使った検索エージェントを実行するまでを取り上げます。 検索エージェントは「ぼっち・ざ・ろっくの作者は？」と尋ねたら検索エンジンとGPTを使って「はまじあき」という結果を生成できる技術です。 またこの記事や、続く記事でLangChainのプロンプトをあれこれ読み解いていこうと考えています。 筆者は機械学習の初心者であるため、間違ったことが書かれている可能性があります。間違いがあった場合は、ぜひご指摘いただけると幸いです。 なお、この記事では添削にChatGPTおよびGPT-3.5を使っています[1]。 どうやってTypeScriptでChatGPT
頻出単語表示、わずか9KBのAI日本語単語分割ライブラリ「TinySegmenter」をESモジュール化
自由入力された文章をデータ化する形態素解析ですが、巨大な辞書が必要になったり次々登場する単語に対応することなどなかなか大変そうなイメージでしたが、機械学習を使った、単語分割するコンパクトな実装「TinySegmenter」を発見。ブラウザやDenoでいい感じに使えるESモジュール版にしてみました。 「頻出単語表示 by TinySegmenter」 文章を入れると、頻出単語順に並び替えて表示する、サンプルアプリ。このアプリでは、3文字以上を単語としています。一日一創ブログをコピペしてみるといい感じに！ プログラムで組み込む方法は簡単、ブラウザやDenoで下記コードを入れるだけ。 import { TinySegmenter } from "https://code4fukui.github.io/TinySegmenter/TinySegmenter.js"; const segs = T
人間と見分けがつかないほど自然な文章を書けるAI「GPT-3」の改良版AI「InstructGPT」一般公開、詩も執筆可能
文章生成AI「GPT-3」はオンライン掲示板で人間とバレずに1週間会話できるほど違和感の少ない文章を生成できることで知られており、Microsoftのプラットフォームに採用されるなど大きな注目を集めています。一方でGPT-3には反イスラム教的なバイアスが存在することが指摘されるなど、生成される文章に偏りがあることも分かっています。そんなGPT-3の学習モデルを改良して偏りを抑えつつ文章生成精度も向上させた文章生成AI「InstructGPT」の一般提供が2022年1月27日に始まりました。 Aligning Language Models to Follow Instructions https://openai.com/blog/instruction-following/ OpenAI launches new GPT-3 model despite continued toxic t
Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer
最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー
GiNZA - Japanese NLP Library
Skip to the content. GiNZAの公開ページ What’s new! ja_ginza_bert_largeのβ版を公開中 cl-tohoku/bert-large-japanese-v2をベースモデルに採用 精度が大幅に向上（LAS=0.938, UAS=0.949, UPOS=0.983, ENE=0.708） CUDAに対応し8GB以上のRAMを搭載したGPU環境、または、M1・M2などApple Silicon環境の利用を推奨 GiNZA v5.1.3 spaCy v3.2 ~ v3.6に対応 GiNZA v5.1 spaCy v3.2とSudachi.rs(SudachiPy v0.6.2)に対応 バッチ解析処理をGPU環境で50〜60%・CPU環境で10〜40%高速化 ginzaコマンドの並列実行オプション(ginza -p {n_process}およびgi
「Yahoo!知恵袋」の不快な投稿、見えないところへ わずか1日で6億件を処理 ヤフー社内で何が起きたのか (1/2) - ITmedia NEWS
「Yahoo!知恵袋」の不快な投稿、見えないところへ わずか1日で6億件を処理 ヤフー社内で何が起きたのか（1/2 ページ） Q＆Aサービス「Yahoo!知恵袋」は長い間、不快な内容だが規約違反ではなく削除できない「グレーな投稿」に悩まされてきた。解決するための処理には約9カ月かかると思われていたが、わずか1日強で完了したという。何が起きたのか。 老舗Q＆Aサービス「Yahoo!知恵袋」は、長い間あるものに悩まされてきた。規約違反ではないため削除できないが、見る人を不快にさせる内容の“グレーな投稿”である。これまで社内でパトロールを行うなど対応してきたが、同サービスの投稿は約6億件にものぼり、全てのグレーな投稿を見つけ出すことは難しかった。スーパーコンピュータ「kukai」（クウカイ）が導入されるまでは。
Character level CNN [CNNで自然言語処理]
【DL輪読会】Hyena Hierarchy: Towards Larger Convolutional Language Models
![Character level CNN [CNNで自然言語処理]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1719e0fbc60acb8ab0919dea94580e406b368579/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdevsumi1-180730024610-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
【Azure Cognitive Services】画像認識でalt属性の説明文を自動生成してみた - backstage
引越して1ヶ月半、ようやく家にネットが通ったので何かコードを書こうと思いました。 Microsoft Azure Cognitive Servicesには便利そうなたくさんAPIがあります。 そのうちComputer Vision APIを使うと、画像を解析して説明文などを自動生成できます。 参考:過去の記事 s2terminal.hatenablog.com Computer Vision APIが吐き出す情報は英語か中国語です。 今回はさらにこれをTranslator Text APIで日本語化し、imgタグにして吐き出すプログラムを書いてみました。 例 Public Domain Picturesから適当にいくつか画像を取ってきて、説明文を付けてもらいました。 「木からぶら下がって緑のバナナの束」 <img alt="木からぶら下がって緑のバナナの束" src="http://www
「Gmail」、AIが返信を予測入力する「Smart Compose」を導入へ
Googleは年次開発者会議「Google I/O」で米国時間5月8日、同社のメールサービス「Gmail」に新機能「Smart Compose」を搭載すると発表した。この機能は、人工知能（AI）の支援によりユーザーが入力する文章を予測し、次に入力される可能性の高いフレーズを提案する。 Googleによると、この機能は同じフレーズを繰り返し入力する時間を節約し、文法ミスのリスクも減らすという。Googleは2017年にも、「Smart Reply」という似たような機能を導入した。Smart Replyでは、ユーザーが受信したメールの文脈をGmailが理解し、短い返信文の候補を提案する。 Smart Composeを搭載する新しいGmailは、今後数週間かけて段階的にユーザーに提供される予定だ。新しいGmailが利用できるようになったユーザーが同機能を試したい場合は、「設定」メニューの「全般」
年収に効く要素とは何か
Getting Started年収を表現するには様々なものから予想する必要があります。 新卒での就職や、中途での就職にはどのような方法で選ぶのでしょうか。 働き方などもあると思いますが、一つ重要な要素として年収（給与）の大きさがあるかと思います。 DoDaさまという転職サイトには大量の求人が記されており、この説明文から給与を予想することで、どのようなことが年収に影響をおよぼすのか、定量的に確認していきたいと思います アルゴリズムElasticNetを利用します。単語ごとに重みをつけるBag of Wordsを利用しようと思います 精度自体はさほどではないですが、解釈性がよいので、見通しが立てやすく、LassoとRidgeの双方の正則化項を利用します(ゴミみたいな情報が多いので正則化項は重要です) 予想精度自体はGBMやDeep Learningのほうが当然いいのですが、解釈を求めていきます
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
サブカルのためのword2vec | BLOG - DeNA Engineering
はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft, ポートフォリオ：http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか？ ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み
はてブの闇を可視化したい - 坂本から君へ
最近知ったのだが、グーグルが提供しているWebAPIに、自然言語処理に関する機能を持つものがあって、これがなかなか面白そうだなと感じている。 cloud.google.com この中でも特に、「感情分析」というやつが気になっていて、どういうものかというと、なんでもいいので適当なテキストをこのAPIに与えると、その内容を分析して、ネガティブ度・ポジティブ度を判定してくれるというものだ。 実際にこのページからデモが試せるようになっていて、試しに「チョコレートが好きすぎて死にそう」と入れてみると、ポジティブ度９０％となり、「チョコレート嫌いなので食べると死ぬ」だとネガティブ度２０％と出てくる。 まあこれはわかりやすい例なんだけど、とにかくこちらが与えた文章に含まれる感情的な要素を読み取って、それを数値化して返してくれるというものだ。 こういうAPIが昔から欲しかったんだけど、なかなか気軽に利用で
Pythonで単語分散表現のクラスタリング - Ahogrammer
最近の自然言語処理では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、加減乗除等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることがわかっています。 本記事では、単語分散表現のベクトルをクラスタリングし、意味が近い単語のクラスタを作ってみたいと思います。 これらのクラスタは、眺めて楽しむだけでなく、機械学習の素性として使うこともできます。 イメージ的には、以下のような感じで単語をクラスタにまとめます。 では、単語分散表現をクラスタリングして、単語のクラスタを作ってみましょう。 準備 まずは、作業用のディレクトリを作成しておきましょう。 また、必要に応じて Python の仮想環境も用意します。 以下のコマンドを実行することで、ディレクトリを用意します。 $ mkdir work
自然言語処理用語と解析器まとめ - Qiita
この記事では自然言語処理の入門者の方に向けに、自然言語処理の重要ワードと日本語用の主要な解析器をまとめました。 基本用語 自然言語（しぜんげんご、英: natural language）とは、人間によって日常の意思疎通のために用いられる、文化的背景を持って自然に発展してきた記号体系である。大別すると音声による話し言葉と文字や記号として書かれる書き言葉がある。 自然言語 - Wikipedia 我々が日常生活で使っている言語(話し言葉と書き言葉)のこと。自然言語以外の言語としては、例えばプログラミング言語や数式などが該当する。 自然言語処理（しぜんげんごしょり、英語: natural language processing、略称：NLP）は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野である。 自然言語処理 - Wikipedia 自然
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文章要約AI タンテキ
