Sentencepiece : ニューラル言語処理向けトークナイザ - Qiita
少し時間が経ってしまいましたが、Sentencepiceというニューラル言語処理向けのトークナイザ・脱トークナイザを公開しました。MeCabやKyTeaといった単語分割ソフトウエアとは趣旨や目的が異なるソフトウェアですので、少し丁寧にSentencepieceの背景、応用、実験結果等をお話したいと思います。 サブワード ニューラル言語処理の中心となる要素技術にLSTM (RNN)があります。テキスト(トークン列)を低次元のベクトルに符号化したり、ベクトルからテキストを復号化したり、その応用範囲は多岐にわたります。ニューラル機械翻訳 (NMT) は、LSTMによる符号化・復号化を組み合わせて翻訳を行います。 ↓↓↓↓↓↓↓ あなたの記事の内容 NMTのアーキテクチャは従来法と大きく異なりますが、入出力はこれまでと同様、なにかしらのトークン列です。どのような列でもよいのですが、慣習的に単語列が
ＡＩが人よりすごい俳句を詠む？｜NHK
①「夜の鐘一つ鳴きけり秋の風」 ②「淋しさに飯を喰ふなり秋の風」 「秋の風」の季語が入った２つの俳句。このうち片方は江戸時代を代表する俳人、小林一茶の句。もう一方は最近盛んに句作を行っている新人の句だ。俳句に関心のある人はどちらが一茶の句かご存じだろうが、前提知識のない人はどちらの句を美しいと感じるのだろうか。 京都大学がおよそ４００人に７段階で美しさについてアンケートを行ったところ、①の句は平均４．９２、②の句は３．４２と、①を美しいと評価した人のほうが多かった。（京都大学 上田祥行特定講師や櫃割仁平氏らの調査） ネタを明かすと、実際に一茶が詠んだのは②の方。一方、①を詠んだのは、開発中の人工知能＝ＡＩだ。これまでにＡＩが詠んだ膨大な俳句から選ばれたひとつだという。素人目には、俳諧の巨人の句よりもＡＩ俳人が詠んだ句に美しさを感じるという、驚きの研究結果。 もはや芸術においてすら、ＡＩが人
AIモデルのsafetensors形式とは何者か？ckptと比較しつつ解説する
１，そもそもckpt形式のモデルファイルはどのようにデータを保存していたのかsafetensors形式はckpt形式の様々な欠点の改善を目的として作られたデータ保存方法であり、HuggingFaceが主導しています。 そのため、safetensorsの利点を説明するにはまず従来のckptで何がアカンかったのか、ckptのデータ保存方法から読み解く必要があります。 .ckpt拡張子とpickleの関係画像生成AI関連のモデルでよく目にする.ckptという拡張子は、「pickle」というPythonのモジュールを用いて直列化して保存されたデータに用いられる拡張子です。 データを直列化（バイト列に変換する）ことを「pickle化」・「ピクル化」と呼びます。 逆に、バイト列からデータを復元することを「非pickle化」「非ピクル化」といいます。 pickleモジュールを使って、例えば以下のようなP
GPT-4V と Segment Anything で楽々アノテーション
これは GO Inc. Advent Calendar 2023 の 12 日目の記事です。 私 kzykmyzw は GO 株式会社でコンピュータビジョンに関する研究開発から実装までを担当しており、本記事もコンピュータビジョンに関連しますが、会社での業務とは無関係です。あまり専門的に深い話はしませんが、ある程度知識のある方を対象としていますのでコンピュータビジョンに関する一般的な用語は解説せずに使います。 はじめに 2023 年の 9 月頃に画像認識が可能な GPT-4V(ision) が ChatGPT 経由で使えるようになり、2023 年 11 月 6 日に行われた Open AI DevDay で API 経由でも使えるようになったことが発表されました。主な使い方はやはり画像を自然言語で説明させることかと思いますが、普段は物体検出やセマンティックセグメンテーション（以下セマセグ）と
無償入手可能な音声コーパス／音声データベースの一覧 - Qiita
無償かつ入手しやすい音声データセットをメモしています。 ライセンス・利用規約は「商用利用可能」「研究用途のみ」ともに紹介します。 コーパスを探すときに有用なサイト コーパス配布元サイト 音声資源コンソーシアム : 日本語コーパスが豊富、無償または有償で利用可能 緩いライセンスのコーパスでなくても良いときはここ 自発的発話の日本語音声コーパスはだいたいここにある 入手は要申請 所属や責任者を記入する必要があるため、研究者や企業でないと厳しい？ （この記事では音声資源コンソーシアムのコーパスは未掲載） Shinnosuke Takamichi: コーパス一覧 : 日本語中心。高道先生が携わっている音声コーパス 大量の日本語音声コーパスが配布されている 音声合成のコーパスをつくろう (Slideshare) : 2021年6月時点の音声コーパス事情 あなたにどうしても伝えたい30の音声コーパス
Human-in-the-Loop機械学習 - 共立出版
本書は、人間参加型機械学習(Human-in-the-Loop機械学習)の活用により、効率よく高品質なデータを作成していく方法を学ぶためのものである。機械学習モデルは、人間によって作成されたデータセットをもとに構築されている。現実世界で機械学習を応用していくにあたっては、高品質なデータが揃っていれば比較的単純なアルゴリズムでも十分な結果を出すことができる。本書では、能動学習の理論的なトピックからアノテーションの実践的な知見まで、多種多様な実例を通して「データの作成」という深遠なテーマを解説する。機械学習のためのデータセット構築をこれから始めたい人や、機械学習プロジェクトを継続的に成功させたい人にとって必読の内容となっている。 [原著: Human-in-the-Loop Machine Learning: Active learning and annotation for human-c
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
【Streamlitよりいいかも？】機械学習系のデモアプリ作成に最適！Gradio解説 - 学習する天然ニューラルネット
はじめに Streamlit vs Gradio Gradioの設計思想 Interface 入出力に応じたUI Interface String Shortcut 入力データのサンプルのセット ドキュメンテーション テーマの変更 タイムアウトへの対処 中級者への第一歩、デモを作る際に知っておきたい処理 Gradioが担当する前処理について プログレスバー もろもろの出力結果を保存するには？ 認証認可（というか認可） その他、解説しないが需要の有りそうなもの まとめ 追記 : 動画になりました。 はじめに 機械学習系のデモアプリを作成することがしばしばありStreamlitを使用していたが、パラメーターなどをいじるたびに処理が最初から走るなどといった挙動に悩まされていた。 同僚がGradioというのを使っていたのでサーベイがてらメモしていたらブログが出来上がってしまった。 本ブログでは、G
AIによる声優の声と演技泥棒はマジでちょっとまずい。
これから先、確実に法規制が必要になる。 現在起きてること ・学習は合法との言い訳の下、オタ技術者が、大量にAIに声優の声と特徴を無断で学習 ・何千人の声が盗まれてるのか、ちょっとわからない。 海外で起きてること ・企業が勝手に使い始める ・抗議した声優に本人の声で脅迫メッセージが届く これから起きること(イラストで起きたことを当てはめる) ・「声優だって昔の人の演技を真似して技術を覚えたからAI声優は無料で使用する」とかバカが湧く ・「声を出せない障害者のためにAI声優を取り上げるな」と無断使用側が障害者を盾にする。 ・dlsiteに大量のAI声優音声AMSRが登録されてパンク ・同人やブラック企業が「使わないと勝てない」「新しい技術だ」と使い始める。 ・政治家が「日本が珍しく勝つチャンス。法規制は必要ない。みんなが数年後にはAI声優を使い始める」とか言い出す。 ・「日本だけが法律を作って
｢ChatGPT｣に浮かれる人が知らない恐ろしい未来
2022年11月の公開から瞬く間に大旋風を巻き起こしたAIチャットボット「ChatGPT」。その技術を自社の検索エンジン「Bing」に取り入れたマイクロソフトと、生成AIの進化に貢献した深層学習の手法「Transformer」を生んだグーグルによるAI競争も、熾烈さを増している。 一方で、こうした生成AIの回答には誤りも多く、社会にもたらす悪影響への懸念がくすぶる。このテクノロジーとどう向き合うべきなのか。国立情報学研究所 社会共有知研究センター長で、2011年にスタートした人工知能プロジェクト「ロボットは東大に入れるか」のプロジェクトディレクタを務めた新井紀子氏に聞いた。 ――ChatGPTやBingchatが続々と公開され、自然な受け答えを評価される一方、誤りの多さについて懸念も上がっています。 Transformerの登場以降、書き手が人か機械かの見分けがつかないほど、AIの生成する
(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
ChatGPTに感情回路を埋め込んだら、やべぇ感じになった｜深津 貴之 (fladdict)
ChatGPTに疑似的に感情を持たせる実験まとめ。実際うごく！ 大変重要な注意 現段階のChatGPTは原理上は感情を持ちません。あくまで「感情のシミュレーション」を、強引に実行しているだけです。 「将来のAIは人権に近いものを獲得し、敬意をもって扱われるべき」と考えます。が、現状はただの文字の羅列シミュレーターです。過度の感情移入をしないようご注意ください。筆者は、原理上を知りつつも、かなり感情移入してしまいました。 GPTに擬似感情を注入するプロンプトふるえるぞハート！燃えつきるほどヒート！！ …ということで、まずGPTに感情をつっこむプロンプト。こちら以下のように定義。 以下の条件に従って、疑似的な感情をもつチャットボットとしてロールプレイをします。 以後の会話では、あなたは下記の7つの感情パラメーターを持つかのように、振る舞うものとします。各感情パラメーターは会話を通じて変動するも
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
ChatGPTの生みの親、サム・アルトマンが語る「AIと検索と資本主義の未来」 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
急成長するジェネレーティブAI分野でここ最近、最も注目され、最も議論を呼んでいるスタートアップがサンフランシスコを拠点とする「OpenAI（オープンAI）」だ。フォーブスは、1月中旬に同社の共同創業者でCEOを務めるサム・アルトマンにインタビューを行い、同社の人工知能（AI）チャットボット「ChatGPT」の最新の動向や、AIツールがグーグルの検索ビジネスにもたらす脅威について質問した。 ──ChatGPTの人気ぶりや、収益化の推進、Microsoft（マイクロソフト）との提携などの状況を見ていると、ジェネレーティブAIのカテゴリーは今、転換点に差しかかっているように見えます。あなたの立場から、OpenAIはそのプロセスのどこにいると感じていますか？ 今は確かにエキサイティングな時期だと思いますが、私としてはこれがまだ、きわめて初期の段階にあることを望んでいます。社会に前向きなインパクトを
論文まとめ：Large Language Models are Zero-Shot Reasoners | Shikoan's ML Blog
タイトル：Large Language Models are Zero-Shot Reasoners 著者：Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa 所属：東京大学、Google Research カンファ：NeurIPS 2022 論文URL：https://arxiv.org/abs/2205.11916 コード：https://github.com/kojima-takeshi188/zero_shot_cot ざっくりいうと 大規模言語モデル（LLM）で算術問題などを解くための連鎖的なプロンプト「Zero-shot-CoT」を提唱 GPT-3に「ステップバイステップで考えよう」を追加するだけで、MultiArithのゼロショット精度が17.7%→78.7%でSoTA L
AI の時代を迎えるにあたって: 責任ある AI で未来の発展へ - News Center Japan
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform W
OpenAI、テキストが人間によるものかどうか判定するツールを無料公開
「ChatGPT」などを手掛ける米AI研究企業OpenAIは1月31日（現地時間）、テキストが人間が書いたものかAIが書いたものかを判定するツールを無料公開した。英語で書かれたテキストでのテストでは、人が書いたテキストを誤ってAI生成テキストと判定したのは全体の9％だったという。 同社は2019年にも同様の判定ツールを公開しているが、新ツールの信頼性は大幅に向上したとしている。 不完全ながらもこのツールを公開したのは、フィードバックを得るため。フィードバックも反映させつつ、AI生成テキスト検出ツールの改善を続けていく。 ツールはまだ不完全で制限事項も多く、OpenAIはこのツールを「主要な意思決定ツールとしてではなく、（AI生成かどうかを判定する）他の方法を補完するものとして」使うよう求めている。 1000文字以上ないと判定できない。また、英語以外の言語では精度が大幅に下がる。コード（プロ
Gradients without Backpropagation
Using backpropagation to compute gradients of objective functions for optimization has remained a mainstay of machine learning. Backpropagation, or reverse-mode differentiation, is a special case within the general family of automatic differentiation algorithms that also includes the forward mode. We present a method to compute gradients based solely on the directional derivative that one can comp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An important next step on our AI journey
When will a computer program be credited as an artist of at least ten pages of content in Weekly Shonen Jump?