［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる 編集部：荒井陽介 CEDEC開催初日の2023年8月23日，スクウェア・エニックスの森 友亮氏による講演「デジタルゲームのための自然言語処理（NLP） - ゲームの『ことば』のあそびかた」が行われた。 ChatGPTに代表される大規模言語モデルは，私たちが日常で使っているような言葉（自然言語）でコンピュータとやりとりすることを可能にしたが，それをゲームで活用すると，どんな機能が実現できるのか，注意するべき点は何なのか，といったことが語られた講演の模様をレポートしよう。 スクウェア・エニックス AI部 AIリサーチャー 森 友亮氏 森氏はまず，ゲームで自然言語が使えるようになったときに実現できそうな機能を提示した。 NPCとの会話では，「ここは●●の村です」といったような決まり切っ
Rails で構築しているアプリケーションで自然言語処理を行いたかったので、Ruby で自然言語処理を行えるライブラリの ruby-spacy の検証を行うために docker で環境構築を行うことにしました。 後述しますが、単なる gem ではなくある程度準備が必要なもので、はまった個所もいくつかあったので、備忘録として残します。 ruby-spacy とは ruby-spacy とは Yoichiro Hasebe さんによって開発されたライブラリで、Python 用の自然言語処理ライブラリである spaCy を Ruby で利用できるようにしたライブラリです。 spaCy とは、Python/Cython で構築された自然言語処理を行うためのライブラリで、訓練済みの統計モデルを使用することができます。 参考: https://spacy.io/ 参考: https://ja.wiki
進化を続ける生成AIの最前線、ChatGPT。既に多くの業界で注目される中、まだこの革命的な技術を手にしていないあなたへ。本連載では、具体的なコードを交えながら、ChatGPT APIの可能性とその活用法を徹底解説します。今回は、チャットBot以外の様々な利用目的で組み込むノウハウについて紹介します。 はじめに 前々回、前回の記事ではChatGPTの最もオーソドックスな使い方として、ユーザーとの会話を主軸とするチャットBotの開発に焦点を当てて解説してきました。しかしながら、ChatGPTの活用方法について未だイメージを掴めていない方々の中には、ChatGPTの活用方法で迷っているというよりも、チャットというインターフェースを取り入れるイメージが沸かないという方も少なくないのではないでしょうか。もしもこのケースに当てはまる場合は、「ChatGPTは会話をするもの」という先入観を捨て、システ
第3回は、Transformerモデルのアーキテクチャーやデコーダーの処理内容、RLHFを使ったお作法の訓練を中心に解説します。 はじめに 前回は、大規模言語モデル(LLC)の概要のついて説明しました。今回は、GPTシリーズなどの大規模言語モデルが採用している「Transformer」という自然言語処理について解説します。 RNNやLSTMなどの回帰型ニューラルネットワークが中心だったところに彗星のように現れたTransformerは、どのような仕組みでGPTのような言語モデルを生み出したのでしょうか。 回帰型ニューラルネットワーク 私が2017年にThink ITの連載「ビジネスに活用するためのAIを学ぶ」を書いていた頃は、自然言語処理(NLP)と言えば次の2つが主流でした。拙書『エンジニアなら知っておきたいAIのキホン』にも、この2つの技術解説をしています。 RNN(Recurrent
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo! JAPAN 研究所のエンジニアの田口・山下と、Yahoo!ニュースエンジニアの小林です。 さっそくですが、皆さんはYahoo!ニュースを利用している中で、「ココがポイント」というアイコンを見たことはありませんか？これは読者の理解をよりいっそう深めるための施策として、そのニュース記事を作成した編集者が作っているQ&A コーナーです。ニュースに関する情報をQ&A形式で整理して読者の理解を支援することを目指す一方で、編集者は編集時に大量の時間と労力がかかってしまうという課題を抱えています。 今回、私たちはこの課題を解決するためのAIシステムを開発し、編集者の業務効率化とニュース記事に対する読者の理解支援を目指し
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
はじめての自然言語処理 ELYZA 日本語 Llama 2 指示応答モデルのファインチューニングと vLLM での推論 | オブジェクトの広場
今回は Elyza さんの日本語 Llama 2 指示応答モデルをファインチューニングし、vLLM にデプロイして高速に推論してみます。70 億パラメータモデルならギリギリ Tesla T4 x 1 の構成でも float16 で動かせるかと思ったのですが、どうだったでしょうか。vLLM には OpenAI 互換の API インタフェースも備えているので、ついでに LangChain からも接続してみたり。 1. はじめに 今回は Elyza さんが公開されている大規模指示応答言語モデルである、ELYZA-japanese-Llama-2-7b-fast-instruct1 をファインチューニングして vLLM で推論してみます。 そんな訳で今回あまり書くことがなく、動かし方だけサラっと書いて「動きましたー。では良いお年を～。」で締めることにします。 しかし、時代感覚無視の隔月連載でネタを
自然言語処理の歴史を巡る冒険 - Qiita
N/S 高等学校でプログラミング講師をしている Kuwabara です。 本記事は、筑波NSミライラボ Advent Calendar 2023 の18日目の記事です。 この記事では、自然言語処理の歴史（〜2023年）について、登場人物二人の掛け合いとともに、振り返っていこうと思います。AIについてあまり知らない方にも、何とか雰囲気をつかんでいただけるように頑張って書いたので、ぜひ読んでいただけると幸いです。 はじめに シグマ「ふんふんふふーん」 オメガ「ハロー、シグマ。ごきげんだね」 シグマ「やあ、オメガ。今、ChatGPTで遊んでいたんだ」 オメガ「そうなんだね」 シグマ「すごいよなあ、ChatGPT。いったいどんな仕組みなんだろ。人間が裏で頑張って返事してくれているとしか思えないよ」 オメガ「確かにね！ あ、そうだ。せっかくだしさ、今日は一緒に自然言語処理について学んでみる？」 シグ
自然言語処理（NLP）の基礎と応用: Pythonで学ぶテキストデータの解析 - Python転職初心者向けエンジニアリングブログ
自然言語処理（NLP）は、コンピュータが人間の言語を理解し、処理するための分野です。PythonにはNLPを実現するための豊富なライブラリが存在し、本記事ではNLPの基礎から応用までをPythonコードを交えながら詳しく解説します。 1. NLPの基礎 1.1 テキストデータの前処理 NLPの最初のステップはテキストデータの前処理です。これにはテキストのクリーニング、トークン化、ストップワードの削除などが含まれます。 import re from nltk.corpus import stopwords from nltk.tokenize import word_tokenize # テキストデータのクリーニング def clean_text(text): text = re.sub(r"[^a-zA-Z]", " ", text) # アルファベット以外の文字をスペースに置換 text
[論文紹介コード付] 時系列Transformerを自然言語処理のお作法で鍛えたらゼロショットで未来の系列を予測することができました｜斑鳩イカリング@金融AI
[論文紹介コード付] 時系列Transformerを自然言語処理のお作法で鍛えたらゼロショットで未来の系列を予測することができました タイトル：Chronos: Learning the Language of Time Series 著者：Abdul Fatir Ansari1∗ , Lorenzo Stella1∗ , Caner Turkmen1 , Xiyuan Zhang2† , Pedro Mercado1 , Huibin Shen1 , Oleksandr Shchur1 , Syama Sundar Rangapuram1 , Sebastian Pineda Arango3‡ , Shubham Kapoor1 , Jasper Zschiegner, Danielle C. Maddix1 , Michael W. Mahoney4 , Kari Torkkola4
![[論文紹介コード付] 時系列Transformerを自然言語処理のお作法で鍛えたらゼロショットで未来の系列を予測することができました｜斑鳩イカリング@金融AI](https://cdn-ak-scissors.b.st-hatena.com/image/square/99f5b1f802e6dd73a8bc7679d3980946175f1673/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F134093072%2Frectangle_large_type_2_fc4108ba221781c487f18a860f76998a.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
複数言語における概念に対するネットワーク解析により、中核をなす4つの感情を解明<br>～自然言語処理にも活用できる重要な知見～｜東京理科大学
研究の背景 colexificationとは、ある単語が複数の概念を意味する現象を指します。例えば、スペイン語の「malo」という言葉は、「悪い」という意味で用いられる場合と、「深刻な」と言う意味で用いられる場合があります。このようなcolexificationに着目することで、私たちは、対象とする言語が概念をどのように捉えて表現しているかについて知ることができます。 言語についてのテキスト分析を行う場合、一般に、言語を処理できるような大規模コーパス（＊2）の収集が必要になります。しかし、colexificationを用いた分析は、既存の翻訳辞書などを利用するため、言葉同士の類似度データを収集する必要がなくなります。そのため、間接的な意味の類似度を解析できる言語学の新しい手法の一つになると考えられます。 従来の複数言語における感情概念に関する研究では、感情の関連性に基づいたcolexifi
はじめに 最近、毎日のように新しいLLM（Large Language Models）が登場しており、特に国内ベンダが出している日本語に特化したLLMは、それぞれが最も高い精度を有していると謳っています。しかし、LLMの精度を比較する際に使用される自然言語処理のタスクや代表的なデータセットについての詳細な知識がないため、その精度の実際の意味を完全に理解することが困難です。このため、主要なタスクとデータセットについて調査し整理しました。自然言語処理の専門家ではないため、記載内容に誤りがある可能性があります。誤りを指摘していただければ、随時修正いたします。 整理するのに参考にしたのは、下記の論文です。 Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond この論文に記載されている４つのタスク、「自然言語
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる
Rails × ruby-spacy 環境を Docker で構築して自然言語処理に入門する
チャットBotだけじゃない！ChatGPTを汎用自然言語処理エンジンとして利用する方法
大規模言語モデルの自然言語処理「Transformer」モデルの仕組み
検索システムと自然言語処理AIを合わせ、編集作業を効率化する（Yahoo!ニュースのAI事例）
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場
LLM（大規模自然言語処理）のタスクとデータセット - Qiita