大規模言語モデルに追加学習で専門知識を教える試み (2023, arXiv:2312.03360) | ドクセル
大規模言語モデルに 追加学習で専門知識を教える試み Teaching Specific Scientific Knowledge into Large Language Models through Additional Training Kan Hatakeyama • arXiv:2312.03360, 2023/12/7 • https://github.com/KanHatakeyama/Additional-training-Llama2 • https://huggingface.co/datasets/kanhatakeyama/nature-family-CCpapers 1 https://arxiv.org/abs/2312.03360 https://github.com/KanHatakeyama/Additional-training-Llama2 https:/
GPT-4の回答を向上させる「プロンプト26の原則」、220以上の生成タスクが実行可能なマルチモーダルモデル「Unified-IO 2」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。2024年初っ端の第27回目は、「礼儀は不要」「モデルに質問させる」「良い解答には報酬」など、大規模言語モデルの返答が向上する「プロンプト26の原則」をはじめとする5つの論文をお届けします。 生成AI論文ピックアップ複数の自律AIエージェントが過去の経験を共有して未知のタスクを処理するモデル「Experiential Co-Learning」 画像から動く3Dシーンを生成する新モデル「DreamGaussian4D」 大規模言語モデルの返答が向上する「プロンプト26の原則」が公開。「礼儀は不要」「モデルに質問させる」「良い解答には報酬」など 220以上の生成タスクが実
【論文紹介】大規模言語モデルにおけるニューロンの挙動について｜はまち
大規模言語モデルにおける人工ニューロンの挙動をテーマにした以下論文が面白かったので、ざっくり目についたキーワードを抜き出してみました。 理解不足など多分にあると思いますので、興味を持たれた方は、ぜひ原文をご確認ください。 概要LLMの内部構造を理解するため、パラメータの異なる125Mから66BまでのMeta社のOPTファミリーのモデル内部の人工ニューロンの挙動を分析した キーワード活性化しないニューロン（Dead Neurons）ネットワークの入力部付近の層では、多くの活性化しない「デッドニューロン」が存在しており、特に66B（660億）モデルでは、一部の層で70%以上のニューロンが活性化していない。 ネットワークの前半はデッドニューロンの割合が高く、後半はほとんどのニューロンが「活性化」している。 著者らは、この層間での疎さの違いは、初期層では「概念と対応するニューロン」の比率が後半の層
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
言葉という支配者
Home › 記事 › 言葉という支配者 言葉という支配者 By James_f on 22nd June 2023 • ( 0 ) ウインストン・チャーチルが日本の真珠湾奇襲の直後、初めてホワイトハウスを訪れたとき、 酒や食べ物の趣味や、チャーチルの毎日の日課についての報告と一緒に、 情報部が持って来た資料の1ページに目をとめたフランクリン・ルーズベルトは、 これは1ヶ月の酒量の間違いではないか？ と何度か確かめたそうでした。 そこに書かれていたのは、毎日欠かさない、一日に飲む酒の量として、ボトル3本のワインと4、5杯から一本のブランディ、そのうえ旅行中は、ウイスキー1本を空にする、という「お酒を飲むことは悪い事」というピューリタンの認識からは、ほんとうには離れられないアメリカの大統領には、到底、信じられない量で、若い時には、決まって12本のシャンパンを最低限飲むことを日課にしていた、こ
ChatGPTなどの大規模言語モデルはどんな理論で成立したのか？重要論文24個まとめ
2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(
ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ
Metaの大規模言語モデル「LLaMA」がChatGPTを再現できる可能性があるとさまざまなチャットAI用言語モデルのベンチマーク測定で判明
近年は機械学習分野の研究がめまぐるしい勢いで進んでおり、数十億を超えるパラメーターを持つ大規模言語モデルが相次いで発表されています。イギリス・エディンバラ大学の大規模言語モデル研究者であるヤオ・フー氏らの研究チームが、独自のベンチマークに基づいて複数の大規模言語モデルのパフォーマンスを比較した結果をGitHubで公開しています。 GitHub - FranxYao/chain-of-thought-hub: Benchmarking large language models' complex reasoning ability with chain-of-thought prompting https://github.com/FranxYao/chain-of-thought-hub 研究チームによると、「パラメーターが10B未満の言語モデルでも、OpenAIのGPT-3.5と同等のパ
ChatGPTで騒いでる場合じゃない。 AI研究者が｢FlexGen｣をゲームチェンジャーと呼ぶ理由
ChatGPTに世間が沸いている。 長年この分野を見てきた者としては｢ちょっと沸きすぎ｣のようにも見える。深層学習を使った会話ロボットは、何もChatGPTが初めてというわけではない。 ところが、世界中が驚かざるを得ないゲームチェンジャーが現れた。 その名も｢FlexGen｣と言う。2月15日に公開された。 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。 つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場したことになる。 このインパクトがどれほどすごいのかを解説してみよう。 目次： ｢Google翻訳｣と｢大規模言語モデル｣は技術的にかなり近い 会話AIの正体とは何か ChatGP
How language shapes the way we think | Lera Boroditsky | TED
There are about 7,000 languages spoken around the world -- and they all have different sounds, vocabularies and structures. But do they shape the way we think? Cognitive scientist Lera Boroditsky shares examples of language -- from an Aboriginal community in Australia that uses cardinal directions instead of left and right to the multiple words for blue in Russian -- that suggest the answer is a r
弥生時代の日本語で会話 [from Pre-Proto-Japonic to Modern Japanese] -YouTube-
各時代の特徴を強調するために不自然な箇所が多々あります。動画では「飛鳥時代」「奈良時代」を目安として書いておきましたが、奈良時代の日常的な木簡では既に上代特殊仮名遣いが失われているので、雅語は既に言文不一致の状態にあったと見るべきでしょうから、実際には少し前の時代に対応しています。アクセントなど所々良く分からないので誤魔化しています。また最近の研究ではアクセント2.4類と2.5類の区別が意味に基づいた二次的な群化である可能性が再浮上しているようなので弥生時代後期の時点でどこまで弁別されていたかは不詳ですし、古くから指摘されているように語末 -m に由来するものも混在しているのでしょう。いわゆる母音連続のうち上昇二重母音をここでは一律で *Vr にしておきましたが、実際には流音に限らず様々な子音を挟んで *VCV からの縮約が起きているかと思われ、例えば用言語幹において **uma ＞ *o
![弥生時代の日本語で会話 [from Pre-Proto-Japonic to Modern Japanese] -YouTube-](https://cdn-ak-scissors.b.st-hatena.com/image/square/35772d5ff3398d70bf369d4f497c9af1e84a0f2f/height=288;version=1;width=512/https%3A%2F%2Fi.ytimg.com%2Fvi%2FlrBuftKQQQY%2Fhqdefault.jpg)
｢自閉症は津軽弁を話さない｣この謎に挑んだ心理学者が痛感したこと【2020年BEST5】 それは｢タメ語と丁寧語｣に似ている
「ことばと心の謎」に迫る研究のきっかけ ある日、町の乳幼児健診から帰ってきた心理士の妻が、ビールを飲みながら「自閉症の子どもって津軽弁しゃべんねっきゃ（話さないよねぇ）」と言ってきました。 障害児心理を研究する私は、「それは自閉症（自閉スペクトラム症：ASD）の独特の話し方のせいだよ」と初めは静かに説明してやりました。しかし妻は、話し方とかではなく方言を話さないのだと譲りません。 やり取りするうちに喧嘩になり2、3日は口を利いてくれませんでした。こちらも長年、その道の研究職であるつもりでしたから、たとえ妻でもこんな意見は聞き捨てならず引くに引けません。 「じゃあ、ちゃんと調べてやる」 これが思いがけずその後十数年にもわたる「ことばと心の謎」に迫る研究のきっかけだったのです。 私は軽い気持ちで、知り合いの特別支援学校の先生方にこの話をしてみました。するとなんと妻の発言を支持する意見ばかりが寄
日本語の原郷は「中国東北部の農耕民」 国際研究チームが発表（毎日新聞） - Yahoo!ニュース
日本語の元となる言語を最初に話したのは、約9000年前に中国東北地方の西遼河（せいりょうが）流域に住んでいたキビ・アワ栽培の農耕民だったと、ドイツなどの国際研究チームが発表した。10日（日本時間11日）の英科学誌ネイチャーに掲載された。 【写真】歴史見つめ…100歳 日本語（琉球語を含む）、韓国語、モンゴル語、ツングース語、トルコ語などユーラシア大陸に広範に広がるトランスユーラシア語の起源と拡散はアジア先史学で大きな論争になっている。今回の発表は、その起源を解明するとともに、この言語の拡散を農耕が担っていたとする画期的新説として注目される。 研究チームはドイツのマックス・プランク人類史科学研究所を中心に、日本、中国、韓国、ロシア、米国などの言語学者、考古学者、人類学（遺伝学）者で構成。98言語の農業に関連した語彙（ごい）や古人骨のDNA解析、考古学のデータベースという各学問分野の膨大な資料
「子供たちに夢を与える」「感動をありがとう」みたいな言葉が陳腐化して、最後は死んでしまう現象について｜野本響子@文筆家＆編集者・在マレーシア
久々に日本のYahooニュースを見たら、コメントがオリンピックへの批判でいっぱいでした。スポーツ全般に対する印象まで悪化していて驚きました。 そこでは、 「復興五輪」 「感動を与える」 「コロナに打ち勝った証」 「子供に夢を」 「絆を取り戻す」みたいな政治家やマスコミの言葉が批判されてました。 今日は、日本語において「言葉をそのまま受け取れない」問題についてです。以下有料部分で書きます。 言葉をそのまま信じられない現象が起きている私は普段から、日本語でも英語でも、言葉をそのまま受け取るようにしています。遠回しの批判だろうがお世辞だろうが、「言葉の裏」を気にしません。 ところが話者の意図が、「言外」にあると、ズレが起こります。
発音の違いによって声優が大体何歳くらいかが分かってしまう『若者と年寄りではもはや話してる言語が違う』
すきえんてぃあ@書け @cicada3301_kig 着ぐるみ生命体／トランスヒューマニスト／コピミズム／言語／謎エスニック料理／リキュール／主なるねこかわの御名において にゃーん twitter.com/search?q=%E6%9… すきえんてぃあ@書け @cicada3301_kig 歳をとった女性声優が若作りして出す声、独特のダミ声のような老化の特徴もあるんだけど、それ以上に言語の変化として音素の世代差が隠しきれていない。若者はマジでガ行が全然鼻に抜けないし、サ行が過剰に無声化して独特のシャリシャリした響きが入る。年寄り声優にはそれがない。言語が違う。 2021-07-13 18:44:33
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FY2022 AIPシンポジウム 特別講演
テレビ番組のなかの日本
「子供を1歳くらいから英語漬けにした結果、小学校中学年になっても全然勉強についていけない子を作り出した親がいる」から始まるさまざまな議論
訳せない言葉、と３月２５日の日記｜林伸次
日本語の『ん』の発音の違いの例文に『とんかつ専門店よ』が用意されるの面白い「それぞれ発音違うんか…」
