生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と - 渋谷駅前で働くデータサイエンティストのブログ
かなり前から「ChatGPTに学術論文を（英語で）書かせると"delve"のような普段使わないような単語が多く使われるのでバレやすい」という話がSNS以下各所で頻繁に噂されていたんですが*1、最近になってこの件について面白いpreprintが発表されていたのを知りました。それがこちらです。 もう読んで字の如しで「ChatGPTが登場して以来学術論文に使われる単語のレパートリーが劇的に変わってしまった」というのを、実際に具体的なデータに基づいて示した論文です。割と短めの読みやすい論文であることと、先述したようにSNSでは頻繁に噂されていた推測を明確化したということもあり、折角ですのでこのブログで簡単に紹介してみようと思います。 Preprintあげたのでご報告！📣 ChatGPTが使いがちな英単語ってありますよね。「delve」「realm」「utilize」あたり。 （限界助教先生の記事
意味のないアウトプットをやめる７つの方法 - paiza times
＜この記事の著者＞ ばんか（bamka） - Tech Team Journal Web制作会社の会社員として働きつつ、個人でブログ／メディアライターとしても活動するパラレルワーカー。 ChatGPT等AIを公私で駆使し、ITツール・ガジェットを用いて人々の生活をより豊かにするための活用術を提供するブログも運営。 Webサイトや本で学んだ知識を、自分のものにして活用できるレベルまで引き上げるには、アウトプットが重要だと考えて、積極的にアウトプットするようにしています。 ただ、アウトプットの仕方も大事。知った知識をただSNSにコピペで貼り付けるようなやり方は、良質なアウトプットとは言えないと考えています。 そこで今回は、私が実践している「良質なアウトプット」に転換するために気を付けているポイントについてお話しします。 【目次】 １：第三者に見てもらう ２：自分の言葉で語る ３：図にまとめる
【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita
Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし
「英語習得への近道が開かれた」AI革命の到来…ChatGPTで英語学習を10倍効率化する方法 | ゴールドオンライン
英語習得に近道はないと言われていましたが、AIの進化とChatGPTの登場により、近道が開かれました。なぜChatGPTを利用すると、効率よく英語学習を進めることができるようになるのでしょうか。ChatGPTの活用方法について、著書『AI英語革命 -ChatGPTで英語学習を10倍効率化-』（リチェンジ）より、谷口恵子氏が解説します。 ChatGPTが人々に与えた衝撃 「AI革命」の始まり―それは、2022年11月30日のChatGPT登場でした。 それまでのAIにはできなかった自然言語での対話。そして、その返答の賢さに、使ってみた全ての人が驚愕しました。そして、映画などで見たAIと共生する未来が、近い将来、現実になることを予感するようになりました。 特にこれまで「AI」というものに関心がなかった人の間でも、仕事や教育現場において、無視できないレベルの変化が起きそうだ、と感じる人が多く出て
Appleが選んだ今年のAIアプリ5選！ ChatGPTもすごいけど…#TrendBuzz | ライフハッカー・ジャパン
4TBが9千円台だって。バッファローの静音HDDは在庫があるうちに回収しておこう【Amazonセール】
【まとめ】大学が公開している有益な資料 - Qiita
はじめに 今回は各大学が公開している、エンジニア向けの資料をまとめていきます。 東京大学 ChatGPT活用法 ChatGPTの基礎的な内容から実際にどのように活用すべきかが解説されている。 Pythonプログラミング入門 Pythonについて環境構築から始まり、基本文法、応用的な使い方まで分かりやすく解説されている。 AWS入門 ハンズオン形式でAWSの学習ができる。 AI・データサイエンスの活用事例 データサイエンスやAIの活用事例を学べる。 人工知能・深層学習を学ぶためのロードマップ AIやデータサイエンスの具体的な活用事例が学べる。 京都大学 プログラミング演習 Python 統計学 統計学やデータ分析、検定を学べる。 慶應大学 ChatGPTの活用資料 ChatGPTを用いた開発方法が学べる。 東京工業大学 機械学習 筑波大学 データベース データベースの基本から正規化や設計とい
【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
最良の学習方法「人に教える」にChatGPTを活用する - Qiita
はじめに 学習におけるChatGPTの活用方法といえば、「ChatGPTから教えてもらう」ということが多いと思います。 実際、私もそうです。 本記事は逆に 「ChatGPTに教える」 という使い方もありではないかという内容になります。 目次 何でChatGPTに教えるの？ 「人に教える」ことで記憶への定着率が高くなると感じた経験 実際にChatGPTに教えてみる さいごに 何でChatGPTに教えるの？ 「学習にはアウトプットが重要」 ということを耳にしたことがある人は多いかと思います。 主なアウトプットには、次のような手法があります。 Qiitaなどに技術記事を書く 勉強会で発表する 人に教える 自分のこれまでの経験を振り返ってみてもアウトプットをしていると記憶への定着率が高いです。 特に「人に教える」という行為は、記憶への定着率が高まると感じています。 ただ、双方向のやりとりが必要とな
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ
ChatGPTを使った激ヤバサービスまとめ17選！生産性が爆上がりするサービス一覧 | WEEL
みなさんの会社はChatGPT賛成派ですか？それとも反対派？ 実はChatGPT導入済みの各企業でアンケートをとったところ、7割の従業員がそのメリットを肯定しています。 とはいえ業務に素のChatGPTを取り入れる場合、セキュリティや信頼性の面で抵抗がありますよね。 そこで当記事ではITのプロが手掛ける、ChatGPTを使ったサービスを17個紹介します。 最後まで目を通していただくと、ChatGPT導入までの心理的なハードルが下がるはずです。ぜひ最後までお読みください。 なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。 →無料相談で話を聞いてみる ChatGPTが組み込まれているサービス12個 まずはデフォルトでChatGPTが組み込まれているサービスを12個紹介します。用途別にカスタマイズされているので、なんでもでき過ぎるChatGPT
ほしいアプリを入力すると、ChatGPTが爆速で作るサービス「GPTApp」
ほしいWebアプリの説明を書くだけで、ChatGPTが作って即Web公開してくれるサービス「GPTApp」を、ゲームアプリの企画・開発を手掛けるミリオンダウト代表のTakayuki Fukudaさんが公開した。 アプリのイメージを考えてフォームにテキストで入力すると、ChatGPT（GPT-3.5）がコードを出力してWebに実装する。開発にかかるのは約30秒と“爆速”。Web単体で動く簡単なアプリのみ開発できる。 うまくいけばきちんと動くが、失敗することも多い。アプリ完成画面で「ChatGPTの返信を見る」をクリックすると、ChatGPTが書いたコードも表示される。 GETAppはFukudaさんの個人開発だが、経営するミリオンダウトでは、ChatGPTなどのAIを使ったアプリを開発しているという。 関連記事 LINEでChatGPTと会話「AIチャットくん」100万ユーザー・2000万メ
「プロンプトエンジニアリング」の“教科書”、日本語版が登場 無償でAIの上手な使い方を解説
資料を和訳したのは、HRテック事業などを手掛けるギブリー（東京都渋谷区）の取締役を務める新田章太さん。翻訳作業にもGPT-4を活用したとし「日本語翻訳をよりナチュラルにできるよう、プロンプティングしながら作業したので、実質の翻訳作業はたった1日で終わった」と説明している。 関連記事 東大松尾教授が答える、ChatGPTとは何なのか？ 一問一答 国内におけるAIの権威である東京大学の松尾豊教授は、ChatGPTをどう見ているのか？ ChatGPTは、一時的なトレンドか技術的転換点か、AI研究者から見てChatGPTは？ 日本もLLMを作ったほうがいいのか？ といった問に答えた GPT-4にGPT-4の発表を要約させてみた 人間よりも良い記事になるか？ 超長文をChatGPTに読ませる方法も 米OpenAIの大規模言語モデル「GPT-4」。言語処理性能がずば抜けているというが、ではGPT-4は
【GPT】プロンプトエンジニアリング手法まとめ - Qiita
はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが、LLMではモデルが大き過ぎてコストが洒落になりません。 そのような事情からプロンプト側を工夫することで、回答に直接影響を与えるという手法が発達しています。 ファインチューニング モデルを新たな学習データで追加学習させ、モデルのパラメータを更新し、精度を高め
ChatGPTにマインドマップを作ってもらったら理解速度が爆速になる件｜Abiru
こんにちは。 ECコンサル会社を経営している、あびるです。 今回はChatGPTでマインドマップを作る方法をご紹介します。 この方法を使えば、長くて難しくて読みたくない文章も、情報が小分けされた状態で視覚的に分かりやすくなります。 プロンプト例太宰治の走れメロスのストーリーについてマインドマップにまとめて、PlantUMLで出力してください。出力結果 @startmindmap !define AWESOME mindmapBackgroundColor White * 走れメロス ** 主要登場人物 *** メロス **** 無実の罪で逮捕 **** 王に誓いを立てる **** 結婚式へ向かう **** 友人セリヌンティウスに会う **** 王に戻る *** セリヌンティウス **** メロスに協力 **** 王のもとで身代わりに *** 王 **** 独裁者 **** メロスを逮捕 *
今、ChatGPTの使い方を学ぶのは、効率が悪い？｜ふろむだ@分裂勘違い君劇場
今、ChatGPTの使い方を学ぶのって、効率悪くないですか？ 今のChatGPTが抱えている問題を回避するためのハックをいろいろ覚えても、そんな問題の大半は、今後のバージョンアップでどんどん克服されていっちゃうんじゃないですか？ 初期バージョンの抱えていた問題点の多くが一通り改善した後にChatGPTを使い始めた方が、無駄足を踏まずに、本当に必要なノウハウだけを、効率よく学習できるのでは？ また、今、ChatGPTの使い方のWeb記事を読んで学習しても、そこに書かれているノウハウって玉石混交じゃないですか？ １年後、２年後にその記事を読み返したとき、そこに書かれていることの大半は、重要度の低いことだったり、ピント外れだったり、意味のないことだったり、間違いだったりすることが判明することになったりしないでしょうか？ だって、それらを書いているのは、まだChatGPTの経験が浅く、理解度の低い
LLM chatbotが人類にもたらすのは、絶望なのか希望なのか - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。 既に色々コメントが出ているけど、我々人類が「知的労働」だと思っていることの大半が実は「過去実績をなぞって適当にその場に合わせて組み立てているだけ」なんじゃないかと訝っているので、そういう「自称知的労働」は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日 昨年の年末振り返り記事でも話題にしたChatGPT（そして後続の各種LLM chatbot）ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
慶應義塾大学 機械学習基礎02 コーディング
GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた｜スタビジ
Ko Harada 🇺🇸🇯🇵 on Twitter: "Chat GPTについて東大 松尾研究所のこの資料がすごくわかりやすい。 後半には 「医療に特化した学習をさせれば、医療専用のChat GPTが作れる」 「ほとんど全てのホワイトカラーに、２～３年以内に影響が出る」 という恐ろしいことがさらっと書かれています。 #ChatGPT https://t.co/0xqp40cVwg"
