RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
プログラミングの終焉と生存戦略｜k1ito
この文章は何： 近年の生成AIブームにより、革命的なまでにプログラミングという仕事の形は変わることが予想され、実際、今までにない速度で世界が効率化され様々なサービスがローンチされていく中「使う側」としても「作る側」としても「IT業界(特にSaaS業界など)での生存」は難しくなっているように感じます。正解を知っていたらとっくに僕は大儲けをしているわけですが、当然わかるはずもなく生存戦略に苦しむだけの中での寝言です。 まとめと結論めいたもの：AI技術の発展により「プログラミング」と呼ばれる「人間の仕事を機械に引き継ぐ行為」のほとんどはゼロコストで行えるようになり、少なくとも今ほどの価値や競争優位の源泉とはならないだろう。今やるべきは、AIを自社の競争優位の源泉とするべく、まるで人材投資のようにAIへの引き継ぎ書を書くことと、AIの研修制度を作ることかもしれない。 プログラミングという仕事の終焉
ＡＩが人よりすごい俳句を詠む？｜NHK
①「夜の鐘一つ鳴きけり秋の風」 ②「淋しさに飯を喰ふなり秋の風」 「秋の風」の季語が入った２つの俳句。このうち片方は江戸時代を代表する俳人、小林一茶の句。もう一方は最近盛んに句作を行っている新人の句だ。俳句に関心のある人はどちらが一茶の句かご存じだろうが、前提知識のない人はどちらの句を美しいと感じるのだろうか。 京都大学がおよそ４００人に７段階で美しさについてアンケートを行ったところ、①の句は平均４．９２、②の句は３．４２と、①を美しいと評価した人のほうが多かった。（京都大学 上田祥行特定講師や櫃割仁平氏らの調査） ネタを明かすと、実際に一茶が詠んだのは②の方。一方、①を詠んだのは、開発中の人工知能＝ＡＩだ。これまでにＡＩが詠んだ膨大な俳句から選ばれたひとつだという。素人目には、俳諧の巨人の句よりもＡＩ俳人が詠んだ句に美しさを感じるという、驚きの研究結果。 もはや芸術においてすら、ＡＩが人
穴水高校における自販機破壊案件に関してのメモ ～読売新聞を含めた記事の変遷～ - 電脳塵芥
nou-yunyun.hatenablog.com 上記内容の続き。 1月20日に読売の報道があり、それ以降も他社を含めた複数の報道が存在。この記事では読売を中心としたそれらの報道の流れを見てゆく。 1月6日 まず、6日朝に読売新聞が「石川・穴水の避難所、４０～５０代の集団が自販機破壊し金銭盗む…目撃者「避難所がパニックに」」という記事を掲載する。この記事の大きな特徴（印象付け）としては下記の部分が挙げられる。 同日午後８時頃、校庭に金沢ナンバーの車が見え、４０～５０歳代の男女４、５人の集団が校内に入ってきた。集団は「緊急だから」とだけ話し、女の指示を受けた複数の男がチェーンソーとみられる道具を使って自動販売機を破壊し、飲料水や金銭を盗んだという。 「金沢ナンバー」とあり県内ではあるものの地元以外の人間でありえそうなことであり、震災後数日後に流布した地元以外の不審車両デマを想起させる表現で
高畑勲の恐るべき原作改変
宮崎駿は原作からかけ離れたアニメを作ることで有名だが、高畑勲はもっと恐ろしい。 高畑勲は原作と別の存在としてアニメを作るのではなく、原作を再解釈し、異なる意味を与えるアニメを作る。だから高畑勲アニメを視聴してから原作を読むと、「アニメとは別モノだね」ではなく、「アニメはおおむね原作通りだったね」という感想を抱きつつ、知らず知らずのうちにアニメの解釈で原作を読んでしまう。 高畑アニメは、原作そのものを改変してしまうアニメ。 火垂るの墓『火垂るの墓』の原作は野坂昭如という作家の自伝的な小説で、それ故にこのアニメは３層構造の原作になっている。 野坂昭如の実体験→野坂昭如の小説→アニメ版 実はこの「実体験→小説」の時点で大きな改変が入っている。 それは主人公の清太が死ぬ、という設定変更。 清太=作者なのに、死んだはずの清太が戦後に小説を書いて直木賞を受賞し、歌手デビューしたり、国会議員になったり、
死ぬほど嫌でした｜佐藤秀峰
日本テレビ系ドラマ「セクシー田中さん」の原作者で漫画家の芦原妃名子さんが亡くなられました。 とても悲しいです。 漫画を原作とした映像化のトラブルということで、僕の名前を思い出す人も多かったようです。 日テレ「セクシー田中さん」だけではない…意外と多いテレビ局と原作者のトラブル、「海猿」は未だ二次使用できず、「のだめ」で揉めたTBS 再放送もない「海猿」 「テレビ業界で最も騒がれた原作者とのトラブルは、連ドラだけでなく4度も映画化された佐藤秀峰氏の漫画『海猿』です。 最初にドラマ化したのはNHKで、国分太一の主演で02年に放送された『海猿～うみざる』（BS hi）でした。 その後、04年にフジが伊藤英明の主演で映画『海猿 ウミザル』を公開し、翌年に放送された連ドラ『海猿 UMIZARU EVOLUTION』は平均視聴率13・2％を記録。 映画2作目『LIMIT OF LOVE 海猿』は興収7
セクシー田中事件で脚本家たちが視聴者ガン無視でドヤ顔討論しちゃう、ものすごくアレな削除動画
緊急対談：原作者と脚本家はどう共存できるのか編
光合成にまつわる１００年以上の「謎」、水から酸素ができる瞬間の観察に成功…岡山大など研究チーム
【読売新聞】 植物の光合成のうち解明が最も難しかった、水から酸素ができる反応の一端を捉えることに成功したと、岡山大などの研究チームが発表した。Ｘ線自由電子レーザー施設「 ＳＡＣＬＡ （ サクラ ） 」（兵庫県佐用町）の強力なＸ線をご
AIモデルのsafetensors形式とは何者か？ckptと比較しつつ解説する
１，そもそもckpt形式のモデルファイルはどのようにデータを保存していたのかsafetensors形式はckpt形式の様々な欠点の改善を目的として作られたデータ保存方法であり、HuggingFaceが主導しています。 そのため、safetensorsの利点を説明するにはまず従来のckptで何がアカンかったのか、ckptのデータ保存方法から読み解く必要があります。 .ckpt拡張子とpickleの関係画像生成AI関連のモデルでよく目にする.ckptという拡張子は、「pickle」というPythonのモジュールを用いて直列化して保存されたデータに用いられる拡張子です。 データを直列化（バイト列に変換する）ことを「pickle化」・「ピクル化」と呼びます。 逆に、バイト列からデータを復元することを「非pickle化」「非ピクル化」といいます。 pickleモジュールを使って、例えば以下のようなP
（Style-)Bert-VITS2の仕組み・構造と、バージョンによる違いについて
宣伝 Style-Bert-VITS2のチュートリアル解説動画を作りました discordサーバー「AI声づくり研究会」によく出没しています 注意 (2024-02-05) この記事は、Bert-VITS2の日本語特化版が出る以前のものについて解説しています。最新の日本語特化版については をご参照ください。 概要 テキストから感情豊かで自然な抑揚の音声を生成できるBert-VITS2には、新しいバージョンでも 2.1 2.2 2.3（最終バージョン） の3バージョンがあります。 また、バージョン2.1をベースにし、感情スタイル指定をちゃんと動くようにしようとして私がリリースしたStyle-Bert-VITS2もあります： それぞれのバージョンによってモデル構造が異なっており、どちらが良いとは一概には言えません。つまり2.3が2.1より必ずしも優れているとは言えない（逆もまた然り）です。 こ
LlamaIndexモジュールガイドを試してみる: Loading Data
SimpleDirectoryReader ローカルファイルを配置したディレクトリからデータを読み込むReader。 様々なファイル形式に対応している こんな感じで色々用意してみた。 テキストファイル from pathlib import Path import requests # Wikipediaからのデータ読み込み wiki_titles = ["イクイノックス", "ドウデュース"] for title in wiki_titles: response = requests.get( "https://ja.wikipedia.org/w/api.php", params={ "action": "query", "format": "json", "titles": title, "prop": "extracts", # 'exintro': True, "explaint
New embedding models and API updates
We are releasing new models, reducing prices for GPT-3.5 Turbo, and introducing new ways for developers to manage API keys and understand API usage. The new models include: Two new embedding modelsAn updated GPT-4 Turbo preview model An updated GPT-3.5 Turbo modelAn updated text moderation modelBy default, data sent to the OpenAI API will not be used to train or improve OpenAI models. We are intro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【公式】新築分譲ホテルコンドミニアム｜ラヴィーニュ白馬 | リストデベロップメント
Apple Vision Pro買ってきた日記 1日目:「予測された未来」がついに目の前に!【西田宗千佳のRandomTracking】
大規模言語モデル入門 / LLM introduction (SES2023)
X（旧 Twitter）上における当社に対する不適切な投稿について - タマホーム
Kubernetesでの運用のTipsまとめ
Issue: <CSVLoader can't load> · Issue #15192 · langchain-ai/langchain
AttributeError: module 'lib' has no attribute 'X509_V_FLAG_CB_ISSUER_CHECK' - Qiita
Windows環境でTF2.5.0用にCUDA11.0Update1を入れたら `dlerror: cusolver64_11.dll not found` になる
