タグ

研究とpromptに関するsh19910711のブックマーク (4)

  • 【AI】ChatGPTとAPIを使って網羅的なPubMed検索できるGPT「PubMed Searcher」 | EARLの医学ノート

    ■論文検索が可能なAIには,Consensus,ElicitPerplexityなどがあり便利ではあるが,当然ながら完璧ではなく(漏れがでる),手動でのPubMed検索が一番網羅的で精度が高いことは変わらない.そこでPubMedというデータベースとその検索機能をChatGPTがダイレクトに操作してくれれば手動の精度を維持したまま網羅的検索を簡便に行える上に,その検索結果のファイル化,論文抽出,解説までChatGPTのユーザーインターフェース上で行うことができる. ■ChatGPTにはBingを用いたウェブアクセス機能が備わっているが,ChatGPTで論文検索を行う上では特定の論文検索エンジンを使用することをプロンプトで指示した方がよい.しかしながら,ChatGPTPubMedのサイトをうまく読み込めず,以下のようなトラブルが発生しやすい.・PubMed検索結果を読み込めずハルシネーショ

    【AI】ChatGPTとAPIを使って網羅的なPubMed検索できるGPT「PubMed Searcher」 | EARLの医学ノート
    sh19910711
    sh19910711 2024/05/21
    "手動でのPubMed検索が一番網羅的で精度が高いことは変わらない / PMIDをもとに,各論文のより詳しい内容をESummaryやEFetchで取得 / NCBIにアカウントを作成した上で,自分だけのAPIキーを入手する"
  • Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog

    2.3k{icon} {views} 複数のLLM(GPT/Claude3)とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題(TSP)が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成(RAG)したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIEmbedding APIを叩く Embeddingに対して巡回セールスマン問題(TSP)を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした

    Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
    sh19910711
    sh19910711 2024/04/28
    "GPT-4-TurboのJSONモードを使い、検索ワードを生成 + 「Arxiv検索で」と明示させればそれっぽい / Embeddingに対してTSPを解いてソート + テーマ内での近しい内容同士が数珠つなぎで並べ替えた上で与えられたほうが良い"
  • AIを使った論文の読み方

    近年の AI の進歩により、論文の読み方も大きく変化を遂げました。AI を活用することで以前と比べてはるかに簡単かつ早く論文が読めるようになりました。 以前私の個人ブログにて、論文の読み方やまとめ方を紹介しました。その時には要約ツールは用いていませんでしたが、最近はすっかり要約ツールを多用するようになりました。 稿では、最新の AI を使った論文の読み方を丁寧に紹介します。 基的な流れ 稿でおすすめするのは ChatGPT か Claude で要約を生成して論文の概要をつかみ、Readable で精読するという方法です。ChatGPT や Claude では単に全体の要約を生成するだけでなく、肝となる箇所を特定したり理解するためにも用います。具体的な手順については後の項で解説します。 私が特定のテーマについて調査を行う場合には、テーマに関係する論文を被引用数の多いものを中心に 10

    sh19910711
    sh19910711 2024/04/17
    "精読論文の選定の基準は、要約を読んで面白いと思ったかどうか / 10 万文字の論文を 1000 文字に要約すると 100 倍早く読める + 9 万 9 千文字分のディテールにこそ価値のある知見が組み込まれていたりする"
  • LoRAに関する論文をなんJ風に解説してまとめてみた|TokiToki

    はじめに論文をなんJ風に解説してもらうと驚くほどわかりやすくなるようなので、LoRAに関する論文(LoRA改良版など)で試してみました。今回は、Claude 3とChatGPT4を使ってまとめと比較表を作成します。 こちらは論文を読むのが苦手な方に向けた記事です。ClaudeおよびChatGPTは間違いを犯すことがありますので、正確な情報は参照論文を確認してください。 なんJ風のプロンプトは、以下の記事を参考にさせていただきました。 使用したAIなんJ風の解説:Claude3 Ops 解説を要約:ChatGPT4 要約から比較表作成:Claude3 Ops、ChatGPT4 LoRA(Low-Rank Adaptation)とはLoRAは、事前学習済みモデルの重みを固定し、訓練可能なランク分解行列を注入する手法です。これにより、大規模言語モデルのファインチューニングコストを大幅に削減します

    LoRAに関する論文をなんJ風に解説してまとめてみた|TokiToki
    sh19910711
    sh19910711 2024/03/29
    "論文をなんJ風に解説してもらうと驚くほどわかりやすくなる / 要約用のプロンプトに小学生と入れるとイメージはなんとなくわかるような説明になるが、あまりにも抽象的になってしまう"
  • 1