タグ

LLMと数学に関するwktk_msumのブックマーク (3)

  • Google DeepMind、LLM採用AIシステム「FunSearch」で数学的難問を解決

    Google傘下のGoogle DeepMindは12月14日(現地時間)、LLM(大規模言語モデル)とLLMによる幻覚(ハルシネーション)を防止する“評価器”を組み合わせた新たなシステム「FunSearch」を発表した。長年解決不可能な数学問題とされてきた「Cap set問題」を解き、実社会でも役立つ「ビンパッキング問題」のための効果的なアルゴリズムを発見したという。 FunSearch(funは「楽しい」ではなく、「関数」に由来する)は、GoogleのLLM「PaLM 2」をコンピュータコードで微調整したバージョンの「Codey」を使っている。LLMは不正確な情報を幻覚させることが分かっているため、LLMの出力から不正確だったり無意味だったりする部分を拒否する“評価器”アルゴリズムを組み合わせているという。 FunSearchはLLMと評価器による出力と評価を反復させていくことで、自

    Google DeepMind、LLM採用AIシステム「FunSearch」で数学的難問を解決
    wktk_msum
    wktk_msum 2023/12/17
    暗号技術の発展につながるんか
  • “数学特化”の大規模言語モデル「WizardMath」 米Microsoftなどが開発 Llamaモデルを強化

    このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: @shiropen2 米Microsoft中国科学院に所属する研究者らが発表した論文「WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct」は、数学的推理能力を強化するモデルを提案した研究報告である。このモデルは、オープンソースの事前学習済み大規模言語モデル(LLM)である「Llama-2」に対して適用することで実現する。 米MetaのLlamaモデルシリーズは、オープンソース革命を引き起こし、クローズドソースのL

    “数学特化”の大規模言語モデル「WizardMath」 米Microsoftなどが開発 Llamaモデルを強化
  • 数学の入門書を選ぶ3つのコツ - webエンジニアの日常

    微分方程式をしっかりと学んだことが無く、何か手ごろな入門書はないかと屋さんに出向いたあなたは、きっと驚くはずだ。 微分方程式の入門書はとても多いからだ。さらに、ぱらぱらとめくってみたり、目次を見てみても、中身はほとんど同じだったりする。 これは例え話ではなく、当に驚くほど同じような書籍が連立している。 線形代数ともなると、さらに多い。 そこで、この記事では、似たような専門書・入門書の中からあなたが欲しいと思う一冊を見つけ出すための3つのコツを紹介する。 これは勉強マニアの私が常に実践しているコツで、この方法を使い始めてからほとんどの購入に失敗したことが無い。(多くの失敗を重ねてできたノウハウだともいえる) もちろん、数学でなくても物理学の専門書・入門書を選ぶときでも使える。 【目次】 「はじめに」に注目 あなたが得たい知識は「練習問題」にある 最初の1割を理解できるか 最後に 「はじ

    数学の入門書を選ぶ3つのコツ - webエンジニアの日常
  • 1