プロンプトを遺伝的アルゴリズムで自動最適化するプロンプトエンジニアリング手法『Promptbreeder（プロンプトブリーダー）』 | AIDB
関連研究 ■GPT-4などのLLMに「自らの論理的な整合性をチェック」させるフレームワーク『LogiCoT』と実行プロンプト ■LLMの出力から誤り（ハルシネーション）を減らす新手法『CoVe（Chain-of-Verification）』と実行プロンプト ■LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法 従来の課題 手作りのプロンプト戦略 現在、プロンプトエンジニアリングの分野で広く用いられているChain-of-Thought（CoT）やその派生テクニックは、基本的には手作りです。特定のタスクや問題に対して最適なプロンプトを設計する際に、人の専門家が手動でプロンプトを生成しています。 自動化の必要性 手作りのアプローチは効果的である場合も多いですが、スケーラビリティに欠けるという問題があります。大規模言語モデル（LLM）が多様なタスクで使用される現代においては、プロン
前回の続きです 遺伝的アルゴリズムのサンプルコード 参考文献 「C言語による画像処理入門」2000/11/1 (著)安居院 猛、長尾 智晴 文献のAmazon 準備 # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt from threading import Thread class threadAndReturn(Thread): def __init__(self, group=None, target=None, name=None, args=(), kwargs=None, *, daemon=None): Thread.__init__(self, group, target, name, args, kwargs, daemon=daemon) self._return = N
社内ランチ会のグループ分けを遺伝的アルゴリズムで最適化してみた - Insight Edge Tech Blog
Introduction こんにちは、データサイエンティストの善之です。 Insight Edgeでは社内のコミュニケーション活性化を目的として定期的にシャッフルランチを開催しています。 企画の全体像については以前ntさんに投稿いただいた 社員同士の距離を縮める！シャッフルランチ会開催レポート をご覧ください。 今回は、ntさんの記事で詳しく触れていなかった「グループ分けを最適化するアルゴリズム」の詳細をご紹介したいと思います。 目次 実現したいことと課題 要件の整理 アルゴリズムの概要 Pythonで実装 実行結果 引き継ぎのためにStreamlitでUIを作成 まとめ 実現したいことと課題 ランチ会の目的は以前の記事にも記載の通り、コミュニケーション活性化のために社員同士の接点を増加させることでした。 したがって、普段あまり接点がない人どうしをランチ会でできる限り巡り合わせることが最大
ベイズ最適化と遺伝的アルゴリズムは組み合わせよう！
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 講演会やセミナーをしていると、よくある質問の1つに、ベイズ最適化と遺伝的アルゴリズムはどのように使い分ければ良いですか、という質問があります。
分子設計・材料設計・プロセス設計・プロセス管理において、分子記述子・実験条件・合成条件・製造条件・評価条件・プロセス条件・プロセス変数などの特徴量 x と分子・材料の物性・活性・特性や製品の品質などの目的変数 y との間で数理モデル y = f(x) を構築し、構築したモデルに x の値を入力して y の値を予測したり、y が目標値となる x の値を設計したりします。 モデリングや予測、設計において最適化をする際、様々なアルゴリズムを活用できます。ここでは大きく分けて、強化学習、ベイズ最適化、メタヒューリスティックな最適化アルゴリズム (遺伝的アルゴリズムなど、とりあえず遺伝的アルゴリズムで進めます) を対象にします。何かを最適化したい時に、これらのどれを使えば良いのか、方針を確認したいと思います。 まず、強化学習は結果だけでなくそこに至る過程を最適化したい時に使用すると良いでしょう。例え
遺伝的アルゴリズムのサンプルコード - Qiita
遺伝的アルゴリズムのサンプルコード 参考文献 「C言語による画像処理入門」2000/11/1 (著)安居院 猛、長尾 智晴 文献のAmazon 前準備 # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt def initialize_random_number(seed=None): #seed=0 print("seed=",seed) np.random.seed(seed) def random_int(n): return np.longlong(np.random.randint(0,n)) def random_double(n): return np.double(np.random.sample(1)*n) def swap_unsigned_char(n1,n2): n=n1
「唯一生き残るのは、変化できる者である！ 生物進化の原理に基づいた最適化手法の 遺伝的アルゴリズムのご紹介」というタイトルで DevelopersIO 2023 に登壇しました！ #devio2023 | DevelopersIO
こんにちは、CX 事業本部のジョン・ヒョンジェです。 2023 年 7/7 ~ 7/8 に DevelopersIO 2023 が開催されました。とても多くのセッションがありましたが、私も「唯一生き残るのは、変化できる者である！生物進化の原理に基づいた最適化手法の遺伝的アルゴリズムのご紹介」というタイトルでサブセッションに登壇することができました！ セッションの概要 登壇者 クラスメソッド CX事業本部 Delivery部 サーバーサイドエンジニア ジョン・ヒョンジェ 唯一生き残るのは、変化できる者である！ 生物進化の原理に基づいた最適化手法の 遺伝的アルゴリズムのご紹介 概要 チャールズ・ダーウィンの進化論を知っていますか？遺伝的アルゴリズムはこの生物進化論をもとにして、生物が環境に適応し進化していく様子を模倣した最適化手法の一つです。このセッションでは、この遺伝的アルゴリズムがどうやっ
遺伝的アルゴリズム、完全に理解した - Qiita
はじめに この記事は完全に理解したTalk Advent Calendar 2020の6日目の記事です。 ぶっちゃけQiita様に挙げられるような実用的な話ってあまり持っていない身なのですが、星影さんから下記のようなメッセージを頂いたのでトライしてみることにしました。 一般受けとか気にせずOKなので、ぜひお願いします🤗 — 星影 (@unsoluble_sugar) November 17, 2020 Qiitaは完全に今までROM専だったため、この記事が初投稿になります。Markdownでサクサクかけてめっちゃ便利ですね。不謹慎な記事を上げていいならTumblrから移りたいレベル。 さて、本日私が完全に理解したのは、遺伝的アルゴリズムです(Uber Eats風)。 Wikipedia先生による簡潔な説明は以下の通りです。 遺伝的アルゴリズム（いでんてきアルゴリズム、英語：genetic
ディープラーニングの課題 最近、仕事でディープラーニングやってますが、結局over fitting（過学習）やunder fitting（未学習）との戦いに終始してしまう毎日を過ごしてます。 ネットワークの構成や各層のチャネル数、dropout有無やその率、optimizerの種類やlr（学習率）、weightDecay（L2ノルム）の値、等々調整すべきものはハイパーパラメータと呼ばれるものも含めて数多くあり、それらのベストな組み合わせを見つけるのは至難の業。 これらのベターな組み合わせ（ベストではない）を遺伝的アルゴリズムで解くという論文は既にいくつか出ているようだけど、PfGA（パラメーターフリー遺伝的アルゴリズム）で実現した記事を発見できなかったので、備忘録としてアップしておきます。 遺伝的アルゴリズムの詳しい説明は省略しますが、ディープラーニングのハイパーパラメータなどを遺伝子と見
遺伝的アルゴリズムというギミックと、「神は沈黙せず」という小説、あるいは山本弘という作家は、案外、相性が悪かったのでは？という雑考｜ガジくん(獣脚類ズケンティラヌス)
遺伝的アルゴリズムというギミックと、「神は沈黙せず」という小説、あるいは山本弘という作家は、案外、相性が悪かったのでは？という雑考 良く顔を出してるSFファンの集まりで、先日亡くなった作家の山本弘さんの著書の読書会をやろうと云う事になった。 課題図書は、星雲賞を受賞した「去年はいい年になるだろう」に決ったが、他にも、同氏の著書でオススメのモノが有れば、各自、紹介しようって話と相成った。 で、個人的には「去年はいい年になるだろう」と並ぶ同氏の代表作「神は沈黙せず」について言いたい事が色々と有るのだが……以下は、その「言いたい事」に関する、とりとめもない雑文である。 齢がバレるが、山本弘氏の小説「神は沈黙せず」が出た時には、私は既に大学の修士過程までを終えて社会人になっており、大学に居た頃は工学部の情報系だったのだが……今にして思えば……と言うか、学生の頃の記憶でも、何とも変な研究室に所属して
1つの応答曲面を遺伝的アルゴリズムで探査するPythonコード例 | WATLAB -Python, 信号処理, 画像処理, AI, 工学, Web-
曲面は平面に比べデータにフィットさせる自由度が増えるため、複雑な現象にもフィットする可能性を持ちます。もちろん重回帰分析と同様に設計変数が3つ以上の場合は超曲面で表現する事が可能です（図示は困難ですが）。 全ての応答を物理モデルで求めると時間がかかる 適切なモデルによるシミュレーションや確かな実験をする事で、物理現象に即した応答値を得る事ができます。しかし、より詳細な物理モデルを計算するにはスパコンを使った場合でも数日以上かかるケースがあります。また、実験はそもそも機器が高く、段取り時間が多くかかったり、設計変数を正確かつ自由に振る事が困難であったりします。 単一の応答を得るだけならそれでも我慢できるかも知れませんが、最適化計算のように多目的で多数の計算結果を必要とするような検討には中々踏み込む事ができません。 応答曲面はそのような場合に活用可能です。 下図上段は任意の設計変数を物理モデル
遺伝的アルゴリズム ~Genetic Algorithm~ 遺伝的アルゴリズム(Genetic Algorithm)とは、近似解を探索するアルゴリズム。 主にランダム性を持って要素を変化させる。進化的アルゴリズムの一つでもある。 このアルゴリズムはデータを遺伝子として表現し、一つ一つを個体とする。 その個体を複数用意して、適応度計算をし低いものを交叉や組み換え、突然変異させ解を探っていく。 個体を何世代も変化させていくので、組み合わせ最適化問題(後述)などで効果を発揮する。 遺伝的アルゴリズムの基本原理 遺伝的アルゴリズムの基本原理を説明する。 ここでは 個の個体と世代で行うと仮定する。 初めに現世代と次世代の個体が入る集合をそれぞれ一つずつ用意しておく。 現世代に個の個体をランダムに生成する。 評価関数を使用し、現世代の個体が持つ適応度を計算する ある確率において、次の３つのどれかを行い
# -*- coding: utf-8 -*- #/*****************************************************/ #/* kpga.c */ #/* ナップサック問題のＧＡによる求解プログラム */ #/*ＧＡによって、ナップサック問題の最良解を探索します */ #/*****************************************************/ import numpy as np #/*記号定数の定義*/ MAXVALUE = 100 #/*重さと価値の最大値*/ N = 50 #/*荷物の個数*/ WEIGHTLIMIT = (N*MAXVALUE/4) #/*重量制限*/ POOLSIZE = 30 #/*プールサイズ*/ LASTG = 100 #/*打ち切り世代*/ MRATE = 0.01 #/*
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
遺伝的アルゴリズムに並列化プログラミングの実施と考察 - Qiita
強化学習、ベイズ最適化、メタヒューリスティックな最適化アルゴリズム(遺伝的アルゴリズムなど)の使い分け
パラメーターフリー遺伝的アルゴリズムでディープラーニングのハイパーパラメータを解く - Qiita
遺伝的アルゴリズムとその応用 - それが僕には楽しかったんです。
遺伝的アルゴリズムでナップザック問題を解く - Qiita