Today I released an uncensored version of the WizardLM model.https://huggingface.co/ehartford/WizardLM-7B-Uncensored This was trained with 4x A100 80gb over 36 hours, and used the original training script from WizardLM team.https://github.com/nlpxucan/WizardLM#fine-tuning The dataset (and the cleaning script) is located here:https://huggingface.co/datasets/ehartford/WizardLM_alpaca_evol_instruct_7

前回の記事では、GPUが１枚だけの環境でなるべく高速にローカルでElyzaTasks100の評価を回す方法を示した。 GPUが1枚でもローカルで高速にLLM評価を回したい！ だから次はこれ使って進化的アルゴリズムでモデルを進化させてみたいね！という話だったのだが、そんな時、まさに渡りに船のグッドタイミングでMergekit-Evolveが登場した！ mergekit-evolve登場！https://t.co/Gx4IJjajba の進化モデルのマージ手法論文を元にMergeKitで実装 競走馬のインブリード配合みたいに父方と母方の4代前と3代前に同じ祖先を持つ4×3の「奇跡の血量」みたいな”黄金配合率”が見つかるかもしれない https://t.co/CD3H1WAeG0 — Ryousuke_Wayama (@wayama_ryousuke) April 24, 2024 Sakana

最近、一部のローカルLLM勢のあいだでChatVectorで遊ぶのが流行っている。 ChatVectorとは何か？というとこちらの論文で発表された技術だ。 [2310.04799] Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages (arxiv.org) こちらの解説記事が分かりやすい。 Chat Vectorを使って日本語LLMをチャットモデルに改造する – Qiita 要するに、ChatVectorとは指示チューニングでチャット能力を獲得したモデルのウエイトから、ベースになったモデルのウエイトを差し引いた差分の事である。 そしてChatVectorを別のモデルのウエイトに加算すれば、そのモデルにチャット能力を付与する事が

はじめに Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages という論文では、LLMの学習済み重みパラメータの足し引きによって、事前学習済みモデルに対話能力を与えることができるという結果が示されています。 具体的には、英語で事前学習されたモデル（以下ではベースモデルと呼びます）と、ベースモデルを指示チューニング (instruction tuning)してチャット形式の対話ができるようにしたモデル（英語チャットモデル）、ベースモデルを英語以外の言語で継続事前学習したモデルの３つのモデルを用います。 英語チャットモデルの重みからベースモデルの重みを引いたものは、チャット形式で対話ができる能力を表したベクトルであり、そのベクトルを

「Immersive Math」は、数学のうちベクトルや行列などの計算を研究する分野である「線形代数」についてインタラクティブな図を用意することでわかりやすさを向上させた無料の教科書サイトです。 Immersive Math https://immersivemath.com/ila/index.html サイトのトップページはこんな感じ。「完全にインタラクティブな図を備えた世界で最初の線形代数本」と述べられています。 中央に表示されている三角形の図はインタラクティブで、左上をクリックすることで回転・停止を切り替えられるほか、各頂点をクリックしてドラッグ＆ドロップすることで位置を調整可能。自由に図を編集できるため理解しやすいというわけです。 ページをスクロールすると目次が現れました。まずは「Preface(序文)」をクリック。 「『百聞は一見に如かず』という言葉の通り、たくさんの言葉を重ね

生成AIの評価手法〜LangChain, guidance, Azure AI Studioの比較・統合 生成AIを活用したアプリケーション開発が急増しています。そんな中、開発におけるプロンプト・チューニングの手法は広まりましたが、テストについての知見は情報が散在しています。 そこで、生成AIアプリケーションの開発ツールとして注目されている、LangChain, guidance, Azure AI Studioを比較しながら、ツールに依存しない評価手法として統合していきます。（GoogleのGenerative AI Studioも要注目ですが、現時点では評価機能が弱いので対象外） なぜ生成AIアプリケーションの評価が重要なのか？ なにを評価するのか？ どのように評価するのか？ はじめに生成AIの基盤モデルである、GPT-4、Gemini、Llama2などの基礎性能を比較する上では、一般

以下の記事が面白かったので、簡単にまとめました。 ・Hugging Face x LangChain : A new partner package in LangChain 1. langchain-huggingface「LangChain」のHuggingFace関連のクラスはすべてコミュニティによってコーディングされており、これで成功しましたが、時間の経過とともに、内部関係者の視点が欠如しているため、一部のクラスは非推奨になりました。 パートナーパッケージになることで、HuggingFace エコシステムで利用可能な新機能を「LangChain」のユーザーに提供するのにかかる時間を短縮することを目指しています。 「langchain-huggingface」は「LangChain」とシームレスに統合され、LangChain エコシステム内でHuggingFaceモデルを利用する効率

デジタル庁のAI担当の大杉直也です。この記事では、生成AIによる業務改善の一助になればと思い、実際の行政業務で生成AIの利活用を検討する際に得られた知見を共有します。 本記事は、「デジタル庁2023年度事業　行政での生成AI利活用検証の結果報告（以降、報告書とよびます）」で得られた知見を、よりわかりやすく具体的に示すために、「10の学び」の形式にまとめたものです。 その検証ではデジタル庁を中心とした行政職員を対象に、実際に複数種類のテキスト生成AIを取り扱える環境＋ユースケースごとの独自開発を含むサポート体制を作り、(1)どの行政業務に対し、(2)どのようにテキスト生成AIを使えば、(3)どのくらい改善効果がありそうか、を調べました。また、報告書には含まれていなかった個別ヒアリング等による知見も反映させています。 文量が少し多くなってしまったため、全3回の構成で紹介いたします。第1回の本記

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wjZofJX0v4M?si=9YsuEzHATlhPtpOF Check out our new channel Ufolium https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUj5aSn57Wx6aCY6YG45oyZ44Gu5LuV57WE44G_IHVmb2xpdW0%3D Richard Turner's introduction

Be my sponsor and your logo will be here and prompts.chat! Welcome to the "Awesome ChatGPT Prompts" repository! This is a collection of prompt examples to be used with the ChatGPT model. The ChatGPT model is a large language model trained by OpenAI that is capable of generating human-like text. By providing it with a prompt, it can generate responses that continue the conversation or expand on the

Front-end application development, Symfony-style(s)

マンハッタン距離（Taxicab distance）／ユークリッド距離（Euclidean distance）、L1／L2ノルムとは？：AI・機械学習の用語辞典 用語「マンハッタン距離」「ユークリッド距離」について説明。いずれも2点間の距離を計測する方法のこと。マンハッタン距離とは、碁盤の目状の道を縦に横にとタクシーが進むようにn次元の距離（＝差）の絶対値を合計することで距離を計算する方法。ユークリッド距離とは、n次元の距離（＝差）の二乗値を合計した値の平方根を求める（＝ピタゴラスの定理を適用する）ことで直線的な最短距離を計算する方法を意味する。 連載目次 用語解説 数学／統計学／機械学習におけるマンハッタン距離（Taxicab geometry：タクシー幾何学、Taxicab metric、Manhattan distance）とは、2点間の距離を計測する際に、n次元の次元ごとに距離（＝

こんにちは。SUZURI事業部の@kromiiiと申します。 私のメインの業務はWebアプリケーションの開発ですが、大学院時代のスキルを活かして並行してデータ分析業務も行っています。 データ分析業務ではデータベースのクエリを書くことが多いのですが、私自身SUZURI事業部に配属されたばかりで、テーブルの名前やリレーションを覚えるのが大変でした。そこでクエリの設計を自動化するツールをSlackに導入しました。 その名も tbls-ask bot です。どのようなものか先に見てみましょう。 ユーザーはSlackでメンションする形で、どのようなクエリを実行したいのか自然言語で入力します。 メンションされるとSlack botが起動し、どのDBスキーマを利用するかを尋ねます。 ユーザーがDBスキーマを選択すると、自然言語からSQLクエリを生成し、Slackに返答します。 今回はパブリックに公開する

※本記事で言及しているReflexのdiscord内に日本語チャンネルをつくってもらいました。もし、興味をもった人がいたら参加してみてください。 １．PythonだけでWebアプリをつくるライブラリが増えている 最近（2024.05）、Python界隈ではPythonだけでWebアプリが作れるライブラリが増えています。詳しくは他の記事を参照してもらえればと思います。 以下の記事がとても参考になりました。ありがとうございます。 ２．ライブラリの分類 こうしたライブラリも大きくわけて２つの種類があるように思います。 ①データ解析の結果を表示するダッシュボードライブラリ ②汎用的なWebアプリをつくるローコードライブラリ ①ダッシュボード系ライブラリ たとえば、上記の記事にも出てきますし、ネットでもかなり情報の多い、StreamlitやDashは項番1のダッシュボードライブラリに該当すると思いま

2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の

1on1ミーティングは、アメリカのシリコンバレーで人材育成を目的として確立された手法で、「上司と部下の1対1で行う定期的な面談」の事です。日本でもヤフー株式会社などが取り入れたことから注目を集め始め、2020年には、規模に関わらず約4割の企業が導入しています。 1on1ミーティングは組織の生産性向上やエンゲージメントを高めるための施策として有効で、1on1ミーティングを導入し始めている企業様も増えてきました。しかし、1on1を実際に行っている管理職やマネージャー、メンバーから「1on1ミーティングが嫌い」「1on1ミーティングが苦手」などの声もあります。 そのため、本記事では1on1が嫌いになってしまうような上司の特徴や悪い1on1の特徴、そしてその原因と解決策についてご紹介します！適切な1on1ミーティングの方法を知り、価値のあるものにしていきましょう。 1on1ミーティングが嫌いと感じ

これはなに ども、レバテック開発部のもりたです。 今回はSQLのサブクエリについてまとめます。仕事でクエリを書く際、サブクエリは頻出の構文だと思うんですが、同時にサブクエリの書き方を完全に理解しているよという人は案外少ないのではないでしょうか？[1] 実際、MySQLの公式ドキュメントを見ると12ページくらいを割かれており、意外と奥深いのがサブクエリです。使いこなせると便利ですし、何よりちょっとSQLのコツみたいなのがわかって面白いよ、ということで記事にしてみました。 前提 この記事は以下の前提を含んでいます。 環境 MySQL8.0系 読者の知識 なんとなくサブクエリが書ける けど相関サブクエリとかになると「あーっ」つってGoogle meetを閉じてしまうくらいのレベル感 記事のボリューム 18,000文字 おれの卒論が20,000文字だった マサカリ 間違ってたら投げてくれ〜〜 それ

今回はPythonで簡単にリトライ処理を追加できる「tenacity」を使ってみます。 デコレータ形式で簡単にリトライ処理を追加できるので便利です。 tenacityについて プログラムを書いていて、HTTPの通信などでリトライ処理を実装する機会は多いと思います。 今回はそんなリトライ処理を簡潔に書けるtenacityの使い方を説明します。 インストール インストールはpipで可能です。 インストール pip install tenacity 使い方 シンプルな例 シンプルな例 import random from tenacity import retry @retry def random_error(): num = random.randint(0, 10) if num > 4: print(f"Error: num={num}") raise Exception("Error!

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの