RAFT: Adapting Language Model to Domain Specific RAG
Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain su
草津フラワーデモへの連帯撤回/スプリングが見解
群馬県草津町の黒岩信忠町長から性被害を受けたと訴えていた新井祥子・元町議が、民事裁判のなかで、レイプ被害の訴えは虚偽だと認めたという報道がありました（「朝日」１１月１６日付など）。これを受け、元町議に連帯を表明していた性被害の当事者団体「一般社団法人Ｓｐｒｉｎｇ」は５日、見解を発表し、性暴力の虚偽の訴えは人権侵害だとして元町議への、連帯の表明を撤回し、草津町長ら関係者に謝罪を表明しました。 同団体は、元町議がリコールされたことに抗議して、２０２０年１２月１１日におこなわれた「草津町フラワーデモ」にたいして、ＳＮＳ上で連帯を表明していました。 草津デモの記事は削除します 「しんぶん赤旗」は２０２０年１２月１２日付で、全国４６都市で行われたフラワーデモのうち、東京と草津町のフラワーデモを紹介しました。草津町のデモは「訴え排除しない社会に」の見出しで報道しましたが、新井氏の訴えが虚偽であったこと
RAGに質問分類させる「Adaptive-RAG」の解説
本記事では、「Adaptive-RAG」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、Adaptive系で現在、最も「コスパ」が良いとされる「Adaptive-RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの回答精度を高めるための手法です。韓国科学技術院（KAIST）の研究者らによって2024年3月に提案されました。「Adaptive-RAG」という手法を使うメリットは、ユーザーからの入力としてシンプルな質問・複雑な質問、どちらも想定される場合に、「そこまで遅くなりすぎずに、ある程度の回答精度がでる」という点
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化 テクニカルプレビューは上記のCopilot Workspaceのページからウェイトリストボタンをクリックして申し込みます。 Copilot Workspaceはほとんど全ての工程を自動化 Copilot Workspaceは、自然言語で書かれたIssue（課題）を基に、Copilotが仕様案と実装計画を示し、コーディングや既存のコードの修正を行い、ビルドをしてエラーがあればデバッグも行うという、プログラミングのほとんど全ての工程をCopilotが自動的に実行してくれる、というものです。 人間は各工程でCopilotから示される内容を必要に応じて修正するか、そのまま見守ることになります。 GitHub CEOのThomas Dohmke（トーマス・ドムケ）氏は、Copilot
kotoba-tech/kotoba-whisper-v1.0 · Hugging Face
","eos_token":"<|endoftext|>","pad_token":"<|endoftext|>","unk_token":"<|endoftext|>"}},"discussionsDisabled":false,"downloads":1177,"downloadsAllTime":1177,"id":"kotoba-tech/kotoba-whisper-v1.0","isLikedByUser":false,"isWatchedByUser":false,"inference":"Yes","lastModified":"2024-04-22T01:56:19.000Z","likes":27,"pipeline_tag":"automatic-speech-recognition","library_name":"transformers","librariesO
Pythonの Ruff (linter) でコード整形もできるようになりました - Qiita
要約: Flake8 + Black + isort はもうすべて Ruff だけで置き換えられる。 PythonのLinterとして、すでに Ruff を使われている方は多いと思います。Ruffは Rust で実装された高速なPython用Linterで、従来よく使われていた Flake8 に比べて数十倍短い時間で処理が終わります。 その圧倒的な性能によって成功が約束されている（？）ためか、Ruff の知名度がまだ低いころから GitHub Actions公式のPythonチュートリアルは即座に Flake8 を Ruff に置き換えています。 そして、2023年10月末にリリースされた v0.1.2 あたりから、ついにLintだけでなく、コードフォーマット（コード整形）の機能も正式に搭載されました。公式のブログ記事はこちら： Pythonのコード整形といえば今まで Black が主流で
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
理学部 2名が追加合格 入学辞退で繰上げ 19年ぶり | 京都大学新聞社／Kyoto University Press
2024年度の一般入試において、理学部は受験者2名を追加合格とした。京大によると、入学者が「定員ちょうどになるように」合格を出していたが、2名が辞退したため、繰り上げを行ったという。 京大は公式HPで、入学辞退に伴う繰り上げ合格について「欠員が生じた場合に追加合格を行う場合がある」としている。最近では16年度入試において、医学部が2名の繰り上げ合格を出した。理学部での繰り上げ合格は、05年度入試以来19年ぶりとなる。 追加合格者は3月28日、理学部教務から電話で合格を通知され、入学や履修の手続きを教務とメールでやり取りしながら行った。新入生は通常、第二外国語やILASセミナー（1回生向けの少人数授業）の希望登録を3月中旬に行うが、追加合格者は電話連絡の翌日午前10時までに希望を提出するよう求められたという。クラシスやPandAといった学生向けシステムへの登録は入学後に行った。 追加合格者の
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
VSCodeでキーボードマクロを使いたい - Qiita
キーボードマクロ キーボードマクロは同じ操作を繰り返し実行させることができる便利な機能です。 テキスト加工などの作業で使いこなすと作業効率が劇的に向上します。 VSCodeとキーボードマクロ VSCodeにはデフォルトでキーボードマクロ機能が存在しないため拡張機能を利用します。 インストール VisualStudioマーケットプレイスから こちらのリンクから Install をクリックしてインストールします。 https://marketplace.visualstudio.com/items?itemName=tshino.kb-macro VSCodeの拡張機能から 「keyboard」などのキーワードで検索して「Keyboard Macro Beta」をインストールしても良いです。 使い方 記録 (Record) 操作を記録開始・終了する際に次のショートカットキーを使います。 mac
パフォーマンスオーバーレイ（ALT+R）を無効化する方法 | ナポリタン寿司のPC日記
この記事では、ALT+Rのショートカットキーを押した時に表示される「GeForce Experience（ジーフォース・エクスペリエンス）」の「パフォーマンスオーバーレイ」を無効化する方法を書きます。 機能を無効にするか、ショートカットキーを変更することで解決します。 僕がWindows11で作業している時、ふっと右上に「パフォーマンスオーバーレイ（Alt+R）」という画面が表示されました。うっすら半透明で、画面の上に表示されている状態です。GPUやFPSなどを簡易的に確認できました。 「なんだこれ？」と思って調べると、どうやら「GeForce Experience」アプリの「パフォーマンスオーバーレイ」のショートカットキーが、ALT+Rになっていて、うっかり押したようです。 「GeForce Experience」アプリは、ゲーム内録画やフィルターをかけるのに重宝していますが、今回のパフ
Introducing Meta Llama 3: The most capable openly available LLM to date
Today, we’re introducing Meta Llama 3, the next generation of our state-of-the-art open source large language model.Llama 3 models will soon be available on AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM, and Snowflake, and with support from hardware platforms offered by AMD, AWS, Dell, Intel, NVIDIA, and Qualcomm.We’re dedicated to developing Llama 3
「Tailscale SSH」が正式版に到達。面倒な鍵管理が不要のSSH、VSCode拡張機能でリモートファイルも編集可能
「Tailscale SSH」が正式版に到達。面倒な鍵管理が不要のSSH、VSCode拡張機能でリモートファイルも編集可能 Tailscale社は、統合的なアイデンティティ管理による鍵管理を不要にした便利なSSHを実現する「Tailscale SSH」が正式版になったことを発表しました。 Tailscale SSH is now out of beta and into general availability! Still juggling SSH keys and managing identities across remote machines? There's a better way: https://t.co/sdvnCckSYg — Tailscale (@Tailscale) March 26, 2024 TailscaleはWireGuardをベースにしたVPN Tai
24年4月の量子コンピュータ業界の動向がよくわからんというので書いてみました。 by Yuichiro Minato | blueqat
昨年から量子コンピュータ業界は大きな転換期に入りました。これまで人類には難しすぎるという量子コンピュータはみんなで四苦八苦しながら開発をしてきたと思います。具体的な沿革としては、 １、2012年に簡易型量子コンピュータみたいな量子アニーリングマシンが出る。 ２、量子アニーリングマシンは2016年をピークに2018年ごろに廃れる。（デスクトップパソコンと大差ないことがわかる） ３...
Vocoflex | Dreamtonics株式会社
Vocoflexは、Dreamtonicsの音声モーフィング技術研究により生まれた 実験的な製品です。
CapsLockキーを超便利なキーに変更する方法 (Windows)
パソコンのキーボードで最も忌み嫌われているキーとは？ そう、『CapsLockキー』です。 このCapsLockキーと人類との戦いは長きに渡り、ネット上では既に先人たちによって様々な対策が練られてきました。 単純に無効化するCtrlキーを割り当てる半角/全角キーを割り当てるEnterキーを割り当てるしかし敢えて言いましょう。どれもヌルいと。 CapsLockキーを無効化する？ なんてもったいない！ 僕は今回、このCapsLockキーを超便利なキーに変更し、この戦いに終止符を打ちたいと考えています。例えばこんな感じに。 単体で押したときはEnterキーとして働くW/A/S/Dとの組み合わせで矢印キーとして働く他の文字や修飾キーとの組み合わせで、好きなアプリやフォルダを開くそして一度設定してしまえば、その設定は他のマシンでも使える！ この記事の内容を実践すれば、あなたはきっとCapsLockキ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication
Chat with Open Large Language Models
「パパ、ママ、会いに来たよ」AIで死者を“復活” 中国で新ビジネスが論争に 「冒とく」か「心の救済」か | TBS NEWS DIG
How to update vector store index/ inserting new documents to already created index · Issue #3928 · run-llama/llama_index