Swallow Llama 2の日本語能力を強化した大規模言語モデル (7B, 13B, 70B) です。モデルのパラメータ（重み）が公開されていますので、LLAMA 2 Community Licenseに従う限り、研究や商業利用など自由に利用できます。 View on HuggingFace 大規模言語モデルSwallowは東京工業大学情報理工学院の岡崎研究室と横田研究室、国立研究開発法人産業技術総合研究所の研究チームで開発された大規模言語モデルです。英語の言語理解や対話で高い能力を持つ大規模言語モデルLlama 2 7B, 13B, 70Bの日本語能力を拡張するため、研究チームは言語モデルに日本語の文字や単語などの語彙を追加したうえで、新たに開発した日本語データを用いてモデルの構築を継続的に行う継続事前学習を行いました。研究チームで実施した性能評価では、2023年12月現在オープンな

リニューアルしたダッシュボードについて ダッシュボードの概要・提供目的 ダッシュボードのアーキテクチャ なぜリニューアルしたのか？ 一番の問題：チェックしたい指標までの遷移数が多い リニューアルの企画 リニューアルした際のUIコンセプト 構築の際に参考にしたダッシュボード CRISP METRICS Google Analytics リニューアルの開発体制 UI(Tableau)でデータの前処理を行う体制 Tableauでデータの前処理を行うとは？ 通常とは異なる開発体制を取った背景 流動的な仕様変更への追従 BIツールを使ったダッシュボード開発のデメリットを逆手に取った 結果どうなったか？ 約3週間でUIのフルリニューアルが完了！ 実際のダッシュボード画面 TOPページのUI TOPページの1タイル 効果が出た部分/出なかった部分 Good:修正リクエストに対する心理的安全性の増加 Go

株式会社Nucoは AI・ビッグデータを活用したシステム開発で、多くの企業様にソリューション提供をしています。 技術とアクションで世界を変えたい仲間を募集中！（学生インターン・中途未経験も歓迎！） 株式会社Nuco Advent Calendar 2023です。 『データとアルゴリズムで新時代を創る』 AI事業の最先端を走るメンバー達が、開発知識やお役立ち情報など、様々な記事を投稿していきます。 ぜひ、購読ボタンのクリックをお願いします！ HP https://nuco.co.jp 採用ページ https://www.recruit.nuco.co.jp

"Everything is true," he said. "Everything anybody has ever thought." この記事は ABEJAアドベントカレンダー2023 の 17 日目の記事です。 こんにちは。システム開発部の石川 (@ishikawa) です。昨年のいまごろは Objective-C ばかり書いていましたが、今年は念願の Swift で QR コードリーダーを書き直したり、React Native の C++ コードをデバッガで追いかけて不思議なバグの修正をした年でした。 react-native で 196,607 回 fetch() すると通信できなくなるバグを直した https://t.co/lvNC3PL85b— takanori_is (@takanori_is) 2023年9月21日 普段の業務では TypeScript と Go、Pyt

はじめに root権限を持っていないユーザがプロセスをデーモン化しようとする場合、通常はsystemd --userインスタンスを利用する。ただしCentOS7を含むRHEL7系列のディストリビューションはsystemd --userインスタンス機能がデフォルトで削除されていて、この機能が利用できない。 $ systemctl --user status Failed to get D-Bus connection: No such file or directory 設定方法 RHEL7系列のディストリビューションで非rootユーザがサービスを立ち上げるためには、事前にユーザセッションが起動されている必要がある。lingerを利用してシステムからあらかじめユーザセッションを起動しておけばよい。 $ cat << EOL | sudo tee /etc/systemd/system/use

生成AI技術が持つ高いポテンシャルは、多くの組織で注目されていますが、実際に日常業務に定着させるのは容易ではありません。 生成AIを導入したものの利用率が低下してしまう"生成AI離れ"が起きている現場もあるのが事実です。 この講演では生成AIを組織に効果的に組み込むための具体的な方法を提案します。 まだまだ進化を遂げる生成AIの継続的な利用を促し、業績向上のための実用的なテクニックをお届けします。 鈴木 祥太 ソフトバンク株式会社 SoftBank Tech Night #13 SoftBank World Special https://sbtechnight.connpass.com/event/295591/ 2023/10/04(水) 18:10 〜 20:10 ザ・プリンスパークタワー東京 SoftBank World 2023の会場内 で講演した資料です

はじめに モチベーションとしては生成AI関連としてここ3～4ヶ月でRAG構成（Retrieval-Augmented Generation）の記事が目に止まるようになり、RAGによるメリット等概要は知ってるつもりでしたが、具体的な構成ってどうなるの？というのは、あやふやだったりしまして、、、調べるとベクトルDBが既に盛り上がってましたので、遅れてはマズイ！とおもいお勉強かねて記事にさせてもらいました。 RAGとは RAGは、大規模言語モデル(LLM)と外部検索システム（つまりDB）を組み合わせた設計パターンの1つで、LLM単体では回答するベースとなる知識が訓練データに依存しますが、RAGを用いることで、LLMはリアルタイムで外部の情報源にアクセスし、より正確な回答を生成することが可能になります。 また、以下は私のRAG構成イメージ図になりますが、RAG構成は後述するベクトルDBだけでなく、

「ごみ出し案内」業務にはChatGPTを“活用しない”と決断した──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。ChatGPT登場から1年がたち、今や職場に導入する企業・自治体も増え、中にはすでに一定の成果を出した事例もある。三豊市でも、ごみ出し案内業務の効率化を図ろうとしたが、思うようにはいかなかった。 今回の事例では、日本のAI研究の権威である松尾豊教授の「東京大学大学院工学系研究科松尾研究室」（松尾研）も協力。約半年間、実証実験に取り組んできた。なぜ、三豊市ではChatGPTを使って業務効率化できなかったのか。三豊市に話を聞いた。 なぜ、ごみ出し案内をChatGPTに託したのか？ 三豊市が実証実験を始めたのは6月1日。サービス内容は「市民からのごみの分別や収集日に関する問い合わせに対して、三豊市のごみに関する学習をしたAIが24時間自動応答する」というも

Linus Torvaldsが語るカーネル開発とメンテナー⁠⁠、AIコーディング⁠⁠、そしてオープンであること ―Open Source Summit Japan 2023基調講演より 「ぼくはあんまりパブリックな場で喋るのは好きじゃない。でもDirkが用意した質問に、ぼくがこの場（Linux Foudation主催のサミット）で答えるスタイルなら、リラックスしながらいろいろなことを議論できるし、聞いている人たちにも楽しんでもらえると思っている。ちなみにDirkの質問内容は事前に聞かされていないよ」―12月5日、東京・有明で開催された「Open Source Summit Japan」（⁠主催: Linux Foundation、12/5～12/6）のキーノートセッションには、久しぶりに来日した“⁠Linux Creator⁠”ことLinus Torvalds氏が登壇するとあって、早朝にも

なお、評価に使ったコードはこちらの eval_xxx というコードである。 https://github.com/hotchpotch/youri-7b-stf-qa-context-jaqket/ Supervised Fine-tuning Trainer(SFT) を使った学習 STFは手軽な方法で指示に対して特定フォーマットの出力(Instruction Tuning)を学習させることができる方法である。学習のさせ方も簡単で、例えば ### 指示: 今日の天気は何ですか？ ### 入力: 本日は大雨ですね。 ### 応答: 大雨 のような例文を用意する。例では「### 応答:」以降がうまく出力されるように学習して欲しいデータである。この時、例文と「### 応答:」だけ与えれば、よしなに学習してくれる。実際の学習時には、「応答:」以降を推論し、望ましい回答である「大雪」のtokenの

香川県三豊市は、今年6月から東京大学大学院と実証実験を進めてきた「チャットGPT」を使ったゴミ出し案内の導入を断念すると発表しました。三豊市では、東京大学大学院工学系研究科の松尾研究室と協力して、今年6…

はじめに 開発環境 アプリの開発フロー 1. センサーで測定した加速度データを表示してみる 2. 加速度データを記録する機能を追加する 3. 記録した加速度データをFFTしてみる 4. FFT後のスペクトルからBPMを算出してみる 結果 おわりに 参考文献 はじめに こんにちは。NTTドコモ サービスイノベーション部の一年目社員の豊田です。 普段は、AIに関する研究開発を行っています。 今回は、業務でアプリ開発に初めて取り組む機会を頂いたことをきっかけに、試しにKotlinでアプリを作ってみたので、その制作過程を共有したいと思います。 突然ですが、皆さんは普段歩いたり、走ったりといった移動時に音楽を聴くことが多いでしょうか？私はよく散歩をするときに音楽を聴くことが多いのですが、そのときにいつも気になっているのが、 音楽のテンポと歩くリズムが一緒だったらいいのに、、 ということです。音楽と歩

TL; DR LangChainのメリデメを整理する過程で、今となってはopenai-pythonのうちChatGPTのAPIをを簡単に取り回せる程度のシンプルなライブラリがあるだけでも十分便利なんじゃないかと思ったので、ライブラリを個人で作ってみました。（バージョン0.0.1なのでちょっとお粗末な所もありますが） github.com はじめに こんにちは、データサイエンティストの坂元です。ABEJAアドベントカレンダーの13日目の記事です。世は大LLM時代ということで、ありがたいことにABEJAでも複数のLLMプロジェクトを推進させて頂いています。私自身もいくつかのLLMプロジェクトに参画しています。LLMといえばLangChainが便利ですね。OpenAI APIの利用だけでなく、各種ドキュメントのパースが出来たり、HuggingFaceやインデックスDBを扱う他のライブラリとインテ

TL;DR RAGアプリを運用するにあたってLLMOpsの考え方が重要になり、Azure OpenAI ServiceのPrompt Flowの活用を開始した。 RAGアプリの精度を担保するため、Prompt Flowに搭載されている評価Flowの性能を検証した。 回答内容の正確性の評価性能を上げるため、評価Flowを自作した。 自己紹介 NTTドコモ データプラットフォーム部（以下DP部）藤平です。 NTTドコモでは様々なサービスで機械学習を取り入れることでサービス価値の向上を目指しています。 データプラットフォーム部（以下DP部）ではこうした機械学習の適用を含め、全社におけるデータ活用をミッションとしています。 今年はIT領域に留まらず世界中の多くの人々に注目されることとなったAI領域のブレイクスルー、「ChatGPT」が登場した年で、これを発端として生成系AIが大いに盛り上がりました

おもに小麦粉からなる生地にあんこをいれて金属製焼き型で焼成した和菓子の名前をPostgreSQLで扱えるようにする拡張機能pg_mochochoをつくってみたPostgreSQL この記事は NTTコムウェア Advent Calendar 2023 9日目の記事です。 はじめに NTTコムウェアの黒田といいます、よろしくお願いします。 ふだんはデータベースエンジニアとして、おもにオープンソースのデータベースである PostgreSQL に関する技術調査・技術サポートに取り組んでおり、コミュニティ活動にも参加しています。 PostgreSQLの拡張機能をつくってみたい PostgreSQLは、だれでも自由に拡張機能を作成して組み込むことができるようつくられており、多くのシステムで拡張機能が作成・利用されています。せっかくなので私もつくってみたいなということでひとつ考えてきました。 拡張機能

最近では、RAG（Retrieval Augmented Generation）を使って、検索して得られた文書を生成時に活用することがありますが、その性能を改善するための手法の1つとしてハイブリッド検索が知られています。ハイブリッド検索は、2つ以上の異なる検索技術を組み合わせた検索方法です。最近は、全文検索とベクトル検索の組み合わせを見ることが多く、その良いとこ取りをすることで検索性能を改善します。 ハイブリッド検索の有効性はいたるところで報告されていますが、「適当に全文検索とベクトル検索を組み合わせるだけで性能が上がるのか？」というとそれには疑問があります。ハイブリッド検索では、全文検索とベクトル検索の結果をランク融合アルゴリズムを使って統合することが行われます。そのような仕組み上、どちらか片方の検索性能が低い場合、全体としての性能が下がることが考えられるはずです。 そこで本記事では、日

オープンLLMの開発をリードする現場の視点から、開発の実情や直面する課題について発表したのは、Stability AI Japan株式会社の秋葉拓哉氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、LLM開発のポイントを紹介しました。全2記事。前半は、LLM構築タイムアタック。 「GPT-4を作ってください」と言われたらどう答える？ 秋葉拓哉氏：みなさん、こんにちは。秋葉と申します。それでは、発表させていただきたいと思います。 みなさん、さっそくですが、「GPT-4」ってすごいですよね。ここにいらっしゃっている方々はこれについては、もう疑いの余地なく、同意してくださるかなと思います。 では、質問なんですが、もし「GPT-4を作ってください。予算はあるんだよ」と上司に言われたら、どう答えますか？　ということをちょっと聞いてみたいですね。 これはけっこう意

はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから

この記事は、情報検索・検索技術 Advent Calendar 2023の12月4日の記事である。 昨今のLLMの台頭により、外部情報を In-Context Learning として利用しLLMの生成結果の性能を高めることが可能な RAG(Retrieval Augmented Generation) の重要性の高まりを感じる。ただ、RAG を使ったシステムを構築してみようにも、データが少ないと面白みが少なかったりする。その為、Wikipedia 日本語の約550万文から簡単に検索可能でRAGの入力データとして使えるような embeddings と、素早い速度でベクトル検索できるような faiss 用の index を作成した。 例えば、Wikipedia から該当の文を検索する用途はこのように使える。 from datasets.download import DownloadMana