Calm2-7b（CyberAgentLM2-7B）は、サイバーエージェントが公開した最新の日本語LLMです。 このモデルは、既存のLLMをベースにするのではなく、1から独自に構築されており、チューニングモデルではなんと32,000トークンの入出力に対応しています。 GPT-4に迫る量のトークンに対応しているのはすごいですよね！ 今回は、Calm2-7bの概要や使ってみた感想をお伝えします。 是非最後までご覧ください！ なお弊社では、生成AIの開発について1時間無料相談を承っています。こちらからお気軽にご相談ください。 →無料相談で話を聞いてみる Calm2-7bの概要 Calm2-7bは、サイバーエージェント社が2023年11月2日に公開した最新の日本語LLMです。 このモデルは、ここ最近の日本語LLM開発のトレンドになっている、既存のLLMをベースに継続事前学習を適用して構築する方法で

ホーム AI論文解説, LLM, プロンプト 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 2023/11/3 AI論文解説 LLM プロンプト AIDB Research 感情を込めたプロンプトが大規模言語モデル（LLM）の性能を向上させることが示されました。「自分を信じて限界を超えてください」や「困難は成長のチャンスです。」といった自信や成長に関わる要素を含む指示が、モデルの出力品質に貢献するとの報告です。 この発見は、人間の感情を取り入れたアプローチが、人工知能の分野においても重要な役割を果たす可能性を示唆しています。Microsoftなどの研究グル

“ビートルズの最後の新曲”、「Now And Then」が11月2日（英国時間）、英BBCのラジオでオンエアされ、同時にYouTube MusicやApple Musicなど、各種ストリーミングサービスでもリリースされた。 この曲は、ジョン・レノンが死の直前にニューヨークの自宅でピアノの弾き語りで録音したもの。マッカートニーはレノンの妻のヨーコ・オノからこのカセットテープを譲られた。マッカートニー、ジョージ・ハリソン、リンゴ・スターはこの録音を1996年、ビートルズのアンソロジーで採用しようとしたが、ハリスンが音質がひどすぎるとして反対したという。 だが昨年、ピーター・ジャクソン監督とドキュメンタリー映画「The Beatles: Get Back」を制作中、映画制作に使われているAI採用の音声分離処理技術を目の当たりにし、これをレノンのボーカル抽出に使うことにした。 新曲紹介動画（記事末

第1回目の今回は、Podのリソース割り当ての推奨値を提案する「KRR(Kubernetes Resource Recommender)」について紹介します。 はじめに こんにちは。3-shakeで技術顧問を勤めている青山真也(@amsy810)です。 3-shakeでは、CloudNative技術などを用いたSREの推進などを行っており、Kubernetesに関連した各種ソフトウェアへのキャッチアップなども積極的に行っています。 そこで、本連載では「OSS Insight」で公開されているソフトウェアや、最近話題になっているが、まだ詳細についてまとめられていないようなKubernetesに関連するツール・ソフトウェアを検証し、3-shakeのメンバーで紹介していきます。 第1回の今回は、Podのリソース割り当ての推奨値を提案する「KRR(Kubernetes Resource Recomm

こんにちは、CX事業本部デザインチームの小峰です。 先日、Agendというメディアさんからインタビューいただきました。 仕事のすれ違いを「ただ、話す」で解決していく、スクラムから学んだチームコミュニケーション―――――クラスメソッド小峰さんインタビュー この中で「ただ話す」を紹介しています。 今回は、これについて少し深掘ってみます。 これを知ったのはインタビューでもお話した通りLeSS Frameworkがきっかけでした。複数チームによるアジャイル開発体制を検討している中で出会いました。いわゆる「大規模アジャイル」の一種です。 「ただ話す」は、大規模アジャイルの学習のために「大規模スクラム Large-Scale Scrum(LeSS) アジャイルとスクラムを大規模に実装する方法」という本を購入し、そこで紹介されていたものになります。 調整と統合 スクラムガイドでは主に1チームでのスクラム

[ GitHub |  Notebook | Anyscale Endpoints | Ray Docs]  · 55 min read Note: Check out the new evaluation reports and cost analysis with mixtral-8x7b-instruct-v0.1 and our data flywheel workflow to continuously improve our RAG applications. In this guide, we will learn how to: 💻 Develop a retrieval augmented generation (RAG) based LLM application from scratch. 🚀 Scale the major workloads (load, ch

We want to empower you to experiment with LLM models, build your own applications, and discover untapped problem spaces. That’s why we sat down with GitHub’s Alireza Goudarzi, a senior machine learning researcher, and Albert Ziegler, a principal machine learning engineer, to discuss the emerging architecture of today’s LLMs. In this post, we’ll cover five major steps to building your own LLM app,

「日本人」を理由にしたくないし、「コードは全世界共通語」なのは分かっているけど、自分が日本人で日本語を母国語としていることはOSSにおいて不利になる。 この2年間のHonoの開発をしてきた経験で分かったことだ。 そこに目を瞑ってはいけないし、自覚することで世界と戦えるかもしれない。今回はそのことについて書こうと思う。 8k 現在、HonoのGitHubスター数は8,000を超えた。 これはとんでもない数字なんだけど、もっと伸びるべきで、早く1万を超えなくはいけない。 npmのダウンロード数は週間「46,000」とこれは相対的に低く、こちらも伸びるべきである。 数字が全てではないが、こうした数字は昨今のOSSにとって「一番の」指標であることは確かだ。 だから戦うことはこの数字を伸ばすことである。 なぜ「戦う」のか なんで「戦う」というおっかない言葉を使い、そして戦わなくてはいけないのか。 ま

2023/10/31 @ Barフロントえんどう で発表した「リアーキテクトと開発生産性について」です。

単行本や副読本などで作品について説明することはあったが、士郎正宗がインタビューという形で『攻殻機動隊』について語ったことは、皆無に等しい。’95年の『GHOST IN THE SHELL /攻殻機動隊』公開時に「ヤングマガジン」誌面で押井守監督と対談をしているが、映画についての話がメインで、マンガのことは語られていない。ヤングマガジン増刊「赤BUTA」の記事も、大半がマンガ家の仕事についてのインタビューで最後にほんの少し作品に触れている程度だ。その後、フランスのGlénat社経由で依頼があったインタビューだが、表現と絵の描き方についての質疑応答なので、マンガの内容については触れられていない。 つまり士郎正宗がマンガ『攻殻機動隊』について、インタビューという形で詳しく語るのは、今回が初めてとなる。作品を描くことになったきっかけから、注目している最新技術まで、30年以上の時を経て原作者自らが『

秋のブログ週間2023の1日目です。 はじめに※この記事やこの本を読んだからと言って自身で診断を行わず、まずは整形外科などの医療機関にて診断を受けて、医師の方と治療方針を決定しましょう。また既に治療中の方は、取り組む前に一度医師や理学療法士の方と相談しましょう。 腰が痛くて仕事にならない、プログラマーこそが天職なのにこの痛みと一生付き合っていかないといけないのか…と思っている方は結構多いのではないでしょうか？ かく言う自分も腰痛持ちで、20代前半で椎間板ヘルニアと診断されました。当時はヘルニアが神経を圧迫し歩くのもつらい時期もありましたが、通院によってなんとか回復しました。 しかし完全にはよくならず、残りの人生全てを腰を気にしながら生きないといけないのか、、、と絶望しておりました。 そんなこんなで腰痛人生を送ってきたわけですが、ケリー・スターレット式　「座りすぎ」ケア完全マニュアルは自分の

In this blog post, we'll explore the implementation of an upgradable read-write lock in Go. We will talk about why we needed it by giving concrete examples from the real-world use case and also discuss potential pitfalls during the blog post. Why do we need an upgradable read-write lock? In Go, even though the guidelines say to avoid locks, when building a Redis® server that should be concurrently

各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど）Python機械学習入門ChatGPTLLM CoT、Zero-CoT、ToT、mock、ReAct、Step Back、Metacog、IEPなど、各種Prompt Engineering手法の概説と、日本語での実際のプロンプト例をまとめた記事です。 各種Prompt Engineering手法を日本語で実装したい方向けの記事となります。 本記事で取り扱う手法は以下の通りです。 項目数が多いため、記事右下の目次リンクもご活用ください。 本記事の内容 01: 通常のPrompt 02: Few-shot Learning 03: CoT（Chain of Thought） 04: 出力形式の指定方法 05: Zero-shot CoT（≒

Goを勉強している中で、「Composition over inheritance」という概念が出てきました。ちゃんと理解していなかったので、ここで改めて掘り下げます。 特に、普段 Ruby や Rails を書いている初中級者の方は、Go を勉強する前におさらいしておくことをオススメします。なぜなら、Go では、Rubyで馴染みのある Inheritance（継承）ではなく、Composition（合成）のみが使われるからです。 「Composition over inheritance」とは 「Composition over inheritance」は、日本語だと「継承より合成」と表現されます。 これは、オブジェクト思考プログラミングにおいて、親クラスやベースクラスを「継承」するよりも、「合成」によってコードを共通化・再利用する方が望ましい、という考え方です。 つまり、継承より合成の

日本企業の間で生成AIの導入に向けた動きが活発になる中、アメリカの大手IT各社が、日本市場への攻勢を強めています。企業に資金を提供する支援プログラムを相次いで打ち出し、国産の生成AIとの競争が激しさを増しそうです。 アメリカのマイクロソフトは、今月、自社の生成AIを導入する企業を対象にした総額1億ドルの支援プログラムを発表しました。 このうちのおよそ4割は日本企業を対象にする見込みで、日本市場を重視する姿勢を示しています。 生成AIをビジネスに導入する際の検証や準備にかかる費用を支援するとしています。 木村靖エンタープライズパートナー統括本部長は「日本では生成AIの市場が40％を超える成長率になると考えられていて、成長の可能性は大きい」と話していました。 また、アマゾンは、自社のシステムを基盤に生成AIを開発する日本企業向けに、総額600万ドル規模の支援を始めました。 これに対し、国産の生

Project Silicaは、2023年までに100ゼタバイトを超えるデータをクラウドに保存することを目指し、ストレージシステムの構築と技術を根本的に再考するというMicrosoftのプロジェクトです。2019年には映画「スーパーマン」を手のひらサイズの石英ガラス板に保存することに成功しましたが、2023年10月にはそのストレージ容量は100倍以上の7TBまで成長し、保存できる寿命も1000年から1万年まで延長していることが発表されています。 Sealed in glass – Microsoft Unlocked https://unlocked.microsoft.com/sealed-in-glass/ Microsoft's glass data storage system saves terabytes for 10,000 years https://newatlas.co

LinuxカーネルがWebブラウザで動いたらどう考えても面白い んだけど、そこに至るまではなかなか難しい道のりになる。その第一歩として、Linuxカーネルのユーザーランド版であるLKL( https://github.com/lkl/linux )をWebAssemblyにコンパイルして、wasm2cでC言語に変換した上、Visual Studio 2022でコンパイルしてWindows上で実行してみた。 まだWebブラウザでは動いていないが、思ったよりは簡単にWasmに移植できた(個人の感想です) ウケが良ければMUSL libc移植編 → デバイスドライバ活用編 → Webブラウザ上動作編と続ける感じで。。 EDIT: Visual Studioのスクリーンショットを撮りなおし。 memory-control はanonymousなmapしか救えないので、ここ数年スパンではエミュレーシ

はじめに 最近オブジェクト指向とデザインパターンについて学び始めたので、勉強しつつ記事にまとめていきたいと思います。 初回はSOLID原則についてです。SOLID原則はオブジェクト指向プログラミングにおいて、開発者にとって読みやすく、メンテナンスが可能なプログラムを作成しやすくするために考えられたルールです。 この記事では、オブジェクト指向プログラミングの重要な開発原則であるSOLID原則について皆さんが想像しやすいマリオのクラス実装を例に解説していきます。 1. S (Single Responsibility)：単一責任の原則 クラスは単一の責任を持つべきと言う原則です。 ここでの責任というのは、オブジェクトが持っている機能のことです。 一つのクラスができる機能（責任）が複数あると、クラス内部の関数が強い結合を起こす可能性が高ま理望ましくありません。 次のマリオクラスを見てみましょう。