最新の Google Gemma モデルを MLX を使ってローカルでファインチューニング｜alexweberk
今回は、最新の Google Gemma モデルを Apple Silicon に最適化されたライブラリ MLX を使ってローカルで実行したり、ファインチューニングしてみましたのでその手順を紹介します。 MLX 関連の情報はドキュメンテーションが分かりづらいものも多かったので色々試した経緯も共有しながら少しでも何かの参考になれば幸いです。 実際に使った Jupyter Notebook を Gist にアップロードしていますので、そちらも参考にしてください。 →Google Gemma モデルを MLX を使ってローカルでファインチューニング 事前準備必要なライブラリをインストールします。 また Apple Silicon 搭載の Mac が必要です。今回は M3 Max 128GB 搭載の MacBook Pro で実行しました。 !pip install -U mlx mlx_lm t
This text is part of a series of texts about Clean Architecture analysis applied with different frameworks and languages. The purposes of this text are in line with those of the previous text, which are: I. Show an architectural division of a React application using Clean Architecture; II. Guide the implementation of new features in this proposed architecture. Architectural Division The initial st
GAFAでは常識!? 新職種「PMM」はPMと何が違うのか、SmartHRに聞いた【前編】 | Coral Capital
プロダクトの全体を把握し、開発側とビジネス側の異なる情報や要望を橋渡ししながらビジネスを成功に導いていく。そんなプロダクトマネージャー（PM/PdM）の役割に変化が起きているようです。PMの役割があまりに多岐に渡るため、新たにPMM（Product Marketing Maneger）という新職種が生まれています。 PMMはGAFAを始めとする海外テック企業では長く存在した役職ですが、国内ではまだごく少数。いち早く海外のベストプラクティスを学びつつ、自分たちのニーズからPMMを2019年に設置し、PM・PMMの分業体制をつくってきたSmartHRのPMM、重松裕三さんにお話を聞きました。なぜ分業が必要で、どう役割分担をするのでしょうか。また、スタートアップなら、いつ頃そうした分業体制が必要となるのでしょうか？ ※プロダクトマネージャーは「プロジェクト」マネージャーの意味でのPMと区別するた
2023年12月頃から「ChatGPTが質問に答えてくれない」という現象が複数報告されており、OpenAIが調査を開始する事態に発展しています。新たに、ChatGPTの性能低下は「冬は休むもの」ということをAIが学習しているからではないかという説が浮上しています。 As ChatGPT gets “lazy,” people test “winter break hypothesis” as the cause | Ars Technica https://arstechnica.com/information-technology/2023/12/is-chatgpt-becoming-lazier-because-its-december-people-run-tests-to-find-out/ ChatGPTの性能が低下しているという報告は2023年12月頃から寄せられるようになり
こんにちは。Merpay Advent Calendar 2019 の24日目は、メルペイ Machine Learning チームの @yuhi が機械学習における解釈性についてお送りします。 目次 機械学習における解釈性とは なぜ解釈性が必要なのか 1. サービスを提供する事業者としての説明責任 2. 推論結果に対する社内外の関係者の理解 3. モデルのデバッグ、精度改善 どのようなアプローチがあるのか SHAPについて サマリ 基本的なアイディア 問題設定 説明可能モデルに対して満たしてほしい性質 説明可能モデルを求める SHAPの実装について 最後に References 機械学習における解釈性とは 深層学習をはじめとする機械学習分野の発展に伴って、これまでにないユニークなサービスが開発され、また多くの業界において業務が効率化、高度化されつつあります。メルペイでも機械学習を用いて、
最小権限のIAM Policy作成にCloudFormationのコマンドが役立つ | DevelopersIO
最小権限のIAM Policyを作成するのって地味に面倒ですよね。以前私は、Route53ホストゾーンにDNSレコード作成するのに必要な最小権限のPolicyを作るため、権限ゼロの状態から始めて、権限不足エラーが出るたびに権限を足していくという力技でPolicyを作ったことがあります。 Route53ホストゾーンにDNSレコードをTerraformで作成するのに必要な最小権限 | DevelopersIO もうちょっとスマートなやり方が、CloudFormation(CFn)のコマンドを使うとできる場合があることを学んだのでレポートします。 aws cloudformation describe-type そのコマンドが、 aws cloudformation describe-typeです。--typeオプションでRESOURCEを指定して、 --type-nameでCFnのリソースタイ
■ これは何 ・「SaaSビジネス Advent Calendar 2019」22日目の担当として書かせていただいた、Repro伊藤の記事です(この企画でRepro4人目🤫笑) ・昨日の楠田さんの記事はこちら ・読み終わったら、続編「SaaSビジネスのプロフェッショナルサービスことはじめ(反省編)」もぜひご覧ください ■ お前だれよ ・Repro株式会社、マーケティングチーム所属の伊藤(@n_11o)と申します。 ・ざっくりのキャリアとしては、新卒で某リベラルの新聞社に入社し2年半ほど働いてからReproというMartech領域のSaaSスタートアップに1人目のマーケ(というか雑兵)担当として入って4年弱です。SaaSどころかIT業界4年目のまだまだひよっこです🐥 ・Reproではマーケチームを立ち上げから1年半ほどやったあとASO(※App Store Optimization。アプ
Gradio
Fast, easy setup Gradio can be installed with pip. Creating a Gradio interface only requires adding a couple lines of code to your project. Seamlessly use any python library on your computer. If you can write a python function, gradio can run it. Present and share Gradio can be embedded in Python notebooks or presented as a webpage. A Gradio interface can automatically generate a public link you c
RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～ - arutema47's blog
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
ML design: 機械学習を確かならしめる「メタ」な枠組み - 渋谷駅前で働くデータサイエンティストのブログ
(By Gufosowa - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=82298768) ここ最近、事あるごとに僕が色々な人たちに提案している概念として"ML design"というものがあります。これは元々"ML Ops"（DevOpsと同じように機械学習のシステム基盤などを包含する考え方）に対して「機械学習モデリングを運用する上で注意すべき点って多いよね」ということで、その注意点をまとめたものを一つの体系として扱えないかという趣旨で僕が勝手に言い出したものです。 言い方を変えると、統計分析に適したデータを集めるための実験計画法(experimental design)があるのと同じように、機械学習に適したデータの集め方やその交差検証などのやり方についてもまとめた計画法(design)が
GitHub - TabbyML/tabby: Self-hosted AI coding assistant
03/20/2024 v0.9 released, highlighting a full feature admin UI. 12/23/2023 Seamlessly deploy Tabby on any cloud with SkyServe 🛫 from SkyPilot. Archived 12/15/2023 v0.7.0 released with team management and secured access! 10/15/2023 RAG-based code completion is enabled by detail in v0.3.0🎉! Check out the blogpost explaining how Tabby utilizes repo-level context to get even smarter! 11/27/2023 v0.6
Should you use PyTorch vs TensorFlow in 2023? This guide walks through the major pros and cons of PyTorch vs TensorFlow, and how you can pick the right framework. PyTorch and TensorFlow are far and away the two most popular Deep Learning frameworks today. The debate over which framework is superior is a longstanding point of contentious debate, with each camp having its share of fervent supporters
Custom instructions for ChatGPT
We’re rolling out custom instructions to give you more control over how ChatGPT responds. Set your preferences, and ChatGPT will keep them in mind for all future conversations. We’re introducing custom instructions so that you can tailor ChatGPT to better meet your needs. This feature will be available in beta starting with the Plus plan today, expanding to all users in the coming weeks. Custom in
協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPの理論と実装のまとめ - Fire Engine
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
Google’s new Gemini AI model is getting a mixed reception after its big debut yesterday, but users may have less confidence in the company’s tech or integrity after finding out that the most impressive demo of Gemini was pretty much faked. A video called “Hands-on with Gemini: Interacting with multimodal AI” hit a million views over the last day, and it’s not hard to see why. The impressive demo “
fast.ai - Mojo may be the biggest programming language advance in decades
I remember the first time I used the v1.0 of Visual Basic. Back then, it was a program for DOS. Before it, writing programs was extremely complex and I’d never managed to make much progress beyond the most basic toy applications. But with VB, I drew a button on the screen, typed in a single line of code that I wanted to run when that button was clicked, and I had a complete application I could now
TechCrunch
Tesla has officially revealed a new Performance variant of the recently refreshed Model 3 sedan as the company looks to fight off receding demand. The new version of the Model 3, which starts at $52,9
The end of classical computer science is coming, and most of us are dinosaurs waiting for the meteor to hit. I came of age in the 1980s, programming personal computers such as the Commodore VIC-20 and Apple ][e at home. Going on to study computer science (CS) in college and ultimately getting a Ph.D. at Berkeley, the bulk of my professional training was rooted in what I will call “classical” CS: p
Rails design patterns
A design pattern is a repeatable solution to solve common problems in a software design. When building apps with the Ruby on Rails framework, you will often face such issues, especially when working on big legacy applications where the architecture does not follow good software design principles. This article is a high-level overview of design patterns that are commonly used in Ruby on Rails appli
Amazon Bedrock Is Now Generally Available – Build and Scale Generative AI Applications with Foundation Models | Amazon Web Services
AWS News Blog Amazon Bedrock Is Now Generally Available – Build and Scale Generative AI Applications with Foundation Models Update October 10, 2023 — Amazon Bedrock is now available in 3 regions globally: US East (N. Virginia), US West (Oregon), and Asia Pacific (Tokyo). This April, we announced Amazon Bedrock as part of a set of new tools for building with generative AI on AWS. Amazon Bedrock is
Starting today, you can receive anomaly detection alert notifications with root cause analysis, so you can proactively take actions and minimize unintentional spend. AWS Cost Anomaly Detection is backed by a machine learning model that is able to detect various types of anomalies (whether a one-time cost surge, or gradual cost increases) with minimal user intervention. The model learns your histor
はじめに こんにちは、ziと申します。 今回は、発表からしばらく経ってしまいましたが、View Transitions APIを使ったNext.jsでのスムーズなページ・UI遷移を目指して、実装してみます。 ※もし間違いやより良い実装方法など見つけましたら、ご指摘ください！ 🙇♂️ 今回実装した最終成果はこちらです。 また、コードはこちらにあります。 View Transitions APIとは？ View Transitions APIとは、2023年4月11日現在Chrome 111とOpera 97(pre-release)以降で実装されている遷移のアニメーションを行うブラウザーAPIです。下記は、MDNからの引用です。 View transitions are a popular design choice for reducing users' cognitive load,
In our team at Rakuten, we have been using Elm1 in production for almost two years now. This post is about our story, the lessons we learned, and our likes and dislikes. This post is quite long so if you prefer to see an overview, feel free to jump to the index. Everything started in the Berlin branch of Rakuten during the summer of 2017. We were maintaining a medium-size single-page application w
Microsoftは2023年3月22日、「Sparks of Artificial General Intelligence: Early experiments with GPT-4(汎用人工知能のひらめき：GPT-4による初期実験)」と題して、OpenAIの大規模言語モデル(LLM)であるGPT-4に関連する154ページの論文を発表しました。しかし、発表された論文をオリジナル版と比較すると、いろいろな内容がコメントアウトされていることが指摘されています。 You might know that MSFT has released a 154-page paper (https://t.co/7ptdkaWjgb) on #OpenAI #GPT4 , but do you know they also commented out many parts from the origina
Muse: Text-To-Image Generation via Masked Generative Transformers
Muse: Text-To-Image Generation via Masked Generative Transformers Huiwen Chang*, Han Zhang*, Jarred Barber†, AJ Maschinot†, José Lezama, Lu Jiang, Ming-Hsuan Yang, Kevin Murphy, William T. Freeman, Michael Rubinstein†, Yuanzhen Li†, Dilip Krishnan† *Equal contribution. †Core contribution. We present Muse, a text-to-image Transformer model that achieves state-of-the-art image generation performance
WebAssemblyで機械学習Webアプリ「俺か俺以外か」をつくった - Stimulator
- はじめに - 文章がローランド(@roland_0fficial)様っぽいか判定するサービスをつくった。 できてた 『ばんくし』は俺以外でした https://t.co/MxSTPmKVWL #oreka_oreigaika via @vaaaaanquish— ばんくし🎃 (@vaaaaanquish) 2020年12月26日 学習済みモデルをダウンロードし、WebAssemblyで形態素解析、機械学習モデルによる判定を全てブラウザ上で処理する。 この記事は、そこに至るまでメモ。 - はじめに - - 技術的な概要 - - データの収集 - - 技術的な構成 - - モデル周りの話 - - おわりに - - 技術的な概要 - 何が面白いのか簡易図 なんか適当な図学習済みの機械学習モデルをダウンロードして、手元のブラウザ上で動くjavascriptだけで、テキストの処理や判定をすると
NOTE(s): The article is in “draft” status. The content was originally written in 2017. The intended audience for this article is undergrad students or seasoned developers who want to refresh their knowledge on the subject. The reader should already be familiar with C (pointers, pointer functions, macros, memory management) and basic data structures knowledge (e.g., arrays, linked lists, and binary
クラフトワークはなぜ偉大なのか？ 音楽史を塗り替えた「ロボット」の功績 | Rolling Stone Japan(ローリングストーン ジャパン）
クラフトワークの共同創設者、フローリアン・シュナイダーが2020年4月21日に73歳で亡くなった。ドイツが生んだテクノのパイオニアは、後世のポップミュージックにどんな影響をもたらしたのか？ ele-king編集長の野田努が解説する。 ※この記事は『CROSSBEAT』2013年6月号に掲載されたものです。 ※2024年2月9日追記：クラフトワークがFUJI ROCK FESTIVAL'24に出演決定。詳細は記事末尾にて 「ロボット」という永遠のコンセプト そのときの衝撃は、30年以上経ったいまでも鮮明に覚えている。僕は中学生で、ラジオで初めてクラフトワークを聴いた。「Showroom Dummies」という曲だった。到底、この世界の音楽とは思えなかった。いままで聴いたことのない何かに感じた。その翌年、『The Man-Machine』が発売された。僕が最初に買ったクラフトワークのアルバムだ
—— Zoom、Slack、Shopify、Twilio… リモートワーク進展とともに、国境を超えて急速な成長をみせるスタートアップ群。 彼らが実践する最新の成長戦略がある。 —— Product-Led Growth（プロダクト・レッド・グロース、PLG） 「プロダクトでプロダクトを売る」 対極にあるのが、これまで、私たちが当たり前にしてきた、 「セールスがプロダクトを売る」Sales-Led Growth（セールス・レッド・グロース、SLG）です。 近年、日本においてSaaSメトリクス、T2D3、The ModelなどのSaaS実践論が急速に浸透しましたが、そのほとんどはSLGを前提に設計されています。 日本のSaaS熱が高まる最中、北米ではPLGを実践するスタートアップが多くの事例を蓄積し、PLG手法を体系化をしていきました。 蓄積されたノウハウが、今の海外SaaSスタートアップの躍
この記事では、2020年に発表された論文や記事のうち、特に興味深かったものを合計85紹介します。下記12のトピックに分けて紹介していますが、あくまで便宜上の分類です。私の個人的な2020年総括は以下の通りです。 --------------------- 個人的2020年総まとめと所感 --------------------- 2020年はTransformerが大躍進しました。自然言語処理では大規模なTransformerモデルであるGPT-3が高い精度を多くのタスクで叩き出しています。大量のデータと大量のパラメータを使って画像分類でも最高精度であったBig Transferを超えるものが出てきています。 差別的要素や著作権の問題のないフラクタル画像データセットはAIの倫理がさらに重視されるであろう今後は、非常に重要なものになってくるかもしれません。ImageNetにアクセスでき
GitHub - ggerganov/whisper.cpp: Port of OpenAI's Whisper model in C/C++
Stable: v1.5.4 / Roadmap | F.A.Q. High-performance inference of OpenAI's Whisper automatic speech recognition (ASR) model: Plain C/C++ implementation without dependencies Apple Silicon first-class citizen - optimized via ARM NEON, Accelerate framework, Metal and Core ML AVX intrinsics support for x86 architectures VSX intrinsics support for POWER architectures Mixed F16 / F32 precision 4-bit and 5
英国のシングル・チャートで1位を記録したことがあるヒット曲を厳選。「最も偉大なUK No1シングル TOP100」を英国の新聞ガーディアンが発表しています。ルールとしてアーティストが登場できるのは1回だけ。 100 Bill Haley and His Comets - Rock Around the Clock (1955) 99 Lorde - Royals (2013) Advertisement 98 Lieutenant Pigeon - Mouldy Old Dough (1972) 97 Dave and Ansell Collins - Double Barrel (1971) 96 Roy Orbison - It’s Over (1964) 95 The Buggles - Video Killed the Radio Star (1979) 94 Dua Lipa -
copilot-explorer
Copilot Internals | thakkarparth007.github.io Github Copilot has been incredibly useful to me. It can often magically read my mind and make useful suggestions. The thing that surprised me the most was its ability to correctly “guess” functions/variables from surrounding code – including from other files. This can only happen, if the copilot extension sends valuable information from surrounding cod
Metaが、画像や動画内に写っている個々のオブジェクトを、学習しなかったものまで識別できるAIモデル「Segment Anything Model(SAM)」を発表しました。 Segment Anything | Meta AI Research https://ai.facebook.com/research/publications/segment-anything/ Introducing Segment Anything: Working toward the first foundation model for image segmentation https://ai.facebook.com/blog/segment-anything-foundation-model-image-segmentation/ 画像やムービーを分割してセグメントごとに判別する「画像セグメンテーシ
GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
Detailed feature showcase with images: Original txt2img and img2img modes One click install and run script (but you still must install python and git) Outpainting Inpainting Color Sketch Prompt Matrix Stable Diffusion Upscale Attention, specify parts of text that the model should pay more attention to a man in a ((tuxedo)) - will pay more attention to tuxedo a man in a (tuxedo:1.21) - alternative
Last fall I participated in a week long programming event called the Wheel Reinvention Jam. The point of the Jam was to revisit existing software systems with fresh eyes. I ended up making a 3D modeler called “ShapeUp”. This post will make more sense if you watch the video demo of ShapeUp before reading more. You can try ShapeUp in your browser. This is what it looks like: Mike Wazowski modeled in
先日#success4に参加した時「上司からTHE MODELの本を渡されて、これをそのまま実装してほしいと言われている」と話していた方がいました。過去にも同じようなケースを聞き、これは良くないなと思いましたので私なりにポイントをまとめてみました。 そのような上司の方がいたら、まず以下の本の抜粋を見せて「著者もこう言ってます」と伝えていただければ。 その他のポイントは以下箇条書きで。 ・この本で伝えたいのは、プロセスそのものではなく、そこに至る背景を紹介することにより原理原則を理解して、自社にとってのモデルを作る参考になればという事です。 ・プロセスや組織について、EnterpriseやSMB、セルフサービス型などで分類する方法はありますが、会社のステージや製品の認知度、検討部門の特性など様々な要素が影響するので、パターンを整理するのは至難の業と思います。 ・セミナーで「XXの施策を打って
Our natively multimodal AI model Gemini is capable of reasoning across text, images, audio, video and code. Here are favorite moments with Gemini Learn more and try the model: https://deepmind.google/gemini Explore Gemini: https://goo.gle/how-its-made-gemini For the purposes of this demo, latency has been reduced and Gemini outputs have been shortened for brevity. Subscribe to our Channel: h
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
Today, we're announcing the Claude 3 model family, which sets new industry benchmarks across a wide range of cognitive tasks. The family includes three state-of-the-art models in ascending order of capability: Claude 3 Haiku, Claude 3 Sonnet, and Claude 3 Opus. Each successive model offers increasingly powerful performance, allowing users to select the optimal balance of intelligence, speed, and c
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Clean Architecture: Applying with React
ChatGPTの性能低下はホリデーシーズンに休むことを学習したからだという「冬休み仮説」が浮上
機械学習における解釈性について | メルカリエンジニアリング
SaaSビジネスのプロフェッショナルサービスことはじめ｜Naoki Ito(LayerX/㈱銭湯ぐらし)
PyTorch vs TensorFlow in 2023
Google's best Gemini demo was faked | TechCrunch
The End of Programming – Communications of the ACM
Introducing AWS Cost Anomaly Detection (Preview)
View Transitions APIによるスムーズなページ遷移をNext.jsで簡単に試す
Elm at Rakuten | Rakuten Engineering Blog
Microsoftが発表したGPT-4の論文には数多くのコメントアウトされた内容が残されていた
Implementing Hash Tables in C
【解説】SaaSの新戦略。Product-Led Growthの全貌 | 高野泰樹 | UB Ventures
2020年機械学習総まとめ 興味深い論文/記事85選｜akiraTOSEI
「最も偉大なUK No1シングル TOP100」 英ガーディアン紙発表 - amass
Metaが写真に写っている物体を分離して選択できるAIモデル「Segment Anything Model」を公開
Making a 3D Modeler, in C, in a Week
THE MODELをそのまま実装してほしいと上司から言われた人に｜Yasutaka Fukuda
The capabilities of multimodal AI | Gemini Demo
Introducing the next generation of Claude