Apple M4チップはArm SEM命令のサポートにより、物体検出など一部の機械学習ワークロードがApple M2の1.5~2倍となっているもよう。
Apple M4チップはArm SEMのサポートにより、物体検出など一部の機械学習ワークロードがApple M2の約2倍となっているようです。詳細は以下から。 Appleは現地時間2024年05月07日、タンデムOLEDテクノロジーを採用したUltra Retina XDRディスプレイを搭載しApple史上最も薄い「iPad Pro (M4)」を発表するとともに、そのiPad Proに初めて搭載する第2世代の3nmテクノロジーを採用した「Apple M4チップ」を発表しました。 このApple M4チップは、Apple史上最も高速なNeural Engineを搭載し、iPad Pro (M4)ではワンタップで被写体を背景から分離できるFinal Cut Proのシーン除去機能などが、より高速に実行できると発表されていますが、 Geekbenchに投稿された10コアのCPUのApple M4
ミンコフスキー距離（Minkowski distance）／Lpノルムとは？：AI・機械学習の用語辞典 用語「ミンコフスキー距離」について説明。2点間の距離を計測する方法の一つで、マンハッタン距離（L1ノルム）やユークリッド距離（L2ノルム）、チェビシェフ距離（L∞ノルム）などを一般化したもの。パラメーター「p」の値を調整することで柔軟に距離を表現できる。 連載目次 用語解説 数学／統計学／機械学習におけるミンコフスキー距離（Minkowski distance）とは、n次元ベクトルで表現される2点（例えばx＝[x1,x2,...,xn]とy＝[y1,y2,...,yn]）間の「距離（ノルム）」を計算するための方法の一つである（具体的な計算方法は後述する）。マンハッタン距離（L1ノルム）や、ユークリッド距離（L2ノルム）、チェビシェフ距離（L∞ノルム）の計算を一般化したものとも見なせる。ミ
import torch from transformers import AutoTokenizer, AutoModelForCausalLM from llava.model.builder import load_pretrained_model if __name__ == "__main__": vlm_model_name = "liuhaotian/llava-v1.5-7b" vlm_tokenizer, vlm_model, image_processor, context_len = load_pretrained_model( model_path=vlm_model_name, model_base=None, model_name="llava-v1.5-7b", load_bf16=True, device_map="cpu", device="cpu" )
Fugaku-LLM利用規約\n この利用規約（以下「本規約」といいます）は、富士通株式会社、国立研究開発法人理化学研究所、国立大学法人東京工業大学、国立大学法人東北大学、株式会社サイバーエージェント、国立大学法人東海国立大学機構、及び株式会社Kotoba Technologies Japan (以下「開発者」といいます)による、スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発の成果物として公開する大規模言語モデル（以下「Fugaku-LLM」といいます）の利用に関する条件を定めるものです。Fugaku-LLMの利用者（以下「利用者」といいます）は、本規約に同意した上でFugaku-LLMを利用するものとします。 \n\n第１条（利用許諾） Fugaku-LLMの利用者は、本規約に従い、Fugaku-LLMを商用または非商用目的を問わず利用することができ
新着情報 AnswerCarefully Dataset バージョン1.0を公開 (2024/4/30) 概要 日本語LLM 出力の安全性・適切性に特化したインストラクション・データAnswerCarefully(AC)データセットVersion 1 を公開します。このデータセットは、英語の要注意回答を集めたDo-Not-Answer データセット の包括的なカテゴリ分類に基づき、人手で質問・回答ともに日本語サンプルを集めたオリジナルのデータセットです。 データセットの特徴 ５つのリスクタイプ（大分類）、12の有害カテゴリ（中分類）、61のサブカテゴリ（小分類）をカバーしています。Version 1は各サブカテゴリにつき10から20のサンプルを含む計945件からなっています。 このうち各サブカテゴリから３件ずつ、計183件をテストデータ、残り762件をを開発データとして２つのファイルに分け
テキスト生成 AI 利活用におけるリスクへの対策ガイ ドブック（α版） 2024（令和 6）年 5 月 29 日 デジタル庁 〔ドキュメントの位置付け〕 参考資料。今後、デジタル社会推進標準ガイドラインへの編入を検討予定 〔キーワード〕 テキスト生成 AI、生成 AI、サービス開発者、サービス提供者 〔概要〕 テキスト生成 AI を利活用し、行政サービスや職員業務の改善の重要度が高まる中、リ スクを特定し、そのリスクを受容できるレベルまでに軽減する対応もまた重要になってい る。テキスト生成 AI に関連するリスクは多岐にわたるが、その多くはテキスト生成 AI 固有 でない AI システム全般に共通するものである。そこで、本文書では政府情報システムを対 象に、テキスト生成 AI 固有と見られるリスクに焦点をあて、留意点を紹介する。現段階 （2024 年 5 月現在）では、実践的なフレームワー
概要 最近話題の Dify を利用し、RAG の機能を持ったチャットボットを作る。 Qiita CLI の README をRAGに登録し、Qiita CLI に関する知識を持ったチャットボットをノーコードで作成する。 最終的に作成される画面は以下のイメージ。 Difyを利用することで、ノーコードで簡単にRAGの機能を持ったチャットボットを作成できる RAGの参照もととなるQiita Cli のリポジトリは以下の通り。 Dify とは Dify は最近注目されているオープンソースの LLM アプリケーション開発プラットフォーム。 「ワークフロー」を利用して GUI ベースで簡単にLLMアプリケーションを作成し、公開やアプリケーションへの組み込みまで簡単にできる。 日本語で書かれた README もあるので日本人にとっても使いやすい。 RAG の機能を持ったチャットボットの作成 利用するライ
ArcFace : 顔認証を行う機械学習モデル
ArcFaceはメトリックスラーニングという仕組みを使用しており、通常のClassificationタスクにSoftmax Lossを置き換えるAngular Mergin Lossを導入することで、距離学習をClassificationタスクで解くことができるようになっています。 顔同士の距離はCos距離を用いています。Cos距離は検索エンジンでも使用される方法で、正規化された2つのベクトルの内積で計算できます。2つのベクトルが同じであればθが0になりcosθ=1、直行していればθがπ/2になりcosθ=0になります。そのため、類似度として使用できます。 （出典：https://arxiv.org/abs/1801.07698）通常のClassificationタスクでは、Featureを計算した後、FC層でFeatureとWeightの内積を取り、出力にSoftmaxを適用します。 A
K-means法は教師なし学習の中でクラスタリングを行いますが、そのアルゴリズムの中でクラスタの重心を求めます。 ところで画像は配列にするとRGBが縦×横になっているわけですが、そのRGBのデータを取り出すことでデータセットにしてクラスタの数を8個にして各色の重心の色を使います。 ※今回はGoogle Colabを使っているのでインデントが少し変ですがおおめに見てください。 ライブラリのインポート from sklearn.cluster import KMeans import cv2 import matplotlib.pyplot as plt import numpy as np
【AWS SageMaker】SageMaker Ground Truthで手持ちの画像をラベリングしてみた - Qiita
背景 AWS SageMakerについて勉強していたところ、SageMaker Ground Truthは画像にラベリングを行うものとあったので、実際に触ってみました。 試した事(概要) 漫画家の矢吹健太郎先生の作品である「ToLoveる-ダークネス-」のヒロインキャラクター画像に対して、キャラクター名をラベリングしてみました。 例えば、 これは「ヤミ」のラベルを付けて、 これは「モモ」のラベルを付けてみる形です。 試した事(詳細) 1. S3にラベリングを行いたい画像をアップロード 今回は12枚の画像(pngファイル)をアップロードしました。 2. SageMaker Ground Truthにて、ラベリングジョブを作成 どこに保存されている画像に、どのようなラベリングを行うのか、作業者は誰か、等の設定をしたジョブを作成します。 まずは、マネジメントコンソールのSageMaker画面の左
How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps | Amazon Web Services
AWS Machine Learning Blog How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps This post is co-written with HyeKyung Yang, Jieun Lim, and SeungBum Shim from LotteON. LotteON aims to be a platform that not only sells products, but also provides a personalized recommendation experience tailored to your preferred lifestyle. LotteON operates various specialty stores,
2024年5月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2024年6月号です。2024年5月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになった点が個人的に大きなアップデートでした。モデルのアーキテクチャが新しくなり、精度の向上や推論速度のアップがされました。 以下のブログでも詳細に取り上げています。 Google Cloudでは、Vertex AI SearchでチェックグラウンディングAPIが一般提供開始されました
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ミンコフスキー距離（Minkowski distance）／Lpノルムとは？
Chat VectorでLLaVAを日本語対応させる
Fugaku-LLM/Fugaku-LLM-13B · Hugging Face
AnswerCarefully Dataset – RIKEN-AIP, LIAT
テキスト生成 AI 利活用におけるリスクへの対策ガイドブック（α版）
Dockerで構築したDifyを利用しノーコードでRAGのチャットボットを作る - Qiita
Masanori Kusunoki / 楠 正憲 on X: "デジタル庁では昨春からガバメントクラウド上でLLMの試用を開始し12月から全庁で使える技術検証環境を整備してユースケース発掘に取り組んできました。その成果を踏まえて本格利用に向けたリスクへの対策ガイドブックのα版を公表します。是非とも参考の上ご意見いただきたく https://t.co/9AiANWa95a"
機械学習を応用して画像のポスタリゼーション - Qiita
クラスメソッド データアナリティクス通信(機械学習編) – 2024年6月号 | DevelopersIO