Amazon Titan Text Embedding V2 を試してみた | DevelopersIO
特にV2ではベクトルサイズ(dimensions)を柔軟に選択できるようになったため、用途に応じて適切な値を選択すると良さそうです。 使用ライブラリ 今回使用するライブラリは、boto3のみです。 boto3：1.34.61 コサイン類似度を計算する際、一般的には以下のブログのようにNumPyやSciPyという外部ライブラリを別途導入し利用する事が多いです。 今回はあえて外部ライブラリを使わず、boto3以外はPythonの標準ライブラリのみでコサイン類似度を計算します。 boto3がプリインストールされているCloudShell等の環境であれば追加の外部ライブラリなしで実行できるので、ぜひそちらでお試しください。 スクリプト内容 Pythonのスクリプトを以下に示します。 スクリプト実行時の引数に比較対象となる2つの文を指定して実行すると、コサイン類似度が出力されます。 また今回はオレゴ
レコメンドで使用する類似アイテムをAmazon Bedrockとitem2vecで計算・比較検証してみた - コネヒト開発者ブログ
みなさんこんにちは。MLエンジニアのたかぱい（@takapy0210）です。 最近、久しぶりに機動戦士ガンダムSEEDを見直しました。（来年には劇場版の公開もあります） 地球連合軍第7機動艦隊に所属するパイロットであるムウさんの 「君は出来るだけの力を持っているだろう？なら、出来ることをやれよ」 というセリフが好きです。 相手をリスペクトしつつ、でもお前はもっとできるだろ？という期待も込もった、良い言葉だなと感じます。 さて本日は、レコメンドで使用頻度の高い類似アイテムの計算処理を2パターンで実施し、どんな差分がでるのか？を検証した結果をお話ししようと思います。 この記事はコネヒト Advent Calendarのカレンダー 10日目の記事です。 adventar.org 目次 背景 Amazon Bedrockの埋め込みモデルでベクトルを取得する item2vecで計算したベクトルを取得
Amazon SageMaker Object2Vec adds new features that support automatic negative sampling and speed up training | Amazon Web Services
AWS Machine Learning Blog Amazon SageMaker Object2Vec adds new features that support automatic negative sampling and speed up training Today, we introduce four new features of Amazon SageMaker Object2Vec: negative sampling, sparse gradient update, weight-sharing, and comparator operator customization. Amazon SageMaker Object2Vec is a general-purpose neural embedding algorithm. If you’re unfamiliar
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
