SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
日本語形態素解析器 Sudachi の語彙データ（SudachiDict）および単語ベクトル（chiVe）が AWS 上で Open Data として公開されました | Amazon Web Services
Amazon Web Services ブログ 日本語形態素解析器 Sudachi の語彙データ（SudachiDict）および単語ベクトル（chiVe）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の言語ごとの辞書データや単語ベクトルデータを用いることが一般的です。これらのデータは GB 以上のサイズにおよび、また計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの調達が問題となってきました。AWS 上で自然言語処理モデルの開発を行う際には、Amazon SageMaker を用いて学習に必要なリソースを確保することで、ALBERT の
【13個掲載】 機械学習に使える日本語のデータセットまとめ - Qiita
※本記事は、Lionbridge AI発の連載記事を再編集したものです。他の機械学習に使えるオープン・データセットまとめ記事は、こちらからご覧ください。 本記事は、日本語のデータセットを紹介いたします。日本語の公開データセットを無料ダウンロードできるポータルサイトや、自然言語処理に使える日本語のテキストデータセットを含みます。 機械学習に使える日本語のデータセットポータル DATA GO JP: 日本政府のデータカタログサイト。日本政府は、公共データを広く公開することにより、国民生活の向上、企業活動の活性化等を通じ、我が国の社会経済の発展に寄与する観点から、機械判読に適したデータ形式を、営利目的も含めた二次利用が可能な利用ルールで公開する「オープンデータ」の取組を推進しています。このウェブサイトは、二次利用が可能な公共データの案内・横断的検索を目的としたオープンデータの「データカタログサイ
TETDM - PukiWiki
Total Environment for Text Data Mining † テキストデータマイニングのための統合環境 ↑ 背景 † 世の中で蓄積されるデータに対する分析のニーズが高まっている一方で，データを分析できる人材が足りず，その育成が急務となっています． 世の中の多くの人が，AIリテラシー，データサイエンスのスキルを身につけることが求められる時代になっており，小中高大学で必修化の動きが進められています． データを分析できる人材とは，単にデータ分析のツールを使える人，分析手法の知識を持つ人ではなく，データ分析の一連の手順を理解し，分析の結果に意味を与え，与えられた意味を整理，統合して知識としてまとめられる人になります． ↑ TETDMとは † TETDMは，テキストデータから様々な情報を抽出して提供し，データの考察を促して意思決定の助けとする，データ分析支援ツールです． テキスト
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TIS、機械学習で感情解析を行うためのデータセット「chABSA-dataset」を無償公開