KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜
BERTopic は、Transformersを用いて文書のトピックモデリングを行うためのPythonライブラリです。本記事では、自分がKaggleコンペの初手EDAによく使うコードをまとめました。 入出力のイメージ 入力： 文章のリスト （例：["I am sure some bashers of Pens fans ...", "My brother is in the market for a high-performance video card that supports VESA local bus with 1-2MB RAM. Does anyone hav...", ...]） 出力： 各文書の関係性を表した2次元座標図 ソースコード 以下にもあります Github Google colab import pandas as pd from umap import UMA
Kaggleコンペ（LLM Science Exam）の振り返りと上位解法まとめ
コンペURL どんなコンペ？ LLM（ChatGPT）が作った科学・技術・工学・数学分野の問題をKaggle notebookという限られた環境下（主にメモリ13GBと9時間以内に完了）でどのくらいの精度で解けますか？という自然言語処理系のコンペ。 以下に入出力例を示しています。 ・入力 （質問）バタフライエフェクトとは何ですか？ （A）バタフライ効果とは、巨大な球体が不安定な平衡点から... （B）バタフライ効果は、古典物理学における必要条件... （C）バタフライ効果は、古典物理学における物理現象の... （D）バタフライ効果とは、巨大な球体が不安定な平衡点から.... （E）バタフライ効果は、物理学における因果関係の概念の適用と.... ・出力 E A B （解答を可能性の高い順番に出力） 評価指標はMAP@3（Mean Average Precision）でした。 ベースライン解法
機械学習の回帰データとしては、ボストン住宅価格データではなく、カリフォルニア住宅価格データを使おう
結論・サンプルコード 回帰のデータセットが欲しい場合、ボストンデータセットではなく、カリフォルニアデータセットを使いましょう。 ソースコード from sklearn.datasets import fetch_california_housing california_housing = fetch_california_housing() train_x = pd.DataFrame(california_housing.data, columns=california_housing.feature_names) train_y = pd.Series(california_housing.target) train_x.head() train_y.head() 結果 0 4.526 1 3.585 2 3.521 3 3.413 4 3.422 背景 ボストン住宅価格データはポリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
