「Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます」

nilab のブックマーク 2020/09/28 12:56

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4691941841294424546/comment/nilab" data-user-id="nilab" data-entry-url="https://b.hatena.ne.jp/entry/s/hironsan.hatenablog.com/entry/how-to-use-wiki40b" data-original-href="https://hironsan.hatenablog.com/entry/how-to-use-wiki40b" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fhironsan.hatenablog.com%2Fentry%2Fhow-to-use-wiki40b" data-user-icon="/users/nilab/profile.png">Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer</a><br><p style="clear: left">「Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます」</p><a class="datetime" href="https://b.hatena.ne.jp/nilab/20200928#bookmark-4691941841294424546"><span class="datetime-body">2020/09/28 12:56</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

hironsan.hatenablog.com2020/09/26

最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前...

177 人がブックマーク・11 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer

はてなブックマーク

公式Twitter

はてなのサービス