エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Huggingface Transformers 入門 (25) - 日本語の要約の学習|npaka
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Huggingface Transformers 入門 (25) - 日本語の要約の学習|npaka
2. 要約データセットの準備はじめに、「要約データセット」を準備します。 「ThreeLineSummaryDataset」... 2. 要約データセットの準備はじめに、「要約データセット」を準備します。 「ThreeLineSummaryDataset」の「train.csv」にLivedoorニュースのIDのリストがあるので、それを使います。 Livedoorニュースの「3行要約」と「本文」をスクレイピングで取得します。bs4でスクレイピングするコードは次のとおりです。サーバーに負荷をかけないように、10秒に1回だけ通信するようにしています。 from urllib.request import urlopen from bs4 import BeautifulSoup from bs4.element import NavigableString from pprint import pprint import time # コンテンツの取得 def get_content(id): time.sleep(10)