国会図書館デジタルコレクションのリニュアルとChatGPT

2022年の暮れも押し迫った12月21日に、国立国会図書館デジタルコレクションがリニュアルした。イーストのSさんに教えてもらってすぐにアクセスしてみたのだが、これが私のような人間にはめちゃめちゃ興奮するし役に立つし楽しいものになっていた。 遠隔複写のための利用者登録をしたばかりだったので、今回のリニュアルがいかに画期的なものかがよく分かる。国会図書館の蔵書のうち、本、雑誌を中心に《約247万点》の全文検索ができるようになったのだ（これまでの50倍に一気に増えた）。 全文検索ということは、1冊の本の中身の一字一句もらさず検索して洗い出してしまえるということを意味する。グーグル感覚という言い方がいちばん分かりやすいだろう。 試しに、個人的に昨年から調べていた「秋葉三尺坊」という平安末期に生まれたお坊さんの名前を入力してみる。すると1秒かそこらで、1415件もの検索結果が出てくる。いまの一般の日

[Eiichiro]

まじで夢があるなぁ。卒論の時に、大谷宗一文庫にしか蔵書がない本を、何度も諦めたし。国会図書館も東京まで行けずに、諦めた。国会図書館すごい！

[yoiIT]

“国立国会図書館のデジタル化資料のすべてを、ChatGPTみたいな言語モデルとぜひとも融合してほしい”

[chambersan]

危険な生物はクローズドな環境下で良質な餌を与えて育てましょう

[yarumato]

“国会図書館の全文検索の対象は、書籍が明治～1987年まで、雑誌は明治期以降で刊行後5年経過、に限られる。だが調べもの好きには革命的だ。一次資料に手が届く。1977年～2000年の『月刊アスキー』も検索できる”

[clclcl]

考えが甘すぎるとしか。仮に国会図書館の本の中身をChatGPTが全部覚えたとして、「本に書いてあることはすべてが正しい」とでも？嘘を除去するとしても、誰がどんな基準で判断する？「面白い」と「使える」は別問題。

[NEXTAltair]

OCRで読み取ってGPTをチューニングできるならしたいがそんなリソースは無い

[egamiday2009]

“国立国会図書館のデジタル化資料のすべてを、ChatGPTみたいな言語モデルとぜひとも融合してほしい”

[tomo31415926563]

たぶん学習には使っているんじゃないかな。専用のチャットボット作りたかったらgpt-indexで読み込ませればすぐできる？ここまで大量のものを読み込ませるとどうなるかはわからないけど。

[lein4921]

出典表示させてあとは自分で判断すればいいだけだろ｡これまで人間の発信､書籍､報道と接する際には当たり前のようにやってたのに､AIになるとできなくなるのか？>「本に書いてあることはすべてが正しい」とでも？

[shunkeen]

年代別の文献でチューニングしたり、ジャンル別にチューニングした文章生成AIは見てみたい気がする。戦国時代の文献とSF小説で学習したAIの生成するサイバーパンク忍者の密書とか

[uunfo]

国会図書館蔵書約247万点の全文検索。 肝心のデジタルライブラリーにリンク貼れよ https://dl.ndl.go.jp/／使ってみたけどOCRめちゃくちゃなものも多く「1冊の本の中身の一字一句もらさず検索して洗い出してしまえる」感はない

[evergreeen]

夢があるけど、日本語みたいなマイナー言語でペイするほどの計算機資源使うのは難しそう。データ至上主義はマイナー言語には不利。

[blockchain-bitcoin]

大規模言語モデルの危険性や（未規制の）権利侵害の可能性も認識していないとか馬鹿じゃねえの？第一日本人の英知を外資に利用させるとか売国奴の発想だわ。仮にやらせるにしても日本人研究者と日本ベンチャーだな

[IGA-OS]

AIの日本語モデル強化は、色んなところで取り組む動きはいると思うな・・・

[nisisinjuku]

国会図書館のデータを総なめしたAIか。爺むさい感じなのかな。明治の言葉とか急に引用したりな。ただ、それもそのうちにこなれてくるんだろ？そうなると急に未来というか日常に溶け込むんだろうな。

[aaasukaaa]

凄いの爆誕しそう。もうそいつに日本の政治任せようぜ。今の政治家よりまともな判断してくれそう

[son_toku]

（もしかして）大宅壮一文庫?

[oboyu]

近いうちに実現されそう

[sagami3]

ちょっと凄くないか？ あとでもう少し詳しく調べたい。

[aneet]

日本語に強い大規模言語モデル欲しいよね。ChatGPTなんてデータ漁りまくってたら偶々日本語のデータも混じってたぐらいだろうしね。

[quick_past]

あれ？戦後の雑誌類はほとんど読めないものだと思ってたけど、アスキーは読めますのん！？

[BlueSkyDetector]

後半部分が本題

[everybodyelse]

もしかしてえっちな雑誌も検索できる？

[irimo]

確かにchatGPTでなくともディープラーニングと相性いいな

[peketamin]

“今回、ネットに向けて開架されたという言い方をしてもよいだろう。ほぼすべての国民が毎日のように端末を使い、AIが社会を変えようとしているいま、そのことがもたらす価値はこれから証明されていくはずだ”

[ya--mada]

ほぉほぉ、