タグ

NLPと*historyに関するsh19910711のブックマーク (2)

  • 個人でも何か出来たあの頃のNLP - yag's blog

    自分はNLPのどんな部分が好きだったんだろうと最近ふと思うことがある。こんなことを書くと懐古厨や老人だと思われるかも知れないが、最近のLLMの急速な発展を横目に、before-LLMのあの頃の自分を振り返ることがたまにある。 あの頃は、LLMのような単一のモデルであらゆるタスクが解けることはなくて、翻訳なら翻訳、固有表現抽出なら固有表現抽出のモデル構造があり、それ専用にデータを収集し整備していた。モデル構造の複雑さはあまりなく基的にはデータが全てであり、その元をたどれば機械学習のタスク設計のユニークさとそれを解くだけの専用のデータ量が鍵であった。だから、アカデミックで日々競われる王道のタスクやベンチマークが存在する一方、企業の中で独自に必要とされるタスクや、個人で利用するような用途の限られたモデルも作れる幅があった。機械学習モデルをサクッと作れるパッケージは存在したが、データ収集や前処理

    個人でも何か出来たあの頃のNLP - yag's blog
    sh19910711
    sh19910711 2024/04/19
    "あの頃: データ収集や前処理などある種の専門性が必要な時代 + 専門用語の辞書が作られテキストにもユニークな特性を持ったコーパスが存在し、独立したタスク設計やコミュニティが存在していた" 2023
  • 1960年代初めに開発された物語自動生成システム | スラド サイエンス

    現代ではコンピューターに物語を生成させるさまざまな試みが行われているが、1960年代初めに言語学者Joseph E. Grimes氏が開発したコンピューターによる物語自動生成システムについて、人からの聞き取りも含めた幅広い調査結果の論文を米カリフォルニア大学サンタクルーズ校のJames Ryan氏が発表している(論文、The Register)。 現在、最古の物語自動生成システムとして広く知られているのは1971年に報告された言語学者Sheldon Klein氏によるミステリー小説自動生成システムだが、Grimes氏は1960年または1961年の夏にメキシコ国立自治大学のIBM 650を使用して物語自動生成システムの開発を始めていたそうだ。システムは機械語で書かれていたが、のちに使用したIBM 1401(メキシコ国立自治大学のものと米オクラホマ大学のものを使用)ではFORTRANでプログ

    sh19910711
    sh19910711 2022/09/03
    2017 / "Grimes氏は1960年または1961年の夏にメキシコ国立自治大学のIBM 650を使用して物語自動生成システムの開発を始めていたそうだ / モンテカルロ法により選択した要素を組み合わせて自然言語による文を生成"
  • 1