医療スタートアップのUbieに入社して1年が経ちました。これまでの人生で一番短かったんじゃないかというくらいのスピードで月日が過ぎ去っていき、主体的に携わるプロジェクトも1.5周くらいしたところかなと思います。この記事では機械学習エンジニアの私が、医療というドメインの自然言語処理に携わるなかで考えたことを紹介したいと思います。 最近ではリーガルテックをはじめ、HR、ファイナンス、そして医療など、様々な領域で自然言語処理の活用が広がっています。そうした専門ドメインでの自然言語処理に携わる人も増えてきていると思いますので、その中の一例として何かしら参考になれば幸いです。 【目次】 - 医療という専門領域の知識は必要 - 分野が違っても手法は同じ、研究が扱う題材を知っておく - 医療という特殊なデータ事情 - なぜ私はいま医療言語処理をやるのか？ - まとめ 医療という専門領域の知識は必要 機械
今回は初心に帰って類似文章検索です。連載の第1回で扱ったネタですが、 BERT を用いて再挑戦してみましょう。BERT のモデルは Hagging Face Transformers の事前学習済みモデルを用いるので、お手軽に試せるかと思います。手法としては Sentence BERT を用い、おまけとして Poor Man's BERT についても紹介します。 （本記事公開後に公開されたデータセットで再検証しています。最新情報は 第18回 をご覧ください。 2021.12.21 追記） 1. はじめに 本記事では Sentence BERT 1による類似文章検索について、学習や推論のコード例と実験結果を交えてご紹介します。前々から Sentence BERT を試したいと考えていたものの、教師あり学習に必要な日本語の類似文データが用意できずにいました。その後、画像キャプションのデータセッ
はじめての自然言語処理 | オブジェクトの広場
ウェブ、メール、SNS 等、私たちの周りには自然言語で記述された文章が溢れていて、様々な情報や価値が含まれています。 しかし、その量は膨れあがり、人間が目視で内容を確認し対応することは困難になってきています。 自然言語処理技術で、これら膨大な文章を人手によらず判断、抽出、検索、変換し、適切なアクションにつなげることができます。そして深層学習の登場により、その性能が飛躍的に向上していることはウェブの翻訳サイトなどを通じ皆さんも体感していることでしょう。 本連載は手を動かしながら自然言語処理技術を学びたい人、システムに組み込んで役立てたい人を対象にしています。 BoW、TF-IDF のような基礎から BERT をはじめとした深層学習を用いた最新手法まで、日本語で動作させるサンプルコードを交えながら紹介していきます。 以下はこれまでの連載でカバーされている内容を俯瞰したイメージです。図中の丸数字
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
データは日々爆発的に生まれている。現存するデータの90％が過去2年以内に生成されたものだと言われている。 つまり、2年ごとに世界に存在するデータ量は10倍に増え続けている。しかし、その大量のデータを処理可能な自然言語処理技術は、これまでリーガルやコールセンターなどの限られた分野でしか活用が進んでこなかった。 自然言語処理（NLP）とは？ | 意味や仕組み・現在の課題と活用例 自然言語処理技術に革命をもたらしたのが、2018年にGoogleが公開した汎用言語モデル「BERT」だ。 BERT（Bidirectional Encoder Representations from Transformers）とは 2018年秋にGoogleがオープンソースとして公開した自然言語の意味理解に特化したモデルの名称。 そのBERTを自社のサービスに活用している会社が、2016年に設立された東京大学発ベンチ
概要 2013年から2022年に公開された歴代の自然言語処理モデルをGLUEスコアに沿って整理します。 背景 過去に生み出された革新的な技術は、日々、新しいアイデアや技術が公開される現在でも使われています。これまで、自然言語処理界において、ターニングポイントとなったであろう技術を時系列に振り返ろうと思いました。 自然言語処理モデルについて 自然言語処理モデル活用例 一概に自然言語処理モデルと言っても、それが一体何ものなのか理解し難いと思います。 現代社会で自然言語モデルが活用されている事例には以下のようなものがあります。 自動翻訳 ：ブラウザの翻訳機能などで、自動的に翻訳してくれます。 文章自動生成 ：文章を自動で要約したり、適当な文章を生成してくれます。 チャットボット：企業の問い合わせサイトなどで、質問した内容に答えてくれます。 自然言語処理モデルとしては、直接、翻訳精度上げるよう
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
ML事業部の金田です。今回は、ストックマークの提供する法人向けサービス「Anews」の裏側で動くビジネスニュース推薦システムについて、簡単に紹介いたします。 AnewsとはAnewsは組織変革のための情報収集＋コミュニケーションプラットフォームです。 情報収集のためのコア機能としては、国内外３万メディアから収集したビジネスニュースから、利用者の興味・関心に合わせて記事を配信するサービスを提供しています。日々配信されるニュースから業務ニーズに直結するインサイトを獲得し、これを話題にユーザ同士が交流することで、組織全体の情報感度やコミュニケーションを促進させるのが、サービスの狙いです。 事前準備：ことばの定義具体的な機能説明の前に、Anewsにおける基本的な概念について軽く整理します。 Anewsは1企業＝1集団としての利用を想定しています。以降ではこの集団をチーム、チームに所属する各利用者を
忙しい人のための自然言語処理 - Qiita
import requests import json import sys BASE_URL = "https://api.ce-cotoha.com/api/dev/" CLIENT_ID = "COTOHA APIで取得したIDを入力" CLIENT_SECRET = "COTOHA APIで取得したパスワードを入力" def auth(client_id, client_secret): token_url = "https://api.ce-cotoha.com/v1/oauth/accesstokens" headers = { "Content-Type": "application/json", "charset": "UTF-8" } data = { "grantType": "client_credentials", "clientId": client_id, "c
1. 概要 近年、ディープラーニングの自然言語処理分野の研究が盛んに行われており、その技術を利用したサービスは多様なものがあります。 当社も昨年2020年にINTELLILINK バックオフィスNLPという自然言語処理技術を利用したソリューションを発表しました。INTELLILINK バックオフィスNLPは、最新の自然言語処理技術「BERT」を用いて、少ない学習データでも高精度の文書理解が可能です。また、文書の知識を半自動化する「知識グラフ」を活用することで人と同じように文章の関係性や意図を理解することができます。INTELLILINK バックオフィスNLPを利用することで、バックオフィス業務に必要となる「文書分類」「知識抽出」「機械読解」「文書生成」「自動要約」などさまざまな言語理解が可能な各種AI機能を備えており、幅広いバックオフィス業務の効率化を実現することが可能です※1。 図：IN
画像出典：Google I/O 2022におけるサンダー・ピチャイCEOの基調講演をまとめたGoogle公式ブログ記事より引用 前書き 2022年5月11日から12日、毎年恒例のGoogle主催の開発者会議「Google I/O 2022」がハイブリッド開催されました。同社のサンダー・ピチャイCEOが行った基調講演をまとめた記事を読むと、多数のAI技術が発表されたことがわかります。この記事では、GoogleI/Oの発表から特に自然言語処理に関するものを抽出して解説します。 統合学習データを使って24の言語に対応 Google I/O 2022では、Google翻訳が新たに24の言語に対応したことが発表されました。対応した言語にはインド北東部で使われるアッサム語、クルド人が話すクルド語などが含まれいます（24の翻訳対応言語については本記事末尾の付録参照）。この新機能の実現には、多言語機械翻訳
はじめに 本記事では、spaCyとGiNZAを使った日本語の自然言語処理の手順を紹介します。 コードの部分ではspaCyのクラスがわかるように示していますので、ぜひ公式ドキュメントも参照ください。 想定する読者 以下の人を想定して書いてます。 日本語の自然言語処理に興味がある人（※自然言語処理に関する知識は必要ないです。） Pythonのソースコードが読める人 使用するライブラリ 今回はspaCyとGiNZAという2つのライブラリを使用します。 spaCyとは spaCyは高度な自然言語処理を行うためのライブラリです。 自然言語処理では対象とする言語（日本語や英語）によって必要な処理や複雑度が変わるのですが、spaCyは多言語対応を意識して設計・開発されており、そのアーキテクチャから学べることも多く非常に良くできたライブラリです。 spaCyでは訓練済みのモデルを読み込むことで多言語の自然
「spaCy 3.0.0」では、新機能としてマルチタスク学習をサポートするトランスフォーマーベースのパイプラインや、18以上の言語用に再トレーニングされたモデルファミリーと5つのトランスフォーマーベースパイプラインを含む計58のトレーニング済みパイプラインが追加されている。 ほかにも、サポートされているすべての言語用に再トレーニングされたパイプラインとともに、マケドニア語とロシア語用の新しいコアパイプライン、新しいトレーニングワークフローと構成システム、PyTorch、TensorFlow、MXNetといった機械学習フレームワークを使用したカスタムモデル、前処理からモデル展開までのエンドツーエンドのマルチステップワークフローを管理するためのspaCyプロジェクトが実装された。 機能改善としては、データバージョン管理（DVC）、Streamlit、Weights＆Biases、Rayなどとの
知識ベースの自然言語処理への活用
招待講演: 第22回音声言語シンポジウム兼第7回自然言語処理シンポジウム https://www.ipsj.or.jp/kenkyukai/event/nl246slp134.html
動機 MeCabを導入するのは結構手間だと感じていて、 環境が変わるたびに入れるのに疲れたのでCOTOHA APIを使ってみました。 提供API一覧 ここからみれます。 構文解析 日本語テキストの構造と意味を解析します。 固有表現抽出 人名や地名などの固有表現を抽出します。 照応解析 「あれ」「彼/彼女」「同〇〇」「その〇〇」等の指示語を検知し、指し示す対象を特定します。 キーワード抽出 文章からキーワードを抽出します。 類似度算出 ２つの文章の類似性を数値化し出力します。 文タイプ判定 挨拶や同意、約束などの発話行為のタイプを判定します。 同時に、叙述文、命令文、質問文などの文タイプを出力します。 ユーザ属性推定 文章からユーザの年代、職業などの属性を推定します。 言い淀み除去 ユーザからの音声入力時に含まれる言い淀みを除去します 音声認識誤り検知 音声認識処理後のテキストに対して、認識
NEologdは新語や固有名詞に強い形態素解析用辞書として有名ですが、2020年の9月を最後に更新がありません。実用上の問題は大きく分けて2つあります。 新語・固有名詞が供給されない 不具合が修正されない 1つ目も重要なのですが、今回フォーカスするのは2つ目の点です。 私は個人開発でazooKeyという日本語入力アプリケーションを開発しています。かな漢字変換用辞書の生成の目的でNEologdを使っているのですが、この用途では品詞と読みの正確性がクリティカルになってきます。しかしNEologdの辞書では「ヤバい」が固有名詞になっていたり、「光GENJI」に「イチ」と読みがついていたりします。これは回り回ってかな漢字変換の性能に影響を与えるので、可能な限り修正したい不具合です。 しかし、更新がない以上、自前でどうにかするしかありません。 不具合への対処 当初この手の問題は実行時に動的に適用する
![[自然言語処理] NEologdを自前で改造して使っている話](https://cdn-ak-scissors.b.st-hatena.com/image/square/35effa39bc3298fe36422a3a4a780ecae847b11a/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--MbiotXkW--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%252587%2525AA%2525E7%252584%2525B6%2525E8%2525A8%252580%2525E8%2525AA%25259E%2525E5%252587%2525A6%2525E7%252590%252586%25255D%252520NEologd%2525E3%252582%252592%2525E8%252587%2525AA%2525E5%252589%25258D%2525E3%252581%2525A7%2525E6%252594%2525B9%2525E9%252580%2525A0%2525E3%252581%252597%2525E3%252581%2525A6%2525E4%2525BD%2525BF%2525E3%252581%2525A3%2525E3%252581%2525A6%2525E3%252581%252584%2525E3%252582%25258B%2525E8%2525A9%2525B1%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AMiwa%252520%25252F%252520Ensan%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzRmOTgwNWI4OGIuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3AazooKey%252520blogs%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzkyNDQ4NzBlMTUuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
こんにちは。シナモンAI広報担当です。 シナモンAIでは自然言語処理技術を用いたプロダクトAurora Clipper（オーロラ・クリッパー）を展開しており、特定の文脈を持つ日付や人物名の取得、長い文章からの要点抽出、テキストの分類など様々な用途で用いられる製品を提供しております。 弊社では100名程度のAIリサーチャーを抱えており、その中でも自然言語処理に特化したチームではAurora Clipperの基礎となるAIモデルも日々改善しています。本記事では、自然言語処理技術に関わる研究の成果として日本語版ELECTRAを公開したため、弊社のPMが概要をご紹介いたします。 自然言語処理の課題 自然言語処理はその名の通り、言葉を数値情報として取り扱うことで、言葉の持つ意味を解析します。 この技術が特に注目されるようになったのは、Google Brainが2018年5月にBERT (Bidire
自然言語処理技術の研究・開発の裏話。日本語の基盤モデルを搭載したHyperCLOVAの大規模化と応用可能性
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE株式会社およびヤフー株式会社は、2022年11月17日・18日の2日間にわたり、技術カンファレンス「Tech-Verse 2022」をオンライン（ライブストリーミング形式）にて開催しました。特別連載企画「Tech-Verse 2022 アフターインタビュー」では、発表内容をさらに深掘りし、発表で触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「日本語の基盤モデルを搭載したHyperCLOVAの大規模化と応用可能性」です。 LINEはNAVERと共同で独自の日本語基盤モデルの開発を進めてきました。本セッションでは、その基盤モデルを搭載したHyperCLOVAの現状と課題につ
はじめに 3年前に大学の研究で自然言語処理に使った自然言語フレームがGiNZAでした。 どこまでアップデートされたか興味があるので、調べていきます。 仕組みも論文で説明されているので興味があったら公式サイトから閲覧してみてください！！ GiNZA 日本語自然言語処理フレームワークで形態素解析器として用いります。日本語の解析処理、依存構造（係り受け）解析や固有表現抽出などをすることができます。 また、GiNZAは自然言語処理フレームワークのspaCyと形態素解析器のSudachiPyの2つの基盤技術を利用しています。そのため、spaCyと併用して使用することができます。 その他にも様々なプロジェクトが稼働しているようで、その一つとして、HappyDBという不特定多数の人々の協力から成る10万件の幸福な瞬間を収集したDBを作られているようです。 インストール インストールする種類がいくつかあっ
Google が 2018 年に発表した深層モデル BERT は、自然言語処理 (NLP) の多くのタスクでブレイクスルーを起こしました。性能面で進歩がある一方で、公平性に関するガイドラインが総務省から発表される等、産業界では解釈可能な AI を求める声が大きくなってきています。そこで本セッションでは、このギャップを埋めるために Microsoft Research が開発している、interpret-text と呼ばれる機械学習ライブラリをご紹介します。BERT を含む、様々な自然言語処理モデルを解釈するための 2 つの方法について解説し、簡単なデモをお見せします。 Deep Learning Digital Conference - connpass https://dllab.connpass.com/event/178714/
三井住友フィナンシャルグループ（FG）が最先端AI（人工知能）の活用にアクセルを踏む。 自然言語処理に特化したAIである「BERT」をベースにしたAIシステムをこのほど開発した。SMBC日興証券ら2社のコールセンターの照会応答支援業務を皮切りに、三井住友銀行（SMBC）をはじめとするSMBCグループ全体で活用する。同AIシステムの外販も視野に入れており、国内金融機関にBERTの導入が加速する可能性がある。 コロナ禍で重要性高まるコールセンター、総コスト2割削減へ 新たに開発したのはコールセンターの照会応答業務を支援するAIシステムだ。顧客からの電話やメールを受けたオペレーターが端末に検索用の文章を入力すると、対応する回答を掲載した社内FAQ（よくある質問と回答）のWebページやPDF文書を表示。オペレーターが顧客の問い合わせに素早く正確に答えられるようにする。 AI技術ベンチャーの米All
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
2021/08/26 CEDEC2021
2023/03/20 追記 Studio Ousia様によるLUKEモデルをベースに学習したSentence-LUKEモデルを公開しました。 Sentence-LUKEモデル: https://huggingface.co/sonoisa/sentence-luke-japanese-base-lite 手元の非公開データセットでは、日本語Sentence-BERTモデル（バージョン2）と比べて定量的な精度が同等〜0.5pt程度高く、定性的な精度は本モデルの方が高い結果でした。 2021/12/14 追記 MultipleNegativesRankingLossを用いて学習した改良版モデルを公開しました。 改良版（バージョン2）のモデル: https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2 手元の非公開デー
スクウェア･エニックスは、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表した。 スクウェア･エニックス（東京都新宿区）は4月21日、AI技術の学習用コンテンツ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」を無料配信すると発表した。PC用アドベンチャーゲーム「ポートピア連続殺人事件」を題材にしたソフトで、自然言語処理技術を体験できる。PCゲーム配信プラットフォーム「Steam」で24日から配信する。 ポートピア連続殺人事件はエニックスが1983年にリリースしたPCゲーム。「ドラゴンクエスト」シリーズの生みの親である堀井雄二さんが手掛けた。プレイヤーは刑事となり、神戸市で起こった殺人事件の犯人を
深層学習を用いた自然言語処理モデル（AI）のAPIを無償提供 ー 導入をご検討の企業のみなさまへ（2021年5月19日更新）
深層学習を用いた自然言語処理モデル（AI）のAPIを無償提供 ー 導入をご検討の企業のみなさまへ（2021年5月19日更新） 2020年9月にお知らせしました深層学習を用いた自然言語処理モデル（AI）のAPI無償提供について、条件の一部追記、及び2021年5月19日時点の導入企業様一覧を更新しました。 いつもYahoo!ニュースをご利用いただきありがとうございます。 Yahoo!ニュースでは、「Yahoo!ニュース コメント」の健全化を目的に導入している「深層学習を用いた自然言語処理モデル（AI）」を利用してコメントを評価する技術のAPI（アプリケーション・プログラム・インターフェース）を無償提供します。 導入をご検討中の企業のみなさまは、こちらの内容をご覧いただき、ページ下部の問い合わせ先よりお問い合わせください。API提供の背景や詳細につきましては、プレスリリースをご覧ください。 提供
前回は BERT についてその概要と使い方を紹介しました。今回は自然言語処理ライブラリである spaCy と spaCy をフロントエンドとする日本語NLPライブラリの GiNZA について紹介します。 1. 始めに 本記事では欧米で有名な自然言語処理ライブラリである spaCy とリクルートと国立国語研究所の共同研究成果である日本語NLPライブラリ GiNZA について紹介します。記事の前半では、spaCy と GiNZA の概要と日本語を処理する際の基本的な機能／操作について説明します。後半では、spaCy で提供される文章分類機能について、前回までに紹介した手法も含めて精度を比較してみます。 2. spaCy と GiNZA の概要 spaCy は Explosion AI 社の開発する Python/Cython で実装されたオープンソースの自然言語処理ライブラリで MIT ライセ
Yahoo!ニュース、不適切コメントへの対策として導入している深層学習を用いた自然言語処理モデル（AI）のAPIを無償提供開始 - ニュース - ヤフー株式会社
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社のコーポレートサイトはこちらです。 当ページに記載されている情報は、2023年9月30日時点の情報です。 ～ 建設的なコメントを評価する特許出願中の技術を外部に提供し、業界全体でインターネット空間の健全化を目指す ～ 詳細ページ ヤフー株式会社（以下、Yahoo! JAPAN）は、「Yahoo!ニュース コメント」の健全化を目的に導入している「深層学習を用いた自然言語処理モデル（AI）」を利用してコメントを評価する技術（以下、本AI技術）のAPI（アプリケーション・プログラム・インターフェース）の無償提供を開始します。投稿系サービス事業者は、Yahoo! JAPANのAPIを活用することで、自社サービスに投稿されたコメントをAIで評価し、それをもとに自社においてコメントの削除や表示順の並び替え
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEで働くエンジニアにいろいろと話を聞く「LINE Engineer Insights」。LINEの技術組織で働く個々人に、何を重視して技術者としてのキャリアを歩んでいるのか、今LINEで何に取り組んでいるのか、今後実現したいことなどを聞いていきます。 今回インタビューするのは、京都開発室に所属し、日本最大級のデリバリーサービス「出前館」のサーバーサイドエンジニアを担う東山昌彦。 彼はもともとAIアシスタント「LINE CLOVA」の機能開発を担うAIエンジニアとして自然言語処理の研究・開発をしていました。ですが、ある理由から「出前館」のサーバーサイドエンジニアに転身したのです。その裏側にあった、プロダクト開発への思いとは
自然言語処理(NER, RE)を使ってニュースデータから知識グラフを構築してみました - GMOインターネットグループ グループ研究開発本部
2022.04.07 自然言語処理(NER, RE)を使ってニュースデータから知識グラフを構築してみました はじめに こんにちは、次世代システム研究室のC.Wです。 知識グラフは近年流行始めた概念で、お恥ずかしいのですが今年に入ってから知識グラフの概念を知りました。その思想を分かればわかるほど高い興味が湧いていきて、これこそがデータの最終的な形式ではないのかと思い始めています。 ただ構築しやすくないのが知識グラフの問題であって、自然言語処理を使って一発の自動作成ができるとすごく嬉しいと思ったので今回のテーマを研究しました。それでは始めましょう。 TL；DR ニュースデータからグラフDBに落とすまでを一通り試して、結果は微妙だった 自然言語処理の結果がグラフの意義性を左右している （言ってみれば当たり前のことです！） 知識グラフの概要 知識グラフとは、グラフ構造のデータモデルまたはトポロジを
最終更新日： 2020年3月13日 自然言語処理ライブラリ「Camphr」（カンファー）をオープンソースとして公開 株式会社PKSHA Technologyは、自然言語処理ライブラリ「Camphr」（カンファー）をオープンソースとして公開したと発表しました。 Camphrは最先端のディープラーニングの手法から従来の手法まで、 幅広い自然言語処理手法を簡単に組み合わせられるライブラリです。 私たちが日常的に使用している自然言語をコンピュータで扱う自然言語処理技術は、 文書検索や機械翻訳など、 私たちの身の回りのさまざまなサービスで広く利用されています。 ▼自然言語処理について詳しくはこちら
0. はじめに 上場企業が作成する有価証券報告書には、企業の経営成績がどうなっているのか？といった財務情報に加え、企業として何を課題と捉えどう取り組んでいくのか？といった非財務情報の記載があります。 最近は、気候変動リスクや人権問題への対応など企業の社会的責任の遂行に注目が集まる中、機関投資家が企業を評価する目線も、短期的な視点である財務情報から、中長期的な視点である非財務情報にうつりつつあります。 これからの時代、財務情報（数値データ）ではなく、非財務情報（テキストデータ）の分析ニーズが高まることが予想されます。こうした点も踏まえ、まことに僭越ながら、Pythonを使って有価証券報告書の非財務情報を取得する方法について、記載したいと思います。 具体的には、上場企業約2,500社分の有価証券報告書の 【経営方針、経営環境および対処すべき課題等】と【事業等のリスク】 を取得していきたいと思い
友人たちとの勉強会で作成した資料 内容の正確性については保証しません。
import os import urllib.request import json import configparser import codecs # 解析対象文（input） sentence = "弊社が来年リリースする新製品のmasahiko-012の発表会を東京qiita会館で行いたい" DEVELOPER_API_BASE_URL = "https://api.ce-cotoha.com/api/dev/nlp/" ACCESS_TOKEN_PUBLISH_URL = "https://api.ce-cotoha.com/v1/oauth/accesstokens" CLIENT_ID = "XXXXXX" CLIENT_SECRET = "XXXXXXX" artifact = "アレ" person = "あの人" location = "あそこ" # COTOHA
【自然言語処理のためのWikipediaデータの扱い方(#1) 】Wikipedia記事DBの作成 - Qiita
自然言語処理で遊ぶための学習用データとして魅力的なWikipediaのデータですが、ダウンロード可能なDumpデータは3GB程度と容量が大きく、形式はXMLデータだったりと扱うのが大変です。もしDBに格納されていれば条件検索して記事数など確認しながら必要なデータだけ取り出すことができて便利です。今回はファイルとして持ち運びにも便利なSQLiteでWikipediaの記事DBを作成します。 目的 ・Wikipediaの記事データをDB(SQLite)に格納する ・記事名でパターン検索して、タイトルに特定の文字を含む記事データを抽出してみる。 方法(概要) ・Wikipadiaのダンプデータをダウンロードする ・Wikiextractorでテキストを整形しつつjsonデータとして抽出する ・抽出したjsonデータを拙作のPythonスクリプトwikiextractor2sqlite(※)を用い
再帰的ニューラルネットワークとは 再帰的ニューラルネットワーク（Recurrent Neural Network: RNN）」は、回帰型・循環型とも呼ばれるニューラルネットワークです。 このネットワークは単語に含まれる「再帰的」という言葉の意味を理解していると、その本質が理解しやすくなります。ただ、「再帰」という単語はコンピューターや数学に関わっていない人には聞き慣れないかもしれません。再帰というのは、事象の結果が原因になり得る状態を指す言葉で、一種の「ループ」をイメージすると分かりやすいでしょう。 たとえば、「ニワトリは卵から生まれ卵はニワトリから生まれ、そのニワトリは卵から……」とか「ジュースを売ったお金で売ったジュースを買い戻し、そのジュースを売ったお金で……」というのは再帰的な事象と言えます。延々と続きそうな現象ですが、「ニワトリが卵を生む前に死ぬ」「お店が閉店する」といった事象が
はじめに Mecabには形態素解析ウェブアプリUniDic-MeCabやMeCab/Unidic Demonstration といったオンラインデモサイトがありますが、2022年3月現在spaCy/GiNZAのデモサイトはなさそうなのでHerokuで立てました。 2022年11月Herokuの無料枠が終了したため、Render.comで立てました。 実際に動かしてみるとこんな感じです。 さっそく、オンラインで試したいという方は下記にアクセスしてみてください。 https://chai3.github.io/spacy-ginza-online-demonstration/ spaCy/GiNZAとは GiNZA は、Universal Dependencies(UD)に基づいたオープンソースな日本語処理ライブラリです。 spaCyというMITライセンスで商用レベルな自然言語処理フレームワー
本気で自然言語処理やらないエンジニアでもできる、イベントアンケートの意見抽出 - OPTiM TECH BLOG
まえがき R&Dチームの徳田(@dakuton)です。 私の開発業務としては自然言語処理をメインとした業務ではありませんが、必要に応じてテキスト解析に携わることもあります。 今回は、がっつり自然言語処理やらないエンジニアからみたときのテキスト解析の使いどころを簡単にご紹介します。 業務での使いどころ 簡単に申し上げると、分類問題として解けそうなデータか？当たりをつけるためにテキスト解析を利用します。 私の業務では時系列データや定量データのような数値データなどをメインに取り扱っていますが、テキスト解析をあわせて行う必要が出てくる場合があります。 これは解析依頼をいただくデータが、数値情報に加えてテキスト情報が付随されているようなデータであることが多いためです。 例えば故障検知の場合、単に正常稼働時の数値データをもとに異常を定義するのではなく 過去レポート(故障時の部品や原因をまとめたテキスト
はじめに 以前、BERTを使って歌詞の文章ベクトルを算出し可視化する試みを行いました。BERTは優秀なんですが、入力できるトークン数が512に限られるため、長い文章のベクトル算出には向いていないんですよね。 今回は、上場企業約2,500社が有価証券報告書で書いている割と長文の文章について、Doc2Vecを使って文章ベクトルを算出し、あわせて、文章ベクトルから類似文書を検索してみました。 個人的には、BERTよりもDoc2Vecの方が納得感のいく結果を出している気がしています。 ここでは、文章ベクトルの算出方法・類似文書検索方法について、お伝えしていきたいと思います。 文章ベクトルのイメージ ①野球を観戦した ②サッカーの試合を見た ③犬の散歩にでかけた の3つの文章を2次元のベクトルに変換することを考えてみましょう。 文章の内容を考えると①と②が近く、③が少し離れているイメージですね。 こ
Googleの新たな自然言語処理モデル「T5」は、ある領域の学習済みモデルを別の領域に転用する「転移学習」を利用した機械学習モデルであり、多くの自然言語処理ベンチマークで最も高いスコアを残しています。そのT5の特徴と能力をGoogleが解説しており、実際にT5とクイズで対決できるウェブサイトも公開されています。 Google AI Blog: Exploring Transfer Learning with T5: the Text-To-Text Transfer Transformer https://ai.googleblog.com/2020/02/exploring-transfer-learning-with-t5.html T5 trivia https://t5-trivia.glitch.me/ Googleが発表した論文である「Exploring the Limits
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
医療ドメインの自然言語処理に飛び込んで1年経って見えてきたこと
はじめての自然言語処理 Sentence BERT による類似文章検索の検証 | オブジェクトの広場
Googleが自然言語処理用のTensorFlow.Textライブラリをリリース
「自然言語処理がようやく使い物になってきた」働き方改革の本丸「営業」を変える東大発AIベンチャー | Ledge.ai
歴代の自然言語処理モデルのスコア推移 - Qiita
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
Anewsの裏側で動く、自然言語処理を活用したビジネスニュースの推薦システム
自然言語処理モデル「GPT-3」の紹介 | NTTデータ先端技術株式会社
Google I/O 2022で発表された最新自然言語処理技術まとめ | AI専門ニュースメディア AINOW
spaCyとGiNZAを使った日本語自然言語処理 - Qiita
Python向け自然言語処理ライブラリ「spaCy 3.0.0」がリリース
自然言語処理のためにMeCabを入れるのに疲れたのでCOTOHA APIを使った - Qiita
[自然言語処理] NEologdを自前で改造して使っている話
自然言語処理の最新モデル 日本語版ELECTRAを公開しました | 株式会社シナモン（シナモンAI）
【Python】GiNZA: 日本語自然言語処理オープンソースライブラリ - Qiita
BERT の解剖学: interpret-text による自然言語処理 (NLP) モデル解釈
三井住友FGが「BERT」採用で銀行DXを加速、金融業界に自然言語処理AIは広がるか
日本語でBERTが動くイメージを知ってほしい。『BERTによる自然言語処理入門』の著者に聞く | Ledge.ai
ゲーム制作効率化のためのAIによる画像認識・自然言語処理への取り組み
【日本語モデル付き】2020年に自然言語処理をする人にお勧めしたい文ベクトルモデル - Qiita
犯人は“ヤツ”──「ポートピア連続殺人事件」が復活 自然言語処理の学習用ソフトとして無料配信へ
はじめての自然言語処理 spaCy/GiNZA を用いた自然言語処理 | オブジェクトの広場
自然言語処理からサーバーサイドへ転身。事業への貢献を大切にする「出前館」エンジニアのキャリア
PKSHA Technology、自然言語処理ライブラリ「Camphr」をオープンソースで公開 | AI専門ニュースメディア AINOW
【自然言語処理】【Python】有価証券報告書の非財務情報（テキストデータ）を取得する
自然言語処理と情報検索について（NLP AND IR）
アレでアレをアレしてみた（自然言語処理で固有名詞をマスキングしてみた） - Qiita
再帰的ニューラルネットワークとは？自然言語処理に強いアルゴリズムの仕組み
自然言語処理ライブラリspaCy/GiNZAのオンラインデモサイトを立ててみた - Qiita
【自然言語処理】Doc2Vecで文章ベクトルを算出し、類似文書検索をやってみた
Googleの新たな自然言語処理AI「T5」の特徴とは？実際にAIとクイズで対決も可能