データベースの論理構造ってどんなもの？（1/3） ― ＠IT
リレーショナルデータベースのデータ構造は、大きく「物理構造」と「論理構造」に分けられます。前回解説したデータファイル、オンラインREDOログファイル、制御ファイルなどのRDBを構成するファイルが物理構造です。今回はもう1つのデータ構造である、「論理構造」の役割を解説します。【更新版】 データベースの「論理構造」とは リレーショナルデータベース（以下、RDB）のデータ構造は、大きく「物理構造」と「論理構造」に分けられます。第2回『リレーショナルデータベースの3大構成要素とは？』で解説した、RDBを構成するOSファイル──Oracle Databaseでは、「データファイル」「オンラインREDOログファイル」「制御ファイル」は物理構造です。 それに対して、「社員表」のような表データなどを格納する表領域や、セグメント、エクステント、データブロックのような、データ管理を容易にするための内部的に使う
アクセンチュア、データ分析クラウドの国内販売を開始
アクセンチュアは2016年10月14日、データ分析処理基盤のクラウドサービス「アクセンチュア インサイト プラットフォーム（AIP)」の国内での販売を、本格的に開始した。 AIPの最大の特徴は、オンプレミスで同様の環境を構築するのに比べて、短期間で利用を開始できること。「オンプレミスで構築しようとすると4～6カ月掛かる分析処理基盤を、契約から1～2週間で構築するので、素早く利用を始められる」（工藤卓哉Data Science Center of Excellenceグローバル統括兼アクセンチュアアナリティクス日本統括マネジング・ディレクター、写真）。 写真●アクセンチュアの工藤卓哉Data Science Center of Excellenceグローバル統括兼アクセンチュアアナリティクス日本統括マネジング・ディレクター AIPでは、分析アプリケーション、データ可視化ツール、ETL（抽出・
Statistical Semantic入門 ~分布仮説からword2vecまで~
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion ModelsDeep Learning JP
Foundations of Statistical Natural Language Processing | MIT CogNet
Statistical approaches to processing natural language text have become dominant in recent years. This foundational text is the first comprehensive introduction to statistical natural language processing (NLP) to appear. The book contains all the theory and algorithms needed for building NLP tools. It provides broad but rigorous coverage of mathematical and linguistic foundations, as well as detail
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
超高速テキスト処理のためのアルゴリズムとデータ構造 (PDF)
超高速テキスト処理のための ゕルゴリズムとデータ構造 東京大学情報理工学系研究科* 岡野原 大輔 hillbig@is.s.u-tokyo.ac.jp NLP2010 チュートリゕル 2010 3/8@東京大学本郷キャンパス * 2010年4月から所属が （株）プリフゔードンフラストラクチャーになります。 内容 • 背景 – 自然言語処理と機械学習 • オンラン学習 – 教師有/無, 正則化 • 疎ベクトル々文字列データ構造 – 特徴情報の格納、全部分文字列情報 • 乱択化ゕルゴリズム – Hash Kernel, Randomized SVD 背景 大規模自然言語処理と機械学習 背景 • 利用可能な言語資源の急激な拡大 – ブログ, 掲示板, 商品情報, レビュー – Wikipedia, Google N-gram Corpus ～1010 語 – c.f. Penn TreeB
Microsoft Research IME Corpus - Microsoft Research
This document describes the Microsoft Research IME (MSR-IME) Corpus, a test corpus for language modeling research based on the task of Japanese character conversion for text input. The aim of the corpus is to facilitate research in language modeling by providing a data set on a realistic, non-trivial task that is yet easy to use. The corpus consists of 6,000 sentences, and includes the gold-standa
自然言語処理における MapReduce の使い方のチュートリアル - 武蔵野日記
今学期は毎週論文紹介するネタを探すのも疲れるので、適宜論文紹介を入れながら、 Data-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies) 作者: Jimmy Lin,Chris Dyer出版社/メーカー: Morgan and Claypool Publishers発売日: 2010/08/15メディア: ペーパーバック クリック: 67回この商品を含むブログ (6件) を見るをしばらく読もうかと思っている。ちなみに http://www.umiacs.umd.edu/~jimmylin/book.html から全文の PDF がダウンロードできるので、そちらを使用予定。印刷・製本してパラパラとめくっているが、テキスト的には割といい本だと思う。みんながこぞ
「Google 日本語入力」はATOKやMS-IMEを超えることはできるのか、実際に使って実用に堪えるかどうか試してみた
さまざまなオープンソースの成果を組み合わせた「Google 日本語入力」、その実力を確かめてみるため、実際にインストールして使ってみました。 変換候補を出すサジェスト機能が一体どれぐらいのモノなのか、どこまでカスタマイズできるのか、使い心地はどのような感じか、そういったざっくりとした印象がこれでつかめるのではないかと思われます。 試用レポートは以下から。 今回はWindows Vista SP1を使っているパソコンで試用してみました。まずはインストールから。「Google 日本語入力」公式サイトにアクセスし、ボタンをクリック。 「同意してインストール」をクリック このようなページになって、ダウンロードが始まります ダウンロード中 インストール中 インストール完了。「OK」をクリック。 言語バーから「Google 日本語入力」を選択 こんな感じになります。 入力モードはここに表示されます。
「川崎市」と「川崎さん」の区別が容易に--富士通、固有名詞の高精度抽出技術を開発
富士通研究所は11月24日、文章中の人名や組織名、地名などの固有名詞を高精度に抽出する技術を開発したと発表した。これにより、新聞記事から約97％の精度で人名を正しく抽出する。従来の抽出手法と比較して抽出ミスを60％近く減少できるという。 新聞の編集やウェブサイトの更新など大量の文書データを扱う業務では、キーワード検索やそれを用いた文書作成が業務の中で大きな割合を占める。しかし「川崎さん」や「川崎市」の「川崎」のような単語は、「人名」か「地名」かの区別がつきづらく、目的のキーワードとは無関係な結果が数多く表示されてしまっていた。 そのため必要な情報を見つけるのに手間がかかっていたほか、人名や地名などの辞書データを人手で作成しなければならず、辞書の自動生成が大きな課題となっていた。 今回開発された技術は、精度の高い固有名詞を抽出するため、固有名詞辞書の自動生成手法と生成した辞書を用いる抽出を実
ISWC2009参加記 - Takeda's Report
ISWC2009 (8th International Semantic Web Conference)がアメリカ、ワシント ンDCで開かれました。場所は空港近くのWestfields Conference Centerというところで、でなんというか陸の孤島です。まあ籠もって議論しようということでしょう。写真の一部はこちら。 登録者は500人強。去年より微減とのこと。参加者の半数はアメリカから。あとイギリス、ドイツ。この3国で3/4。日本は上位９位にはいっていませんでした。研究論文は250件中の43件で相変わらず高倍率です。日本からはたぶんNICTの兼岩さんだけ。 オープニングでおもしろかったのは、応募論文をテキストマイニングした結果を報告したことです。いくつか紹介すると、Ontologyは確率１．．．つまり必ず入っている？（ほんと？）、Serviceは採択論文の方が顕著に高い（次はここへ
新語 造語 未知語 の検出手法 : 研究開発
自然言語処理において、 辞書は単語の文法的意味の情報源として必要不可欠であり、辞書に登録されていない単語を減少させるため、 辞書の語彙を増強する努力がなされている。 新語や専門用語は絶えず増え続けているため、 辞書作成の作業は多大な労力を要するのみならず、 各解析段階での未知語との遭遇は避けられず、大きな問題の一つとなっている。 ※当然ですが 形態素解析が必要な言語のみの研究です。 これができていないと 妙な箇所で形態素分割することになります。 ヒューリスティックな検出は色々ありますが、ヒューリスティックではない統計的方法です。 概して、単語（と見なせるかもしれない記号列）の前後情報から最も尤もらしいモデルを推定します。 出現頻度と連接頻度に基づく専門用語抽出 湯本紘彰 森辰則 横浜国立大学 中川裕志 東京大学 情報処理学会研究報告. 自然言語処理研究会報告 2001(86) ターム性
朝日新聞が用語解説サイトのコンテンツ外部提供を開始、まず「cybozu.net」へ
朝日新聞社は2009年9月30日、自社で運営する用語解説サイト「kotobank」のコンテンツをcybozu.netが運営するビジネスパーソン向けポータルサイト「cybozu.net」（サイボウズ・ドットネット）へ提供開始したと発表した。 kotobankは、朝日新聞社とECナビ（東京都渋谷区）が4月23日に開始。講談社の「デジタル版日本人名大辞典＋Plus」や小学館の「デジタル大辞泉」、朝日新聞出版の「知恵蔵2009」など50辞書、約47万語の用語解説を無料で検索、閲覧できるサービス。cybozu.netのコンテンツごとに関連する用語をkotobankのデータベースから表示。cybozu.net訪問者の利便性を高めるとともに、kotobankの流入機会を増やすのが狙い。 朝日新聞では今後も他社サイトに対し、kotobankのコンテンツ提供やOEMを進めていくとしている。 ■関連情報 ・c
Yahoo! Wins Best Paper Award at SIGIR | Yahoo! Research
SIGIR is the major international forum for the presentation of new research results and the demonstration of new systems and techniques in the broad field of information retrieval. Yahoo! has 7 papers accepted at this year's conference including the Best Paper Award for "Sources of Evidence for Vertical Selection" by Jaime Arguello (Carnegie Mellon University and Yahoo! intern), Fernando Diaz (Yah
Non-parametric as memorizing, in exactly the wrong way?
my biased thoughts on the fields of natural language processing (NLP), computational linguistics (CL) and related topics (machine learning, math, funding, etc.) There is a cool view of the whole non-parametric Bayes thing that I think is very instructive. It's easiest to see in the case of the Pitman-Yor language modeling work by Frank Wood and Yee Whye Teh. The view is "memorize what you can, and
人間の言語習得はルールの学習ではなく丸覚え？ - 武蔵野日記
natural language processing blog にNon-parametric as memorizing, in exactly the wrong way?というポストがあった。言語モデリングはここ数年でだいぶ研究が進展したところで、ディリクレ過程とかなんだとか、数理的に精緻なモデルが(計算機の高度化も相まって)登場してきて、いろいろ分かってきているホットな分野である。 最近 PPM について調べたが、daiti-m さんの「PPM, 言語モデル, Burrows-Wheeler Transform」とあと「PPMと言語モデル (2)」いうポストを改めて読んでみて、ようやく分かってきた気がする。 Google 日本語 N グラムみたく巨大なデータを使っていると、スムージングなにそれ？ と言っていてもいいくらい(機械翻訳でも Google 1T gram を用いた研究で
Academic reference management software for researchers | Mendeley
Mendeley brings your research to life, so you can make an impact on tomorrow Search over 100 million cross-publisher articles and counting Search Popular searches: COVID-19 Bioenergy Obesity Create a free account Access your library, everywhere Add papers directly from your browser with a few clicks or import any documents from your desktop. Access your library from anywhere. Windows, Mac, Linux a
Programming the Semantic Web
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. With this book, the promise of the Semantic Web -- in which machines can find, share, and combine data on the Web -- is not just a technical possibility, but a practical reality Progra
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learningで始める文書解析入門
ゼロから始める自然言語処理 【FIT2016チュートリアル】
