自然言語処理では、ナレッジベース（knowledge base）を使う場合があります。 その際、手軽に使えるナレッジベースとして DBpedia があります。 DBpedia は Web 上でクエリ（SPARQL）を実行できるのですが、利便性を考えるとプログラムからクエリを実行したくなります。 本記事では、Python から DBpedia に対してクエリを実行し、結果を取得する方法を紹介します。 インストール Python で SPARQL を実行するのは、SPARQLWrapper を使えばできます。 SPARQLWrapper はリモートのサーバに対してクエリを実行し、取得した結果を使いやすい形に変換することができます。 SPARQLWrapper が何かわかったところで、さっそくインストールしてみましょう。 pipを使って以下のコマンドを実行することで、SPARQLWrapper

DBpediaのある主語の述語プロパティwikiPageWikiLinkの目的語となる文字列を取得するためのSPARQLクエリlinkeddatalodWikipediaSPARQLdbpedia タイトルが長くなってしまいました。。。ここではWikipediaの日本語版ページについて記述されているDBpedia Japaneseを対象としています。Japaneseは省略していきます。 DBpediaとは まずDBpediaとは、簡単にオンライン大百科辞典の代表であるWikipediaのインフォボックスの情報を取得するプログラムを持ったWebサイトのことです。（表現がおかしかったらコメント下さい・・・） 公式ホームページから引用するとこのように書かれています。 DBpediaはWikipediaから情報を抽出してLOD (Linked Open Data)として公開するコミュニティプロジェ

はじめにご高覧いただきありがとうございます. ソフトウェアエンジニアのKitaharaです. 本日は葛飾北斎を題材にしながら「とりあえず基本的なことなら書ける」を 目標にSPARQLの基本文法を解説します！ SPARQLが初めてという方へSPARQLは便利ではあるのですが少しマイナーな言語です. そこでSPARQLは何かやSQLとの違いをまとめた記事を作りました！ まずはこちらから見てみてください！ 備考 本記事ではTurtle形式という形式で書いていきます. あらかじめご了承ください. SPARQL基本文法基本中の基本SPARQLの扱うデータは 主体--(関係性)-->対象 というトリプルという形式で, データ集合はそのトリプルデータが集まった集合です. つまり, データが主体と対象が関係性によって結ばれた網目のような形になっています. (詳しくは下記の記事を見てください) SPARQL

環境 python3 準備 まず、DBpediaからデータ取得を簡単にしてくれるライブラリを持ってくる 取得したいデータを決める まず、DBpediaのページから、決定する。 http://ja.dbpedia.org/page/%E4%B8%AD%E4%BA%8C%E7%97%85%E3%81%A7%E3%82%82%E6%81%8B%E3%81%8C%E3%81%97%E3%81%9F%E3%81%84! URLで、「http://ja.dbpedia.org/page/{検索語}」 って感じで、 指定する。なお、大文字小文字も区別されるので、注意。 例えば、akb48はヒットしないが、AKB48はヒットする。 なので、wikipedia本家から実際に検索してみて、検索語を確認すれば良い。 プログラム 取得したいデータを指定する際には、 DBpediaに「dbpedia-owl:abs

Wikipedia からスクレイピングして… とか言ってる人におすすめしたい，DBPedia からの情報抽出rdfスクレイピングWikipediaSPARQLdbpedia みなさん DBPedia をご存知でしょうか．DBPedia とは，Wikipedia から構造化データ (RDF) として情報を抽出するものです．DBPedia では Linked Data として情報が体系化されているので，Wikipedia 内の必要な情報を，非常に簡単に抽出することができます． 「◯◯ の情報を Wikipedia からスクレイピングして取ってきて…」みたいな話をよく耳にし，そんなのスクレイピングしなくても DBPedia 使えば一瞬なのに… と感じることが最近多々あるので，DBPedia の普及もかねて簡単にまとめてみることにしました．DBPedia なんて初めて聞いたという方は，ぜひチェック

import wikipedia #日本語の記事からとってくる wikipedia.set_lang("ja") #Wikiの要約欄を取ってくる。auto_suggestがTrueだと意図しない結果が返す場合がある。 text = wikipedia.summary("検索したいワード", auto_suggest=False) #Wikiの全文を取ってくる。 page = wikipedia.page("検索したいワード", auto_suggest=False) #pageのタイトル page.title #pageのURL page.url #pageの本文 page.content

「どうもPythonの調子が悪いので、再インストールして初期状態に戻したい」ということはごく稀にあります。 Pythonも一般的なアプリと同様に「Windowsの設定」からアンインストールできますが、関連するファイルが一部残ってしまいます。特にpip関連の不具合で再インストールしたい場合は、この残存するファイルが支障となることがあります。 そこで、今回はWindowsにインストールしたPythonを完全にアンインストールする方法をご紹介します。作業は以下の順序で実施します。 アンインストールの実行 関連フォルダを手動で削除 環境変数PathからPythonフォルダを削除（インストール時に設定した場合のみ） 今回は「Windows10にインストールしたPython3.8（32-bit版）」を例に以下で説明します。 1. アンインストールの実行 Pythonをアンインストールするには、Wind

こんにちは。今回の初学者が陥りやすい間違いシリーズはPythonのシングルクォーテーションとダブルクォーテーションの違いについてです。 本などに書かれているコードを見ていると、ある本ではシングルクォーテーションなのに別の本ではダブルクォーテーションだったり。さらには一つのコードの中に二つが使い分けられていたりして何か意味があるのかな？と密かに疑問に思ったりします。 調べると答えは簡単。 両者の間に区別はないということ。 ただし、文中に'や”を使用したい場合、違うものを使えば問題ないということ。 print('"Cat" and "Dog"') "Cat" and "Dog" このように使えば問題ないわけです。 また、別の方法では、\を前に入れてエスケープシーケンスとします。 print("\"Cat\" and \"Dog\"") "Cat" and "Dog"文中に'や”が使われている場

Python早見帳は、プログラムと実行例をカタログ的に提示しながら、Pythonの言語仕様やライブラリを紹介しています。Pythonの基礎を素早く習得したり、ライブラリやオブジェクトの使い方を確認することができます。

はじめに 2021年 10 月上旬からPython3.10が使用可能になってます。 長らくPython3.9を使用していました。しかし、新しいバーションにも 対応したいということで、最新版をインストールする流れになりました。 その時のメモ書きです。 ダウンロード＆インストール Pythonをインストールするために適当にググります。 「Download Python」でもいいのですが、 「Windows版Pythonのインストール:Python環境構築ガイド」が分かりやすかったです。 解説が画像付きで非常に分かりやすく、簡単にインストールできます。 善きかな。 ちなみに、インストールの説明で「パスを通す設定にすること」が強調されています。 設定し忘れたら再インストールが推奨されています。 確かに、慣れていない人はここをミスすると沼にはまります。 「パスを通す」とは、コンピュータに実行ファイル

初めに タイトル詐欺的な感じになっちゃうと思いますが、申し訳ありません。この記事では、"異なったversionのPythonを新たに入れる"解説をします。変更とは違いますが、おそらくここに来た人は、何らかの原因で古いバージョンのPythonの環境が必要になった人だと思います。その目的は達成できる記事だと思います。それと、Anacondaとかcondaとか使わずに書きます。未来の自分のためにも書いておきます(^^)/ 誰向けの記事？ この記事は、 ・pythonのバージョンを変えたい人（特に、古くしたい人必見） ・anacondaとか使わずに、好きなバージョンを入れたい 人向けです。Anacondaとかだと、ポチポチするだけで、2.7系とか入れられますが、入れられるバージョンが限られています。ここで紹介する方法は、python公式から入れる方法なので、公開されているバージョンであれば、すべて

Webページを探す時間がかけ算でやってくる問題PCで作業してると、一日の中に必ず「あのWebページどこにいったんだ」という時間があります。 それが一度だけなら数十秒のタイムロスですね。しかし、「あのWebページを探す」作業って一日に何十回も発生します。ある日「この時間めちゃくちゃもったいないな」と気づき、改善を考えました。 最初は「フォルダで完璧な階層整理するぞ…」と決意したのですが、3ヶ月経つころには「💼Aプロジェクト」「🎫JIRAチケット」「💡よく使うページ」「 👨Bさん」…みたいなフォルダ群が爆誕してMECE（もれなくダブりなく）が破綻。「Bさんが絡んだAプロジェクトのよく使うJIRA」はどこのフォルダに入れればいいんだ…と絶望してました。 そこで「フォルダでくくり切るの無理なのでは？」ということに気付いてから、管理方法を大きく変えました。すると、劇的に改善してすべてのWeb

こんにちは。ふらうです。 皆さん。「あのキャラクターがあの仕事をしていたらどうなるんだろう...」、「あのキャラクターがこんなことしていたらどういう風になるんだろう...」、「あのキャラとあのキャラのカップリングを見てみたい！」と考えたことはありませんか？ ...私はあります。 今回は、それを可能にする、DreamBoothについて書いていきます。 よくpixivやtwitterでアニメやゲームの版権キャラのAI絵を生成して公開されている方がおられますが、そういう絵をDreamBoothを使って生成することができるらしいのです。 そこでDreamboothについて気になったので調べてみようと思いました。 ちなみに、無許可で絵師さんの絵を学習材料にして、同じテイストの絵を販売したり公開したりすることは、あまりよくないです。AIが生成する絵の著作権は基本的には生成者が有することになるのですが、

XMLは、文章の見た目や構造を記述するためのマークアップ言語の一種です。 主にデータのやりとりや管理を簡単にする目的で使われ、記述形式がわかりやすいという特徴があります。 一方、HTMLも XML と同じマークアップ言語のひとつです。 どちらもWeb制作に必要な言語ですが、両者にはどのような違いがあるのでしょうか。 今回は、XMLの基礎知識や特徴、HTMLとの違いについてわかりやすくご紹介します。 目次 XMLの基礎知識 XMLとは「Extensible Markup Language」の略で、日本語では「拡張可能なマークアップ言語」と訳されます。特定の企業が提供している技術ではなく、インターネット上で使用される各種技術の標準化推進団体である、W3C（World Wide Web Consortium）によるオープンな規格です。 マークアップ言語とは、タグと呼ばれる特殊な文字列を使用して、

こんにちは、ふらうです。 今回は、Word2Vecの学習を実行していきます。 学習の手順としては以下の通りです。 学習データの準備 この段階で進めていきます。なお、出来上がった学習済みモデルはGitHubにて公開するので、ご自由にご利用ください。 公開しました！以下のリンクよりgithubへ飛べます。 https://github.com/Frq09/w2v.git 学習データの準備 日本語wikipediaコーパスのダウンロード フォルダの解凍および前処理 分かち書きする 学習 進捗の表示 学習の実行 モデルの保存 実験 類似単語の検索 単語の足し引き まとめ 参考文献 学習データの準備 今回学習に使うデータは2023年3月1日時点の日本語wikipediaコーパスです。 日本語wikipediaコーパスのダウンロード まず、日本語wikipediaコーパスをダウンロードしましょう。 以

ドキュメントのベクトル検索の実験をしようと思ったので、Wikipediaのデータを使いたくなりました。この記事ではWikipediaのアーカイブをダウンロードし、次の手順について確認し、整理すします。 articles.xml.bz2からXMLを抽出 XMLを下処理済みのtextに変換 sqliteのDBへ格納 categorylinks.sqlを基にカテゴリ別のデータを取得 途中でプレーンテキストへ変換しているので、txtやjsonで保存したい方は適宜読み替えてください。 wikipediaデータベースダウンロード 日本語のwikipediaのデータを持ってくる。 jawiki-latest-pages-articles.xml.bz2 : 記事の全文のXML jawiki-latest-categorylinks.sql.gz : 記事の属性(カテゴリや注意など) それぞれ約4GBと6

$ pip --version pip 10.0.1 from ~/.pyenv/versions/3.5.3/lib/python3.5/site-packages/pip (python 3.5)