PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Motoshi Goto / Freelance Web Designer and Developer from Oita, Japan.
白地図、世界地図、日本地図が無料【白地図専門店】
無料データfree 簡易な用途には気軽に使える無料の白地図を。 WordやExcel、SNSやBlogなどでの簡易な利用には無料で使える白地図がオススメ。商用利用でも無料の白地図は追加料金不要で使えます。 商用利用commercial すべての白地図は営利目的の商用利用でもご使用いただけます。 有償で提供している白地図はもちろん、無料で提供している白地図も追加料金不要で、商用利用にお使いいただけます。
http://miqata.com/t/75
pixiv(ピクシブ)は、イラスト・マンガ・小説の投稿や閲覧が楽しめる国内最大級の作品コミュニケーションサービスです。幅広いジャンルの作品が投稿され、ユーザー発の企画やメーカー公認のコンテストが開催されています。
![イラスト コミュニケーションサービス[pixiv(ピクシブ)]](https://cdn-ak-scissors.b.st-hatena.com/image/square/124551c499cd1b31458761571b9d01a54ae87bf3/height=288;version=1;width=512/https%3A%2F%2Fs.pximg.net%2Fwww%2Fimages%2Fshare%2Fpictures.jpg)
シソーラス・類語辞典
Weblio類語辞典の特徴 様々な同義語や同意語の日本語表現を約40万語を収録。 使う場面やニュアンスごとに、類語とシソーラスを分類・整理。 リンクによって「類語の類語」を簡単に検索。 名詞や形容詞、感嘆符など、品詞の区別にとらわれず類語を紹介。 通俗表現やセリフも多数収録。 Weblio類語辞典は、以下の辞書を利用しています。 「Weblio類語・言い換え辞書」 Weblioシソーラス（自動抽出機能）
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
生活定点1992-2018｜博報堂生活総研
生活定点とは？ 1992年から隔年で実施している生活者の意識調査です。同じ質問を繰り返し投げ掛け、その回答の変化を定点観測しています。
国土交通省 ネガティブ情報等検索サイト
国土交通省（法人番号2000012100001） 〒100-8918 東京都千代田区霞ヶ関2-1-3代表電話：03-5253-8111 アクセス情報・地図 プライバシーポリシー リンク・著作権・免責事項について 関連リンク集
多くのベンチャー企業が起業後に、同じような失敗、トラブル、ヒヤリとした経験をしており、成長に伸び悩む企業が多いと言われています。そこで、ベンチャー企業の経営者が様々な場面で決断を下す際の「転ばぬ先の杖」として、将来起こりうるリスクを予見できるような失敗、トラブル、ヒヤリとした経験の事例を収集・データベース化しました。ベンチャー企業の成長に向けた経営判断の材料としてご利用いただければ幸甚に存じます。 本データベースには、平成19年度にベンチャー企業にインタビュー調査を実施して収集した83の失敗、トラブル、ヒヤリとした経験に関する事例を掲載しています。事例は、ベンチャー企業の成長ステージや失敗、トラブル、ヒヤリとした経験の原因及び結果といった分類項目をもとに検索が可能となっています。
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
なんちゃって個人情報
なんちゃって個人情報は「Generator of the Year」にて【便利賞】を受賞いたしました！！ 投票して下さったみなさま、本当にありがとうございました。 今後もどんどん使ってやって下さい。 プログラム等に使えるかもしれない個人情報のテスト用データを作成できます。特に説明が必要なものでもないので、とりあえずやってみていただければわかると思います。 念の為書いておきますが、生成した偽個人情報により発生したいかなる損害も当方は一切関知しません。たまたま名前が実在の人物と同姓同名になってしまうかもしれませんし、特に電話番号や携帯については実際に使われている番号と重なることがありますから、扱いには十分注意して下さい。 何かご要望とかありましたらお気軽にブログまでコメント下さい。 HTML シンプルなHTMLのテーブルで出力します。 XML ルートを<records>、各レコードを<reco
無料 BGM・効果音のフリー音源素材 誰でも 報告不要で 商用利用無料！ 今すぐ使える BGM・効果音 1,000点以上！ 動画制作やイベントに もちろんスプリンギン アプリでも利用可
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
プロジェクトを開始する前に、市場調査などで統計データを分析し仮説をたてる事は重要ですが、それらの調査対象が世界規模、全国規模になるとコストが掛かりすぎて（特に個人や中小企業の場合）現実的ではありません。 そこで活用したいのが国や団体、民間企業が公開している無料の統計データです。今日はそんなマーケティング担当者ならきっと必見の情報公開を行なっているサイトをご紹介します。 1. 総務省統計局 総務省統計局では様々な統計データが入手可能です。 国税調査 人口推計 労働力調査 小売物価統計調査 土地統計調査 このようなデータはPDF版が一般的ですがExcel形式でダウンロードできるのも魅力ですね。その他にも以下URLより数多くの統計データが入手できます。 また、統計局ではメール配信サービスも行なっています。興味のある方は登録をおすすめします。 www.stat.go.jp 2. 法務省 法務省でも
生活定点1992-2018｜博報堂生活総研
生活定点とは？ 1992年から隔年で実施している生活者の意識調査です。同じ質問を繰り返し投げ掛け、その回答の変化を定点観測しています。
This domain may be for sale!
40代前半男性の所得中央値
2017年の『就業構造基本調査』の結果が公表されました。昨日の14：30でしたが，私は10分ほど前からパソコンの前にへばりついて，今か今かと待っていました。 http://www.stat.go.jp/data/shugyou/2017/index.html このブログでは幾多の官庁統計を分析していますが，『就業構造基本調査』は最も活用しているものの一つです。この調査の目玉は有業者の所得を調査していることで，所得をキーにしたクロス集計表も多数アップされています。性別・年齢層別の所得分布，所得階層別の未婚率など，いろいろなことを明らかにできます。 本調査でいう所得とは，「賃金，給料，手間賃，諸手当，ボーナスなど過去１年間に得た税込みの給与総額」をいいます（用語解説）。税引き後の年収とは区別される概念です。 私は，2017年のデータが公表されたら，今の自分の世代の所得がどうなっているかをまず明
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
無料で利用できるデータベース＆レファレンスサービスまとめ
PLATEAU [プラトー] | 国土交通省が主導する、日本全国の3D都市モデルの整備・オープンデータ化プロジェクト
3D都市モデルが実装されることで、未来はどのような展望を見せるのか。 インタビューやレポートを通じて、多角的な視点で3D都市モデル、そしてPLATEAUのさまざまな可能性を読み解きます。
![PLATEAU [プラトー] | 国土交通省が主導する、日本全国の3D都市モデルの整備・オープンデータ化プロジェクト](https://cdn-ak-scissors.b.st-hatena.com/image/square/3b8ccda54a01b6d1579c6a1b096c7d16aa149870/height=288;version=1;width=512/https%3A%2F%2Fwww.mlit.go.jp%2Fplateau%2Fassets%2Fimg%2Fogp.png)
個人情報テストデータジェネレーター
アプリケーションのテストなどで利用できる、リアルな架空の個人情報データ（疑似データ）を生成するツールです。
政府統計の総合窓口 GL01010101
統計データを探す すべて 分野から探す国土・気象人口・世帯労働・賃金農林水産業鉱工業商業・サービス業企業・家計・経済住宅・土地・建設エネルギー・水運輸・観光情報通信・科学技術教育・文化・スポーツ・生活行財政司法・安全・環境社会保障・衛生国際その他 組織から探す 内閣官房人事院内閣府公正取引委員会警察庁消費者庁こども家庭庁総務省公害等調整委員会消防庁法務省外務省財務省国税庁文部科学省文化庁スポーツ庁厚生労働省中央労働委員会農林水産省林野庁水産庁経済産業省資源エネルギー庁特許庁中小企業庁国土交通省観光庁海上保安庁環境省防衛省 主要な統計から探す ５０音から探す あ い う え お か き く け こ さ し す せ そ た ち つ て と な に ぬ ね の は ひ ふ へ ほ ま み む め も や ゆ よ ら り る れ ろ わ すべて見る 分野から探す 国土・気象人口・世帯労働・賃金農林
イギリスの公共放送局BBCが新たにサイト「BBC Sound Effects」を立ち上げ、1万6000種類以上という膨大な量の音源素材の提供を開始しました。サイトではキーワード検索でお目当ての素材を探せるようになっており、非圧縮のWAVファイルをダウンロードすることも可能です。 BBC Sound Effects - Research & Education Space http://bbcsfx.acropolis.org.uk/ 1922年にラジオの放送を開始したBBCは、およそ100年にも及ぶ活動の中で膨大な音素材を蓄積してきました。BBC Sound Effectsはその名が示すとおり、数々の素材の中からサウンド･エフェクトとして利用できる音源の提供を行うサイトです。素材はRemArcライセンスで提供されており、著作権はBBCが所有しますが個人利用や教育利用、そして研究用途において
機械学習をやりたいんだけど、データがない！他のデータ使ってみたい！ そんな方のために、機械学習に使えるオープンデータを集めました。 他にも、このデータセットオススメ！というものがあれば、是非ご紹介して頂けると嬉しいです。m(__)m UC Irvine Machine Learning Repository カリフォルニア大学アーバイン校が公開した、データセット。351件のデータセットがあり後述する DATA GO に比べれば少ないが、ほとんどがMachine Learning用のデータ・セットなので、かなりオススメ。 UCI Machine Learning Repository かの有名なあやめの花（iris）のデータセットもここから見ることができます。 国立情報学研究所 情報学研究データリポジトリ データセット一覧 yahoo,楽天,ニコニコなどのデータがあります。 DATA.GO.
オープンデータ取得先まとめ - Qiita
2018/1/1時点で利用可能な、オープンデータの主要取得先を記載します。 1. 世界中の国や都市の情報 EUとイギリス Public Data EU http://publicdata.eu Open Data Europe http://data.europa.eu/euodp/en/home UK Government Data https://data.gov.uk アフリカ Africa Open Data https://africaopendata.org Code for South Africa http://code4sa.org Code for Africa https://codeforafrica.org アジア Open Cities Project http://www.opencitiesproject.org Open Nepal http://data
Open Clip Art Library
Openclipart. Since 2004, Now with 178804 clipart.55 new clipart in the last 24 hours.
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
個人利用も商用利用も可能で、全部で5000枚以上の画像がパブリックドメインで用意されているというすばらしいサイトです。用意されているのは写真だけでなくクリップアートもあるので、いろいろな用途に使用可能。 詳細は以下の通り。 Top Rated - Free Stock Photos http://public-domain-photos.com/ ※時々、転送量過多で一時的に見えなくなるようです。見えなくなっている場合はここからどんなサイトだったのか確認できます。 写真は以下のジャンルがあります。 Animals Buildings City Drinks Flowers Food Insects Interiors Landscapes Miscellaneous Objects Ocean Panoramas People Plants Space Travel Vehicles なお
著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要 Dwango Media Villageの廣芝です。 誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。 (2022年5月 SeirenVoiceシリーズの製品化に伴いデモページは終了しました。) この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声の変換技術には、リアルタイム性と品質のトレードオフがあります。 既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。 品質を優先した声変換
個人開発者の矢野さとるさんは6月12日、10日に公開された「次世代統計利用システム」のAPIを活用し、国勢調査などの政府が持つ統計データをCSV形式でダウンロードできるWebサービス「統計くん」を公開した。 次世代統計利用システムは、統計のオープンデータの高度化に向け、統計センターが総務省統計局と協力して提供しているシステム。政府の統計ポータル「e-Stat」でデータベース化されている統計データを、XMLやJSONなどで出力するREST方式のAPIを提供している。 統計くんは同APIを活用し、国勢調査、事業所・企業統計調査、全国物価統計調査、家計消費状況調査などについて、調査結果をWebブラウザ上に表示したり、条件を絞り込んで分類したり、CSV化してダウンロード可能。今後は、グラフ生成やクロス集計機能などの実装を検討している。
FileSystemObject オブジェクトでファイル名にワイルドカード文字を使用できますか - Hey, Scripting Guy!
This browser is no longer supported. Upgrade to Microsoft Edge to take advantage of the latest features, security updates, and technical support.
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
This domain may be for sale!
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
これは使えるぞーーっ！浮世絵に描かれた26種の動物がベクター素材になって無料ダウンロード公開 | アート 日本画・浮世絵 - Japaaan
colissさんでとってもステキな素材集が紹介されていました。江戸時代の浮世絵に描かれた多種な動物たちがSVGのベクター素材になって無料ダウンロード公開されているんです。 これはいいですね！日本画や浮世絵の作品がベクター素材になって提供されていることはなかなかないので嬉しい。浮世絵のテイストがそのまま生きたデザイン素材。象や麒麟はまさに当時の流行のタッチ。 しかも素材は商用利用でも無料。改変して使用可能。ベクター素材なので色を変えたりパスを変更したりすることができます。 このデータの元の作品は歌川芳虎（うたがわよしとら）の「新板けだもの尽」で、タイトルの通りに様々な動物が描かれた、江戸時代のいわゆる「おもちゃ絵」と言われるものです。 国立国会図書館デジタルコレクションより 書誌ID 023907912 歌川芳虎というと十二支をミックスした「家内安全ヲ守十二支之図」が人気。
なんちゃって個人情報
なんちゃって個人情報は「Generator of the Year」にて【便利賞】を受賞いたしました！！ 投票して下さったみなさま、本当にありがとうございました。 今後もどんどん使ってやって下さい。 プログラム等に使えるかもしれない個人情報のテスト用データを作成できます。特に説明が必要なものでもないので、とりあえずやってみていただければわかると思います。 念の為書いておきますが、生成した偽個人情報により発生したいかなる損害も当方は一切関知しません。たまたま名前が実在の人物と同姓同名になってしまうかもしれませんし、特に電話番号や携帯については実際に使われている番号と重なることがありますから、扱いには十分注意して下さい。 何かご要望とかありましたらお気軽にブログまでコメント下さい。 HTML シンプルなHTMLのテーブルで出力します。 XML ルートを<records>、各レコードを<reco
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
4U - beauty image bookmarking
イラスト コミュニケーションサービス[pixiv(ピクシブ)]
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
ベンチャー企業の経営危機データベース（METI/経済産業省）
クローリングしてる暇があるなら…論文かいたら? | EDGE Datasets(研究用データセット)
無料 BGM・効果音のフリー音源素材 | Springin’ Sound Stock
Googleが大量の機械学習用データベースを無料公開してた - Qiita
提案書や企画書づくりが驚くほど捗る！無料で入手出来る統計データ総まとめ。
258億語の日本語コーパスをウェブで公開～国立国語研究所 言語研究や自然言語処理技術開発での基礎資料
5000 Free Stock Photos
大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
[CG Textures] - The worlds largest free texture site
![[CG Textures] - The worlds largest free texture site](https://cdn-ak-scissors.b.st-hatena.com/image/square/0eda3a1dee04166bde738ce6866cf1f0723cd93c/height=288;version=1;width=512/https%3A%2F%2Fwww.textures.com%2Fimages%2Ffacebook_generic_share.jpg%3Fv%3D5)
BBCが所蔵する1万6000種類以上のサウンドライブラリーを公開、無料でWAVファイルのダウンロードも可能
機械学習に使える、オープンデータ一覧 ※随時更新 - Beginning AI
Google Japan Blog: 大規模日本語 n-gram データの公開
5000枚以上の全画像が無償で利用可能な「PUBLIC-DOMAIN-PHOTOS.com」
誰の声でも100人の声に変えられる声変換システム - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
国勢調査など政府統計データをCSV化してダウンロードできる「統計くん」 政府API活用
デジタル庁のデータ分析基盤「sukuna」｜デジタル庁
人間参加型（human-in-the-loop）機械学習とは？
Googleが大量の機械学習用データベースを無料公開してた - Qiita