総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート
総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開 性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS
無償入手可能な音声コーパス／音声データベースの一覧 - Qiita
無償かつ入手しやすい音声データセットをメモしています。 ライセンス・利用規約は「商用利用可能」「研究用途のみ」ともに紹介します。 コーパスを探すときに有用なサイト コーパス配布元サイト 音声資源コンソーシアム : 日本語コーパスが豊富、無償または有償で利用可能 緩いライセンスのコーパスでなくても良いときはここ 自発的発話の日本語音声コーパスはだいたいここにある 入手は要申請 所属や責任者を記入する必要があるため、研究者や企業でないと厳しい？ （この記事では音声資源コンソーシアムのコーパスは未掲載） Shinnosuke Takamichi: コーパス一覧 : 日本語中心。高道先生が携わっている音声コーパス 大量の日本語音声コーパスが配布されている 音声合成のコーパスをつくろう (Slideshare) : 2021年6月時点の音声コーパス事情 あなたにどうしても伝えたい30の音声コーパス
Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
Papers With CodeのDatasets： 人気度まで分かるデータセット一覧サイト
Papers With CodeのDatasets： 人気度まで分かるデータセット一覧サイト：AI・機械学習のデータセット辞典 データセットが効率よく見つけられるPapers With CodeのDatasetsを紹介。各データセットのページでは、データセット利用に向くタスクや、ベストな性能を発揮するモデル、コードありの論文、各ライブラリのデータローダー、データセットの人気傾向などを確認できる。 連載目次 最近、非常に有用な新しいデータセットの一覧サイトが登場したので紹介したい。 Papers With CodeのDatasetsとは？ 「Papers With Code」というサイトをご存じだろうか？ さまざまなタスク（例えば画像分類やテキスト生成など）に対して現時点でベストな性能を発揮する「機械学習モデル」や、スターの多い「コードあり論文」などをランキング形式で紹介してくれる、無料でオ
無料で使える「手書き文字認識AI」 ユーザーローカルが提供を開始
ユーザーローカルによると「近年、業務効率改善やデータ活用のためにデジタル化を進める動きが活発になっており、そのためには文書のデジタル化が必要だ。しかし、手書き文字のOCR（光学文字認識）ではコストがかかり、デジタル化を妨げる要因となっていた」という。 くずし字や略字も認識 関連記事 無償で利用できる「数理、データサイエンス、AI」の教材を公開 東京大学 東京大学の数理・情報教育研究センターは「数理・データサイエンス・AIモデルカリキュラム」に準拠した教材の無償公開を開始した。クリエイティブ・コモンズ・ライセンス（CC BY-NC-SA）で利用できる。 「考えただけ」で文字を入力できるAIシステムを開発 脳の運動皮質に埋め込んだデバイスから得たデータをAIが解釈することで、四肢の不自由な患者がテキストでコミュニケーションできるシステムをスタンフォード大学の研究チームが開発した。 DXにはデジ
浮世絵顔データセット
連載目次 データセット解説 ARC浮世絵顔データセット（以下、浮世絵顔）は、浮世絵の「顔」画像データセットである（図1）。このデータセットには、浮世絵に関する作品名／役者／版元／絵師／上演年などの書誌情報といったメタデータと、目／口／鼻などの顔パーツと顔領域の座標データ（＝機械学習で自動抽出した結果）といったアノテーションデータが含まれる。 図1 浮世絵顔データセットの例（引用） この画像はGitHubリポジトリの公式データセットに含まれるサンプル画像から引用したものである。 立命館大学アート・リサーチセンター (2020): ARC所蔵浮世絵データベース. 国立情報学研究所情報学研究データリポジトリ. (データセット). https://doi.org/10.32130/rdata.2.1 浮世絵研究に機械学習やデータサイエンスの方法論を適用し、日本文化に関する新しいデジタル研究基盤を構
NHKが持っているデータをオープンに 1人のエンジニアの熱がオールドメディアを根幹から変えるかもしれないよ｜NHK取材ノート
毎日めまぐるしく変わる新型コロナウイルスのデータを、24時間いつでも、誰にでも、わかりやすく伝えることは簡単ではありません。 NHKの新型コロナウイルス特設サイトの担当エンジニアとして奮闘しているのがこの「ジャージ男」。テクニカルディレクターの斉藤一成くんです。サッカー好きの彼のことをここでは「カズ」と呼ばせてもらいます。 NHKのエンジニアのほとんどは「放送」に関わる仕事をしていますが、そのなかでカズはウェブ周りのシステムの設計から開発、運用までを手がけるいわゆる「フルスタック」のエンジニアとして異彩を放ちまくっています。 「できるものはすべてオープンにしたい」というカズの提案で去年12月に始まったのが、NHKのサイトにある新型コロナ感染者のデータを誰でも自由にダウンロードできる取り組みです。 下のページにアクセスするとグラフの下に「データーのダウンロードはこちら」というリンクがあるのが
クラウド（AWS／Azure／GCP／IBM）で手軽に使えるオープンデータセット
4つの人気クラウドプラットフォームで手軽に利用できるオープンなデータセットの一覧ページである「Registry of Open Data on AWS」「Azure Open Datasets」「Google Cloud 一般公開データセット」「IBM Developerの『データセット』カテゴリー」を紹介する。 連載目次 AWS／Azure／GCP／IBMといったクラウドプラットフォームでは、各クラウド内で簡単に使えるオープンなデータセットが提供されている。本稿ではそのデータセットの一覧／検索ページについて紹介する。なお、この一覧ページのデータセットの中には、必ずしも機械学習には向いていないものも幾つかは含まれると想定されるので、あらかじめご了承いただきたい。 Registry of Open Data on AWS
オープンデータをWeb API化 内閣官房のIT総合戦略室が「APIプラットフォームサイト」を開設
APIプラットフォームサイトはオープンデータの見つけやすさや使いやすさを高め、データ活用の促進を目的に、さまざまなオープンデータをWeb API化し、集約して公開する。第1弾として、札幌市、会津若松市、群馬県、東京都、神奈川県、横浜市、福井県、三重県、神戸市、福岡市の10団体がCSV形式で公開している新型コロナウイルス感染症（COVID-19）関連のデータをWeb API化している。 COVID-19の相談件数や属性データなどを取得可能 APIを利用するには、アプリごとにAPIキーが必要。APIキーは、APIプラットフォームサイトで発行される。 用意されているAPIは、地方公共団体ごとに異なる。例えば東京都では、受診相談窓口相談件数を取得する「advice-center-cases」とコールセンター相談件数を取得する「call-center-cases」、都道府県名や受付年月日、相談件数な
Wikipediaを用いた日本語の固有表現抽出データセットの公開
ML事業部の近江崇宏です。 ストックマークではプロダクトで様々な自然言語処理の技術を用いていますが、その中のコア技術の一つに固有表現抽出があります。固有表現抽出はテキストの中から固有表現（固有名詞）を抽出する技術で、例えば「Astrategy」というプロダクトでは、固有表現抽出を用いてニュース記事の中から企業名を抽出しています。（企業名抽出については過去のブログ記事を参考にしてください。） 一般に、固有表現抽出を行うためには、大量のテキストに固有表現をアノテーションした学習データをもとに機械学習モデルの学習を行います。今回、ストックマークは固有表現抽出のための日本語の学習データセットを公開いたします！ご自由にお使いいただければと思います！ レポジトリ：https://github.com/stockmarkteam/ner-wikipedia-dataset 固有表現をハイライトしたサンプ
Food-101：料理カラー写真（アップルパイや餃子など）の画像データセット
連載目次 データセット解説 Food-101データセット（The Food-101 Data Set）（以下、Food-101）は、101種類の「料理カラー写真」（アップルパイや餃子など）の画像データセットである（図1、元データは「foodspotting.com」だが、現在ではサイト自体が存在しないようである）。 class_names = [ 'Apple pie', # 0：アップルパイ 'Baby back ribs', # 1：ベビーバックリブ 'Baklava', # 2：バクラバ 'Beef carpaccio', # 3：牛肉のカルパッチョ 'Beef tartare', # 4：牛肉のタルタル 'Beet salad', # 5：ビートサラダ 'Beignets', # 6：ベニエ 'Bibimbap', # 7：ビビンバ 'Bread pudding',
Open Images Dataset：Googleによる膨大な画像データセット
データセット「Open Images Dataset」について説明。物体検知用の境界ボックスや、セグメンテーション用のマスク、視覚的な関係性、Localized Narrativesといったアノテーションが施された、約900万枚と非常に膨大な数の画像データセット。その概要と使い方を紹介する。
リクルートのAI研究機関、『じゃらんnet』のクチコミを活用した日本語自然言語処理の発展を加速する学術研究用データセットを公開 | Recruit - リクルートグループ
リクルートのAI研究機関、『じゃらんnet』のクチコミを活用した日本語自然言語処理の発展を加速する学術研究用データセットを公開 株式会社リクルートホールディングスの中間持ち株会社である株式会社リクルート（本社：東京都千代田区、代表取締役社長：北村吉弘、以下リクルート）は、このたび、当社のAI研究機関であるMegagon Labsより、日本語の自然言語処理研究の発展に貢献するため、株式会社リクルートライフスタイル（本社：東京都千代田区、代表取締役社長：淺野 健、以下リクルートライフスタイル）が運営する旅行サイト『じゃらんnet』のクチコミに基づく約12万件のデータを含む学術研究用データセットを、公的研究機関および大学の研究で活用いただくために公開します。 日本語の自然言語処理における課題 自然言語処理とは、私たちが日常的に使っている言語（自然言語）をコンピューターに解析させる一連の処理を指し
Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer
最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー
Reuters newswire：ロイターのニュース記事のトピック分類データセット
連載目次 データセット解説 Reuters newswire classification dataset（ロイターのニュースワイヤー分類データセット。以下、Reuters newswire）は、ニュース配信テキストが「46分野のどのトピックに該当するか」を判定するために使える、テキスト分類／文書分類用データセットである（図1、詳細は後述するがReuters-21578のサブセットとなっている）。 図1 Reuters newswireデータセットの内容例 ※元々のデータセットの配布元： David D. Lewis氏のサイト「Reuters-21578 Text Categorization Test Collection」。また、UCI Machine Learning Repository「Reuters-21578 Text Categorization Collection Da
ImageNet：大規模なカラー写真の画像データベース
連載目次 データセット解説 ImageNetは、1400万枚以上もあるほど大規模な、「カラー写真」の教師ラベル付き画像データベースである。その教師ラベルは、WordNet階層*1に基づいて付与されている。スタンフォード大学のフェイフェイ・リ（Fei-Fei Li）氏を中心とした研究グループが管理しており、世界中の研究者や教育／学びに役立ててもらうためのリソースとして公開されている。 *1 WordNetとは、英語の語彙（ごい）データベースであり、synsetと呼ばれる「同義語（synonyms）セット」がツリー階層構造でグループを形成しながら定義されているのが特徴である。ImageNetでは2万以上のsynsetが採用されている。 ImageNetの歴史的な重要性 ImageNetは、歴史的に非常に有名である。2012年に開催されたImageNetの大規模画像認識コンペ「ILSVRC（Im
横浜市IRに関するパブコメのテキスト分析 - Qiita
0.はじめに 「広報よこはま」８月号が投函されていたので、早速読む。いつも家計相談で「えっ２人で月の食費が５万円ってたかすぎるの！？」など参考にさせてもらっていて楽しく読んでいた。今月は横浜市IRのパブコメ（今年の４月ころにやっていたんですね）についての記事があったので、見てみると、パブコメが1万件ほど寄せられたとのこと。パブコメにこんなにコメント寄せられることは少ないと思われるので、 生データないかな～と思って見てみるとあった！ 生のテキストデータは、誹謗中傷などの情報を加工後に公開されていた。 横浜市は、パブコメの論点を５つほどに分類していたけど、 もっと論点あるんじゃないか、とか、 パブコメをもとに修正した「横浜ＩＲ（統合型リゾート）の方向性（案）」にどんな意見が反映されたんだろうか などと思ったので、とりあえず基本的な分析をやってみることに。 1.パブコメまとめ報告書に記載されてい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オープンデータ、使ってほしいけどオススメしづらい3つの理由
Wiki-40B：高品質に加工された、40以上の言語のWikipediaデータセット
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
