自然言語処理のサンプルデータセットを簡単に取り扱えるライブラリdatasetsの紹介 - Qiita
datasetsで公開されているデータセットはdatasets.list_datasets()で確認できます。 本記事の投稿現在（2021年2月24日）では680件のデータセットが公開されているようです。 import datasets # 公開されているデータセット一覧 print(datasets.list_datasets()[:10]) # 最初の10件だけ表示 print(len(datasets.list_datasets())) # 全件数も確認 # ['acronym_identification', 'ade_corpus_v2', 'adversarial_qa', 'aeslc', 'afrikaans_ner_corpus', 'ag_news', 'ai2_arc', 'air_dialogue', 'ajgt_twitter_ar', 'allegro_revi
日本郵便が公開する郵便番号データをそのまま利用するのがなぜ難しいか。そして、住所から郵便番号を求めるのがなぜ難しいか［PR］
日本郵便が公開する郵便番号データをそのまま利用するのがなぜ難しいか。そして、住所から郵便番号を求めるのがなぜ難しいか［PR］ 郵便番号はコンピュータで扱う数字データとしてもっとも身近なもののひとつです。 例えば、ユーザーが入力した郵便番号から住所を補完する処理は、一般的なWebアプリケーションでよく行われています。また、ダイレクトメールの到達率の向上や返送率の低下のため、あるいは住所データをつねに最新のものにするため、住所から適正な郵便番号を付番する処理なども行われています。 その郵便番号は、実は毎月アップデートされています。というのも、市町村の合併や土地の区画整理、新しいビルやマンションの建築など、郵便番号にかかわるさまざまな現実が変化しているためです。 最新の郵便番号データはつねに日本郵便のWebサイトで公開されています。
Stack Overflow: 100万人の開発者を手助けするVim終了方法 | POSTD
今朝のことですが、 Stack Overflowで人気のある質問 が1つの値を越えました。 注釈： 見出し: Vimエディタの終了方法を教えてください 質問者: jclancy 赤丸囲みの中: ビュー：1,000,082回 jclancyさん、あなただけではありません。この質問が投稿されてから5年、あなた以外に100万人以上の開発者がVimで身動きできなくなって、何らかの助けなしには抜け出せませんでした。実際、Vimエディタを終了させるのは難しく、開発者の間では共通のジョークになっています。 注釈： 誰も簡単にVimから抜け出せない ベテランのVimユーザからこういう評判は不当だと言われたことがあります。（私もやっとここ数年でこの問題についてのコツをつかんだのですが、）確かにベテランの言い分は正しいと思います。Vimの終了方法を忘れてしまうのには2つの理由があると思います。開発者は、Git
データサイエンティストを育成する試み ～PyData.Tokyo Tutorial & Hackathon #1 イベントレポート
PyData.Tokyo第1回チュートリアルイベント開催！ PyData.Tokyoオーガナイザーのシバタです。 PyData.Tokyoは「Python＋Dataを通じて、世界のPyDataエクスパートと繋がれるコミュニティーを作る」ことを目的として設立され、これまでに行ってきた勉強会は、質の高い登壇者と参加者が「濃い」議論をできる場として、広く知られるようになりました。イベントを管理しているconnpass上では500人を超えるメンバー登録があり、CodeZineでの連載もたくさんの方に読んでいただいております。 PyData.Tokyoで当初目標としていたのは、レベルの高いデータサイエンティストの集まる会を作ることに加え、これからデータサイエンティストになることを目指している方々の育成です。データサイエンティストの不足はあらゆるところで聞かれ、一方で幸いにも多くの方が今後データサイエ
Githubにある15万のプロジェクトを分析してわかった、成功しているチームが持つ5つの法則 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image by Tim Lucas <ピックアップ記事>Part 1: What makes teams successful? ソフトウェア開発プロジェクトを共有できるサービスGithub。ここには日々、数多くのプロジェクトがアップされ、共有されています。 今回のピックアップ記事では、バーモント大学のMichael Klung氏とJames Bagrow氏が発表した論文が紹介されています。この論文では、Github上にある任意の約15万のプロジェクトを選択。 これらプロジェクトに関わるレビューやコメント等のチーム運営に関わる要素を分析し、チームが成功する要因を導き出したとのこと。また、ここでは成功しているチームを「ハイインパクトチーム」と呼び、このチームの特徴を5つ挙げています。 記事では以下の5点の分析結果を述べています。 1. ハイインパクトチームの多くが比較的大人数のものである。
ディープラーニングを使ったイメージの切り抜き | カメリオ開発者ブログ
こんにちは、シバタアキラです。この度PyDataの本家であるアメリカのコミュニティーで半年に一度開催されているPyDataカンファレンスに出席するため、NYCに行って来ました。11/22-11/23の二日間の日程で行われ、延べ250人ほどが参加したイベントです。その時の模様は、先日のPyData Tokyo第二回ミートアップでもご説明させていただき、また後日記事化されると思いますので、そちらをぜひご覧いただければと思います。 今回はそのPyData NYCカンファレンスで私が発表してきたミニプロジェクトについてお話します。最近各所で話題に上がるディープラーニングですが、これを使った応用を「カメリオ」のサービス向上のために使えないか、というのがそもそものプロジェクトの着想でした。今回PyData Tokyoオーガナイザーとして、またディープラーニングで色々と面白い実験をしている田中さん（@a
Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' )
この記事を読み始める前に Rubyでやるんだったら、ちょうどそういう本が出ているから、その本買えばいいのではないでしょうか。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る はじめに プログラミングを勉強し始めて、だいたい基礎的な文法を覚えたあとに、次に何をしようかな、と悩む人も結構多いみたいで、明確に「これを作りたい」という場合は、それを作ればいいとは思うんですけど、場合によっては、別段作りたいものが無く、漠然としたプログラミングをしたい、という熱意によって勉強しているという人もいるのではないかと思います。 で、もちろん「作りたいものがないのに、プログラミング勉強してどうするの」という意見もあるかとは思いますが、往
自然言語処理をなにも知らない私がword2vecを走らせるまで - 最尤日記
googleの中の人たちが作ったword2vecというモノがあります。deep learningを自然言語(N-gram?)に適用することにより単語を100次元くらいのベクトル空間にマップする物だと思います。面白さは以下のベージの通りですが、たったこれだけの事で、ほとんど意味理解の一歩手前まで到達していると思います。 Taku Kudo : word2vec で少し遊んでみた。いわゆる deep… 面白いのは、2つのベクトルの差が、2つの単語の関係をよく近似してくれること。 （中略） A B C → X (A → Bの関係に対し、 C → X に当てはまるXを探す) グーグル ヤフー トヨタ → 日産 渋谷 新宿 札幌 → 旭川 警察 泥棒 正義 → くそ 平和 戦争 左 → 右 社員 会社 生徒 → 小学校 空 海 天井 → 床板 生きる 死ぬ 動く → 止まる ・・・ Deep-le
Rubyの会社でPythonistaが3ヶ月生き延びた話
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめTetsutaro Watanabe
画像データの模式図（カラー編） - 電子化
本日のお題画像： 前回、グレースケール画像について、模式図に挑戦してみました。 念のため、もう一度言っておきますと、模式図というのは、 おおよその理解を得るために、正確とは言えないかもしれないけど、とりあえず図示してみました というような意味だと思います。そして、「画像データというのが、パソコンの中にどんな感じで保存されているのか」というのは、パソコンの中をのぞいても決して見ることができないので、模式図を使って、こんな感じで保存されているじゃないでしょうか、探っているわけです。ただし、あくまで模式図ですので、あまり深刻に考えこまないでください。 というわけで、本日は、カラー画像についてです。 前に（http://d.hatena.ne.jp/denshikA/20091130）、 カラー画像というのは、RGBにも分解できるんだけど、それだけじゃなくて、他にもいろいろと分解する方法があるんだ
画像データの模式図（グレースケール編） - 電子化
本日のお題画像： 模式図というのは、 おおよその理解を得るために、正確とは言えないかもしれないけど、とりあえず図示してみました というような意味だと思います。 本日は、画像データの模式図に挑戦します。「画像データというのが、パソコンの中にどんな感じで保存されているのか」というのは、パソコンの中をのぞいても決して見ることができないでしょう。でも、模式図を使って、こんな感じで保存されているような気がします、というくらいなら、できそうな気もします。ただし、あくまで模式図ですので、あまり深刻に考えこまないでください。 前回（http://d.hatena.ne.jp/denshikA/20091204）、画像データは、「平らなもの」ではなくて、「ちょっとした箱のようなもの」ではないでしょうか、とお話しました。 つまり、こういうことです。 前回はここまでだったのですが、画像が箱の上面に貼り付いている
Tsukuba.R#5お疲れ様でした - 糞ネット弁慶
Tsukuba.R#5 - Tsukuba.R - livedoor Wiki（ウィキ） そんな感じでTsukuba.R#5でした。皆さんお疲れ様でした。 僕のスライドを上げました。 大した時間をかけずともさっと分析できて可視化できるのでRは素晴らしいし、連続変数を扱わない場合はtable関数が神がかっているので積極的に使いましょう。あと破滅的に時間を潰した挙げ句「Rのgrepにperl互換あるじゃん」とか言われて泣きそうになったのは内緒。時刻変換の部分はid:Rion778に教えてもらって助かりました。ここに感謝します。 id:yag_yas 回帰分析をやる話 1分もかかりません lmとupdateを使えば見事に重回帰分析もできる nlsを使うと非線形回帰も使えるようになるとか 年齢推定や！！ id:bonohu DBCLSの話 ライフサイエンスデータの「上水処理場＋下水処理場」 データ
JavaScriptで複雑なデータ視覚化のためのライブラリ「JavaScript InfoVis Toolkit」:phpspot開発日誌
JavaScript InfoVis Toolkit - Interactive Data Visualizations for the Web JavaScriptで複雑なデータ視覚化のためのライブラリ「JavaScript InfoVis Toolkit」 次のような、画像編集ツールで書くにしても大変そうな複雑なデータの描画をJavaScriptで行えます。 描画できるグラフもなかなかユニークなものが多くて、これは覚えておくといつか使えるかもしれません。 APIドキュメントはこちら 関連エントリ 複雑なデータも綺麗に描画できるデータのビジュアライズフレームワーク「Axiis」 データを視覚的に分かりやすくビジュアライズするためのライブラリ集
ベンチマークテスト「DSpaceに登録されているデータの数と、データの登録にかかる速度の関係は？」 | カレントアウェアネス・ポータル
英国情報システム合同委員会（JISC）のプロジェクトに、ロボットを使って機械的にデータ、メタデータをオープンソースのリポジトリ用ソフトウェアに登録していくことの可能性を探る“Robot-generated Open Access Data”（ROAD）というものがあります。このプロジェクトの一環で、リポジトリ用ソフトウェア“DSpace”に、機械的にデータを登録し続けてその登録速度の劣化度合いを調べるベンチマークテストが行われました。この結果をレポートしているルイス（Stuart Lewis）氏は、100万件のレコードを登録するテスト（サーバのCPUは8つ、メモリは16GB）の33万件目が終わった段階で、「DSpaceは理論的におよそ400〜500万件のレコードを格納でき、その段階でもROADプロジェクトが推奨している1日に2GBのデータ登録が可能である」と推定しています。 DSpace
複雑な状況を「物語」として理解する：DARPAがAIシステムを開発へ | WIRED VISION
前の記事 日常生活のありふれたデータを視覚化してくれる『Daytum』 膨らますと快適な仮設住宅に：高さ1mのキット『ライフキューブ』 次の記事 複雑な状況を「物語」として理解する：DARPAがAIシステムを開発へ 2009年1月20日 Noah Shachtman 単調な低い連続音、情報提供者からの情報、ニュース報道、入手した携帯電話の会話……戦場にいる指揮官はしばしば、非常に多くの情報を手に入れるが、これらの情報から意味を得るのは難しい。 こうしたことから、米国防総省の奇妙な研究部門である国防高等研究計画庁(DARPA)は、こうしたすべてのデータを、「人が理解するのにもっと適したかたち」――具体的に言うと、物語――に変えようと試みている。 この物語の作者は、こうしたすべての情報をまとめて、隠れた意味を探り出し、分かりやすい物語にすることができるという、一連の知的なアルゴリズムだ。 DA
配信に有利な形式 - eiji8pou's diary
ブクマコメに対して。 http://b.hatena.ne.jp/entry/http://d.hatena.ne.jp/oyatata/20080825/1220069713より。 2008年09月28日 id:guldeen[著作権][copyright][出版][publishing]解像度に関して言えば、印刷前提のデータだと350dpi・画面用だと72-96dpiといわれてるし。／モノクロ用だが、拡大縮小が簡単なデータ形式画像って、開発されてなかったっけか？ 強調部俺。 そういう形式が開発されたと言うことは寡聞にして聞いたことはないが、ラスタ画像でなくてベクタ画像で配ればそれで用は足りるんじゃね？ つか、ぶっちゃけFlash。 しかし面白いな。ラスタをベクタに変換するプログラムとか、どうだろう。あるいはもう、画像ソフトからして最初からベクタで執筆するとか。んで、もっとズボラして、3
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kibana入門
GitHub - recruit-tech/MovieExport: For gephi
セクシー女優で学ぶ画像分類入門
103271’s gists