Webスクレイピングする際のルールとPythonによる規約の読み込み - Stimulator
- はじめに - この記事は Webスクレイピング Advent Calendar 2017 - Adventar の1日目の記事です。 近年では、Pythonが様々な場面で使われるようになりました。 Webからデータを取ってくる際のスクリプトとして利用し、そのままデータを機械学習における学習データとするといった案件も多く見るようになっています。 ありがたい事に本年度書きました以下の記事は、はてなブログに投稿されたPython関連の記事の中で歴代はてブ数1位だそうです。 Webスクレイピングも日に日に情報が増え、様々なパッケージやフレームワークによって手軽になっています。 本記事は、スクレイピングやクローラを記述する際に抜けがちな、「規約」について記載するものです。 スクレイピングの間隔はどうすればいい？規約は？違法でないの？という人のために法律等もまとめています。 追記2019/01/0
中高生専用SNS「ゴルスタ」運営批判は威力業務妨害でBAN、復帰には協力姿勢と反省文という驚異の体制を見て震える人々 - Togetterまとめ
ぼえぼえ @Unused_Johnny ・ゴルスタという中高生限定のSNSがある ・運営を批判するとアカウントをBANされる ・アカBANされた人は「運営批判を許さない！」と言って運営に協力的な姿勢を見せて、反省のポーズを見せればアカウントを復帰できる って感じなのか。 2016-08-25 02:07:06 おまえ 🎩☕︎ はっぴーあんばーすでー @ideograph089 ゴルスタ、さっき知りまして、運営を批判すると垢BAN、それに同意する奴も垢BANという言論統制を行っていて、ものの見事にそこかしこの中高生がTwitterで運営に謝罪し、運営批判をやめよう！と呼びかけていて、なにこの宗教と思ったし、そこまでゴルスタに執着するのは何故？ 2016-08-25 18:56:14
タイ全裸の株式会社DYMが評判の隠蔽に使った7つの手法 - web > SEO
2016年3月、社員旅行で訪れたタイ国ホアヒン、タイ王室ゆかりの地にて社員数十名が全裸で騒いだ件が株式会社DYMの評判としてネットで話題になりました。 タイの王室保養地で、日本人20人が全裸狂乱事件…国際問題に発展、タイ国内が騒然/ (魚拓) さて、この話題はどのように検索結果に表示されているでしょうか。 4/10と4/21に[DYM]と検索した結果を見比べてみましょう。 赤枠が事件を紹介した記事です。4/10に5枠あったものが2枠に減りました。 そのかわりに現れた表示がこちらです。 前回このブログでは、DMCA申請が悪評隠しに悪用されたと思われる事例をご紹介しました。 そして今回も本来クリエイターの著作権を守るためのDMCA(デジタルミレニアム著作権法)が、タイ国での騒動という株式会社DYMの評判に影響するのを隠そうと悪用されたものだと考えます。 この株式会社DYMは、ネット上での悪評隠
第2回 Qiita プライド: Atom 対 Brackets 対 Lime Text 対 Visual Studio Code - Qiita
Sublime Text の後継を目指すオープンソースのテキストエディタ。Go 言語でできている。まだ完成はしておらず、自分でコンパイルする必要があるが、通常のGUIアプリだけでは無く、CUIアプリやWebアプリとしても動作が可能になるなど、野心的な機能が詰まっている。次々世代テキストエディタ。 Microsoft が開発したマルチプラットフォームのテキストエディタ。Visual Studio のように IDE 並の機能は無いが、C# ではリファクタリングが可能など、Microsoft が推奨する言語のエディタとして十分な機能を持つ。また、Python や Ruby など一般的な言語にも対応しているので、普通のエディタとしても使用可能だ。Windows 上でがっつりしたいときは Visual Studio で、ちょっとした修正や Windows 以外では Visual Studio Cod
「.tokyo」東京のドメイン誕生。一般登録 80円｜ドメイン取るならお名前.com
kangoshi.tokyo nomoto.tokyo kawaii.tokyo 競技.tokyo trade.tokyo sozoku.tokyo メンタル.tokyo toy.tokyo tenpo.tokyo 結婚式.tokyo 枕.tokyo cube.tokyo john.tokyo english.tokyo kampo.tokyo shinise.tokyo otoha.tokyo rental.tokyo いつか.tokyo kuwabara.tokyo guitar.tokyo nationalcar.tokyo 看護師求人.tokyo メガネ.tokyo taichi.tokyo sika.tokyo cashing.tokyo banker.tokyo mana.tokyo medical.tokyo allstar.tokyo エステ.tokyo doctor.to
Twitterがクオリティの低いツイートを非表示にする機能をテスト中
By Maryland GovPics Twitterがクオリティの低いツイートをタイムライン上から削除するという機能を、一部ユーザーの間でテスト中であることが明らかになりました。 Well, that's an interesting & welcome addition, Twitter! (Was prompted about this on opening the app.) pic.twitter.com/Ka2VDvqwNf— Anil Dash (@anildash) Twitterはこれまでにも一部ユーザーの間で新しい機能のテストを行ってきましたが、今回テストされている機能というのが「タイムライン上からクオリティの低いツイートを削除する」というもの。具体的には「Quality filter(クオリティ・フィルター)」と名付けられており、恐喝めいたツイートや攻撃的なツイート、
Qiitaにいただいているご意見について - Qiita Blog
いつもQiitaをご利用いただきましてありがとうございます。Qiitaを運営しておりますIncrements株式会社の代表の海野です。 先週よりQiitaに対してご意見、ご要望をいただいておりますが、確認できる限り全て読ませていただいております。ありがとうございます。Qiitaに関してご心配や一部の対応についてご心証を悪くされている方もいらっしゃいましたので、以下についてご報告させていただきます。 一部ユーザーさまのユーザー資格の取消についてQiitaに対する要望の投稿の非公開化について1. 一部ユーザーさまのユーザー資格の取消について本件については当該のユーザーさまとご連絡のやりとりをさせていただいておりましたが、事態の改善が見られない事象を*自他の投稿のコメント欄にて*複数回視認したため、結果的に弊社サービス利用規約に基づきユーザー資格の取消という重い判断をさせていただきました。 今回
山形浩生「フォロワー数で変わるツイッターのメディア性」 - アルコムワールド コラム 2011/05
『山形浩生の：世界を見るレッスン』 連載 64 回 フォロワー数で変わるツイッターのメディア性 月刊『アルコムワールド』 2011/07号 要約：ツイッターの持つメディアの特性は、フォロワー数によってだんだん変わる。それに自覚的でない人の多くは、自分のおかれた環境にまったく鈍感なために愚かしい醜態をさらすことが多い。が、求める水準のメディアにとどめるための作業もむずかしい。 ある人の書くものでも、あるいはツイッターのツイートでもいいけれど、長いこと見ていると、ときどきその人がだんだん——または突然——おかしくなって、ぎょっとすることがある。今回の震災と原発事故では特に、ツイッターでそんな光景が見られた。それまで普通あるいは高めの見識を持つと思っていた人が、いきなりわけのわからないことを言い、デマに踊らされ、それをたしなめられると逆ギレして相手を罵り、過去の発言との矛盾を指摘されると変な言い
Twitter、タイムラインへの“不純物”表示を正式機能に
これまでプロモツイート以外はユーザーがフォローしている相手のツイートのみが表示されてきたTwitterのタイムラインに、今後はフォローしていないアカウントのツイートが表示されるようになる。 米Twitterは、最近一部のユーザーでテストしていたタイムラインへのフォロー相手のツイート以外のコンテンツ表示を正式機能にした。同社の関連するヘルプページに8月19日（現地時間）、新たな項目が加わったことを米Quartzなどが伝えた。 日本語のヘルプページには本稿執筆現在、まだ新項目が追加されていないが、米国版では2項目目として「さらに、あなたがフォローした方がいいアカウントのツイートや、人気があったりあなたに関連性が高いとTwitterが判断したツイートを、あなたのタイムラインに追加します。つまり、あなたがフォローしていないアカウントのツイートが表示されるということです。Twitterはタイムライン
jQuery 公式 Blog 「jquery-latest.js を使用するのをやめろ」
jQuery 公式 Blog は、「Don't Use jquery-latest.js」 と題された記事内で、今後、jquery-latest.js のバージョンを 1.11.1 で固定することと、本番環境で jquery-latest.js を読み込むのをやめてくれというアナウンスを行っています。 jQuery 公式 Blog は、7月 3日付けで投稿された 「Don't Use jquery-latest.js （jquery-latest.js を使うな）」 と題された記事内で、今後、jquery-latest.js のバージョンを 1.11.1 で固定することと、本番環境 （公開している Web サイト） で jquery-latest.js を読み込むのをやめてくれというアナウンスを行っています。 Don't Use jquery-latest.js ： Official jQ
“忍者女子”との社内恋愛には気をつけろ！ - ライブドアニュース
日本にはまだがいる。そう思っている外国人を日本人は笑うだろう。忍者なんていないと。しかしだ。現代の日本、貴方の周りにも忍者はいるのである。普段は正体を隠して働いているので、その存在に気づかないだけなのだ。 女性の忍者「くノ一」。今回は現代に生きる「くノ一」が、忍者の里でどのような生活をし、そして我々のビジネスライフの中でどのように潜んでいて、仕事をしているのか、これらを追いかけてみた。 一般的な会社員の打ち合わせ風景とは違って見えるかもしれないが、やっていることは一緒。唯一の違いは体が極端に柔らかいことだ。 くノ一は普段、正体を隠している。しかし、クセなのだろう。ところどころでくノ一っぽさが出てしまう。開脚での会議。ついつい出てしまうくノ一スタイルだ。 やたらバランスがいいのも怪しんだ方がいい。 くノ一とて人。仕事に飽きることもある。そんな時はくノ一としての力を発揮する。 変わり身の術で気
よく当たる占いサイト - 言葉の色を診断！ファルベコローレ
色占い診断の使い方とお願い ファルベコローレは言葉を基に当てはまる配色を表示する色診断サイトです。キーワードを入力すると、その言葉からイメージされる配色とカラー属性を教えてくれます。色数値や色成分の分析や使用例といった様々な色彩データを色彩講座で解説しているので実用的にも使えます。カラーイメージは日にちを開けて再度調べたときに前とは違った色になることもあります。定期的に必ず入れ替わる分けではなく、ずっと同じ色がでる場合もあればガラッと違う色になる場合もあります。その時々で出てくる言葉のカラーリングをお楽しみください。 配色ツールとして デザインやイラスト制作で色の選定で困ったときの配色探しに便利です。カラーコンサルティングにも通じるカラー分析もあるので色に説得力も持たせられます。 色彩講座で色の勉強 言葉のカラーイメージを色相や彩度といった属性で分類したものを見たり、色から感じる温度や色の
広告業界と無関係な僕がさっぱり理解できないアドテク用語を調べた。
厳密には無関係ということはないのですが、僕は直接的に広告に関連のある事業をやっているわけではありません。しかし、最近アドテクの世界が面白くて、基本的なことから勉強しています。 インターネット広告はテクノロジーのかたまり インターネットはテクノロジーの世界です。そして、この世界でとても大きなお金を生んでいるのが広告です。 今をときめくGoogleもFacebookも広告で収益を上げている企業です。日本でも同様にインターネット広告の市場規模はとても巨大で、1兆円程度とのことです。 必然的に、広告という世界には、インターネットの業界のテクノロジーが結集します。だから、技術的にも、とてもおもしろいです。 広告はどこからやってくるのか？ 広告とは、これのことですよね。 そもそもは、これがどうして表示されるのか、というを調べていました。調べてみると、裏側にはとんでもない世界が広がっていました。 純広告
[API/マッシュアップ]Twitterに投稿される画像の直リンク取得方法 | Wood-Roots:blog
Twitterに投稿される画像だけ集めたギャラリーサイトなど面白いのではないかと思い、ツイートに含まれる画像のURLを取得する方法について調べてみました。 テストがてら簡単につくったものですが、たとえば「須磨」という単語が含まれた写真付きのツイートを検索した結果はこのようになります。 （´-`）.｡oO（夏休みですね。。。。。。）
ムック「データベース徹底攻略」 - MySQL/Redis/MongoDB/Redshift
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
403 Forbidden
＼閉鎖予定のサイトも売れるかも？／ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今年の中国のワースト映画は？ 「金ほうき賞」の投票始まる
合言葉だけで写真を交換できるアプリ 写真袋
あれから3年、Google+が実名ルールを捨て、ユーザーに謝罪 - TechCrunch
GitHub - ayakix/Facebook-no-Ran
