Twitterはどうやって1秒に3,000もの画像を処理しているのか | FAworksブログ
現在、Twitter は1秒間あたり3,000枚の画像(約200GB)を作成し持続している。 しかしながら、2015年に Twitter はこれら画像ファイル等メディアファイルの保存方法を改善したために、600万ドルを節約することができた。 以前からそうだったわけではない。Twitter は2012年には主にテキストベースだった。 これはまるで、ホグワーツ魔法魔術学校であのかっこいい動く絵が壁にかかってないようなものだ。 2016年の今では Twitter はメディアを駆使した方向へと移行している。 Twitter は、プレビュー、マルチフォト、gif、vine、埋め込みビデオなどで写真をサポートできる新たなメディア・プラットフォームの開発を経て変化したのだ。 Twitter社のソフトウェア開発エンジニアであるHenna Kermani氏が、Mobile @Scale Londonでの興味
Twitter: 14万件/秒のtweetを支えるFinagle - ワザノバ | wazanova
https://blog.twitter.com/2014/netty-at-twitter-with-finagle 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約4時間前 Twitterの一連のシステムは、バックエンドのユーザプロファイル / tweet / タイムラインから、HTTPリクエストを処理するフロントAPIのエンドポイントに至るまで、Finagle上で構築されてます。同社のエンジニアブログでその概要が紹介されています。 障害耐性があり特定のプロトコルに依存しないRPCフレームワーク for JVM Netty (NIOクライアントサーバフレームワーク) 上に構築。SOA (サービス指向アーキテクチャ)では上流サービスの待ち受けをしている時間が長いので、非同期処理ライブラリが効果的。 Twitt
大規模分散システムの現在 -- Twitter
Kubernetesでの性能解析 ～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）NTT DATA Technology & Innovation
TwitterのDMでの文字数上限が7月から140字→1万字に
これまで投稿と同じ140字までしか入力できなかったTwitterのダイレクトメッセージ（DM）の文字数上限が7月から1万字に拡大する。 米Twitterは6月11日（現地時間）、ダイレクトメッセージの文字数上限を、現在の140字から1万字に拡大すると発表した。7月中に実施する。 文字数拡大の実施を前に、サードパーティーアプリ開発者に対し、アプリを長文DMに対応させるよう呼び掛けている。 Twitterへの投稿に関しては、140字という制限に変更はない。1日に投稿できるDM数の1000件という上限も変わらない。 現在は、Twitterで140字以上の投稿あるいはDMを入力しようとすると、140字を超えた段階で文字が赤く表示され、投稿ボタンが押せなくなる。7月からは、DMのみ文字数制限をほとんど意識せずに入力できるようになる。 関連記事 Twitter、ブロックリストの共有が可能に──嫌がらせ
InfluxDBとGrafanaとfluentdで、twitterデータのリアルタイム集計・可視化 - Qiita
require 'influxdb' => true influxdb = InfluxDB::Client.new :username => 'root', :password => 'root' => #<InfluxDB::Client:0x007fb424481ec8 @async=false, @hosts=["localhost"], @initial_delay=0.01, @max_delay=30, @open_timeout=5, @password="root", @port=8086, @read_timeout=300, @time_precision="s", @use_ssl=false, @username="root"> influxdb.create_database('qiitademo') => #<Net::HTTPCreated 201 Crea
あの日、Twitterのくじらが出なかったもう1つの理由
社会を率いているリーダーは、いつの時代にも存在する。しかし、そのリーダーたちの顔ぶれは、毎年異なる。ここ数年、世界で注目されているリーダーの顔ぶれはどのように変化してきたのか。 社会を率いているリーダーは、いつの時代にも存在する。しかし、そのリーダーたちの顔ぶれは、毎年異なる。ここ数年、世界で注目されているリーダーの顔ぶれはどのように変化してきたのか。その移り変わりについて、漠然と想像することは可能だが、具体的に説明することは難しい。しかし、多くの活躍するリーダーの姿を間近で見てきた元日本マイクロソフト会長、現慶應義塾大学大学院メディアデザイン研究科 古川享教授は、その変化を明確に示す。 今回は、2013年11月下旬から12月初旬にかけて古川氏が登壇した2つのイベントで語られた内容を合わせてレポートする。イベントは、慶應義塾大学大学院メディアデザイン研究科が主催した講演会「メディアイノベー
New Tweets per second record, and how!
Recently, something remarkable happened on Twitter: On Saturday, August 3 in Japan, people watched an airing of Castle in the Sky, and at one moment they took to Twitter so much that we hit a one-second peak of 143,199 Tweets per second. (August 2 at 7:21:50 PDT; August 3 at 11:21:50 JST) To give you some context of how that compares to typical numbers, we normally take in more than 500 million Tw
tweets.zipをMySQLに突っ込んでSQLを学ぶ(導入編) · さよならインターネット
April 4, 2013 Twitterの過去ログが落とせるようになったので SQLに学ぶには丁度いいや。ということで カジュアルにOSX上でhomebrewを使ってMySQLに入れてみました。 MySQL ver.5.6 (homebrew install) OS / OSX 10.8.3 なにはともあれアーカイブをダウンロード Twitterの個人設定っぽいところから ポチポチするとダウンロードリンクが貼られたメールが送られてくるので ポチポチしてtweets.zipをダウンロード。 tweets.csvを探す tweets.zipを解凍すると、中身がこんな感じに出てきて index.htmlをブラウザで開くと、過去のツウィートが見れたりします。 時間泥棒なのでおすすめしません そして、tweets.csvが目的のファイルで、中身を開くと "tweet_id","in_reply_t
特定のクライアントを許可している Twitter ユーザーの Token Credentials を入手する攻撃 - ひだまりソケットは壊れない
怪しいクライアントを許可していないのに勝手に twitter で DM が送信されていた 何やら Twitter で勝手に DM が送られるという事案が発生していた模様。 調査の結果、ある web ページにアクセスしただけで、Twitter の token credentials が攻撃者に知られてしまう *1 ということがわかったらしい。 下記ページにまとめられていたのだけどパッと読んですぐには攻撃手法を理解できなかったので、いろいろ考えたことを書き残しておく。 「ちょっとこれみてくれない」とurlを送るスパムDMの解析と解説 - Togetter 簡潔な解説が以下の記事にあったので、簡潔な説明で理解できる人は下記記事参照。 gist:5053810 (DM踏んだだけでアレな件はTwitterのOAuth実装がク○だと思う) 【拡散希望】twitterの新型ウイルスがヤバい URL踏んだ
Crowyのサービス継続が難しい状況になりました。本日よりCrowyをオープンソース化し、サービス継続にご協力いただける方を募集します。
こんにちは。co-meetingの木村です。 いつもCrowyをご利用いただきありがとうございます。 2010年11月にMashup Award 6への出品のために個人で開発を開始したCrowyですが、おかげさまで好評をいただき、今まで2年以上に渡りサービスを提供し、現在では4万人以上のユーザにご利用いただいております。 昨年の8月から9月にかけてTwitter社がAPIおよび利用規約の変更をアナウンスがありましたが、本サービスCrowyも3月5日までに対応する必要があります。これに対応しない場合、APIを継続利用することができず、Crowyのサービスも継続することができなくなってしまいます。 Crowyは、co-meeting社で運用メンテナンスして来ましたが、ここ１年はメインプロダクトであるco-meetingの開発に注力しているため、Crowyに対する追加開発は行うためのリソースを確
Big Sky :: ぼくが知ってる twitter じゃない
もう僕が知ってる twitter じゃなくなってきてる。 Twitter、開発者向けガイドラインとAPI変更について説明 ユーザー数制限など厳しい内容 - ITmedia ニュース 米Twitterは8月16日（現地時間）、数週間後に予定しているTwitter APIのバージョン1.1へのアップデートと開発者向けガイドライン「Developer Rules of the Road」の改定について説明した。クライアントアプリのユーザー数に上限を設けるなど、サードパーティーにとって厳しい内容になっている。 http://www.itmedia.co.jp/news/articles/1208/17/news037.html Twitter のことと P3:PeraPeraPrv について - とかいろいろ 彼らはこのユーザーの「好みのクライアントアプリを選ぶ自由と権利」を奪うという決定をしまし
Twitterの規約変更でクライアントアプリがオワタ | 拷問iPhoneアプリ開発
[追記] 以前は”クライアントアプリとキュレーションがオワタ”というタイトルだったけど、混乱するコミュニティーに対し、Twitter側から新情報が出たので変えました。(最後の追記を参照) [追記]新しく分かった事柄などを整理した記事を書きました。 TweetBotのメッセージと新しいTwitterAPIルールの整理 TwitterAPIの新しい規約詳細が出た！ https://dev.twitter.com/blog/changes-coming-to-twitter-api ６月の終わりに、Twitterがブログで、「Twitterアプリのパクリだったり、エコシステムにそぐわないアプリは禁止するよう規約変更があります。。。」と意味深げな事を語って、開発者のコミュニティーがずっと大騒ぎでした。 Twitterのブログ記事の衝撃はたいへんなもので、内容がはっきりとしてなく、一見開発コミュニテ
英語アカウントのつぶやきを日本語に翻訳してTwitterに投稿するスクリプト - As a Futurist...
そろそろ国際人になろうということで、英語ブログと Twitter の英語アカウントを準備してます。よろしく。 riywo weblog riywo@SF(hopefully) (riywo_en) on Twitter で、perl の練習ついでに英語アカウントでのつぶやきを翻訳 API 使って日本語にして日本語アカウントにつぶやくスクリプトを試作してみました。こんな感じで reply としてつぶやいてくれます。 riywo/TwitterTranslate · GitHub "これは、自動翻訳のためのテストです。" (@riywo_en) — Ryosuke Iwanaga (@riywo) April 7, 2012 自分のつぶやき取得は AnyEvent::Twitter::Stream で stream api を使って取得してます。filter メソッドで follow に自分の
Twitterはこのメモから6年前、すべてが始まった
Twitterが生まれてから6年目となりましたが、その最初のアイディアの段階の貴重なスケッチが公開されました。このメモのスケッチから今のTwitterのすべてがはじまったわけなので、非常に歴史的価値の高いスケッチとなります。 Twitter Blog: Twitter turns six http://blog.twitter.com/2012/03/twitter-turns-six.html 以下がそのスケッチ。 twttr sketch | Flickr - Photo Sharing! http://www.flickr.com/photos/jackdorsey/182613360/ よくよく見ると最初の名前は「stat.us」だったことがわかります。「マイ・ステータス」、つまり今の自分の状況をお知らせする、という基本的な部分のアイディアはこの時点からちゃんとあったわけです。 ま
【Twitter実験】つぶやきだけで個人を特定できるのか？ | オモコロ
こんにちは、セブ山です。 みなさんはTwitterでどんなつぶやきをしていますか？ おそらく、今日の予定をつぶやいたり、ランチの写真をアップしたり、あなたの「今」を仲の良い友達に向けてつぶやいていることでしょう。 しかし、本当にそのツイートはあなたの友達だけが見ているのでしょうか？ もし、知らない誰かにあなたのつぶやきを覗かれていたとしたら…？ つぶやいた内容を手掛かりに個人を特定されてしまうかもしれませんよ！？ 今回は、そんな個人情報垂れ流し社会に警鐘を鳴らす実験をおこないます！！ ■ルール説明 １．Twitterの検索機能を使って「渋谷なう」とつぶやいているアカウントを探します。 ２．「渋谷なう」の検索結果をもとに、さらに詳細な個人情報を垂れ流しているアカウントを割り出します。 ３．そのアカウントのつぶやきをこっそり監視して、個人を特定し、実際に捕まえるためにハンター（セブ山）が渋谷の
Twitpic 等の画像投稿サービスのサムネイル画像の URL - もしかして: blog.iron's.jp
ページ URL を書き換えるだけでサムネイル画像が表示できるもの Twitpic （ドキュメント） ページ: http://twitpic.com/<image-id> サムネイル画像: http://twitpic.com/show/<size>/<image-id> <size>: “mini” or “thumb” 携帯百景 ページ: http://twitpic.com/<image-id> サムネイル画像: http://image.movapic.com/pic/<size>_<image-id>.jpeg <size>: “s” or “t” はてなフォトライフ ページ: http://f.hatena.ne.jp/<user-id>/YYYYMMDD<image-id> サムネイル画像:http://img.f.hatena.ne.jp/images/fotolife/<u
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterのリアルタイムマルチテナント分散データベースManhattan
GitHub - twitter/twemcache: Twemcache is the Twitter Memcached
ツイートID生成とツイッターリアルタイム検索システムの話
Components · Twitter Bootstrap