つながりをデータから解き明かしたい ~ 複雑ネットワークの世界とそれを活用した不正検知システム，さらに向こうへ | メルカリエンジニアリング
つながりをデータから解き明かしたい ~ 複雑ネットワークの世界とそれを活用した不正検知システム，さらに向こうへ この記事は Merpay Tech Openness Month 2021 の14日目の記事です．こんにちは，メルペイのMachine Learningチームのhmjです． 今回は昨年に引き続き「集団的な不正の検知」をテーマに，ここ一年間で少しづつ進めてきた集団的な不正の傾向分析や，検知のための機械学習パイプラインの構築・運用として Vertex Pipelinesの使用を検討しているので，それらの分かったことなどを紹介します． 昨年の記事はこちらとなります． Overview 「集団的な不正の検知」といっても，実際に定義は自明ではありません．その言葉を聞いた人によって，想像する集団の大きさや形，特徴などは様々です． 今回は，カード決済を利用した取引での集団的な怪しい取引のケース
組織はツリーではない - Jim Coplien さんのスケールフリーネットワーク論 - kawaguti’s diary
RSGT2020の基調講演をやっていただく Jim Coplien さんによる、大規模組織のお話がありました。 この話を聞くのは実は三回目(飲み屋、ウィーンでのScrum Gathering、今回)ですし、ありがたいことに、色んな人に日本語で説明することもあるので、周りの人とも話しながら自分なりの認識がまとまってきました。 いや、お前のまとめなんていらないんだよ、とは思いますが、全体をちゃんと書くのは難しいので(ビデオとっとくべきでした)、ざざっと書いておきます。 人々は組織をツリー構造*1で考えがちで、実際に公式な組織アサインはそのように運営されがちだが、末端のノード間やたすき掛けのようなつながりは自然に起きていて、それによって情報流通の効率性が維持されている。これは、兼務をつけて複数部署にマネージャーを頭出しさせるのとも違うし、マトリックス型組織でプロジェクト運営するのともちょっと違う
【追記あり】モバイルインターネット環境の通信速度を TCP BBR が有効な ShadowsocksR で10倍速にする - 2nd life
追記 kazuho さんからの指摘いただいた通り、TCP BBRアルゴリズムがモバイル環境の通信速度向上に影響を与えているわけでは無く、キャリア/ISPが制御している回線(本記事ではIIJmio回線)を、BBR+SSRという特殊なコネクションにより、トラフィックシェイピングの挙動を変えてしまい*1、そのため帯域幅が増えたと推測されます。この利用方法では、TCPの公平性に悪影響を与えてしまう行為になる可能性があり、一般良識の範囲内で試すなど、定常的な利用は控えた方が良いでしょう。 さらに追記 IIUC同僚氏いわく、kernelのtcp実装ならBBRv1。モバイルキャリア内にありがちなユーザ毎のキューがボトルネックか、同一ユーザが並行ダウンロードを行なって確認すればいい（バンド幅の総和が不変ならユーザ毎のキューあり）。キューがあってそこがボトルネックなら輻輳制御間の公平性の懸念はない— Kaz
Perfumeファン1万2000人のスマホ、Wi-Fi同時接続できたか？
横浜アリーナに集結した約1万2000人の熱狂的な「Perfume（パフューム）」ファンが、スマートフォンで会場内のWi-Fiに同時接続──。 そんなことをしてうまくいくのか？そもそもライブ会場にスマホを持ち込んでいいの？録音・録画は禁止が一般的なのに。 平成最後の大みそかとなった2018年12月31日、人気歌手グループであるPerfumeのカウントダウンライブが横浜アリーナで開かれた。実はこの日、今や世界中にいるファンとPerfumeが、2018年から2019年に年が変わる瞬間を共有するというプロジェクト「docomo×Perfume／その瞬間を共有せよ。」がライブ中に開催された。これは、NTTドコモが新しいエンターテインメント体験を探る「FUTURE-EXPERIMENT」の一環で、その第4弾（VOL.04）に当たる。 2018年の大みそかにNTTドコモとPerfumeが実施したプロジェ
外部の助言が組織変革をしやすい理由を、シミュレーションで理解してみた - Unknown Error
組織をつくっている人間として、なぜ内部構造を良く知っている人間は組織改革を起こしづらく、あまり内部構造を把握していない外部の人間の意見の方が組織改革を起こす火種になりやすいのだろうか、と長年思っている。 この疑問の1つの答えを、群衆の英知もしくは狂気を使って、視覚的に説明出来ることがわかった。 きっかけ 先日、"群衆の英知もしくは狂気"のWEBサイトが公開され、Twitter上でも話題になった。 ncase.me この内容で私が最も驚いたのは、 "少ないつながりでは複雑な概念は拡散しない。でも多すぎるつながりも集団浅慮で破壊される。" というものだ。 私は直感的にはこれを理解していたものの、でもつながりは多ければ多い程、正しい考えに至るのではないかとも考えていた。 しかし、このWEBサイトで実際にシミュレーションした結果、その考えが誤っていたことがわかった。 ただ、このときはなるほどーぐら
群衆の英知もしくは狂気
アイザック・ニュートン卿は、自分が賢い 人間だと信じていた。微分積分学や重力理論 を発明(inventing)したのだから、金融投資(investing) ができるくらい賢いはずだよね？まぁとにかく、短く まとめると、1720年 に起こった南海泡沫事件という全世界 的な投機ブームで、彼は(現在の価値で)$4,600,000を失ったんだ。 後にニュートンはこう言った。 “私は天体の動きを計算することはできるが、 人々の狂気については計算できない” 彼のために勉強しよう これまで市場、制度、民主制全体は 何度もおかしくなってきた。— 群衆の狂気だ でも君が人間に失望していたときですら、 ハリケーンが起きれば、みんなで協力してきたし、 コミュニティは問題を解決してきた。人々はよりよい 世界のために戦ってきた。— 群衆の英知だ！ しかしなぜ 群衆は狂気に向かったり 賢くなったり するのだろうか。
「中華ウェブカメラ」のセキュリティについて - 黒林檎のお部屋♬
黒林檎です。 今日は、IPカメラをハッキングしていこうと思います。 ◆最初に 巷で話題のIPカメラ『VSTARCAM Mini WIFI IP Camera 技術基準適合認定済み有線/無線LAN対応ネットワークカメラ C7823WIP』をハッキングして、どんなセキュリティリスクがあるか考えていきたいと思います。 hardshopper.hatenablog.com 最初に疑ったことはスピーカーの破損によるシステム音声のボヤきだったので、ウェブカメラで再生される音声データを抽出してみましたが、該当しそうな音声データはありませんでした。 中国カメラ音声 - Google ドライブ 金曜日にこんな面白い話が降ってきたので、速攻ポチって買いました。 同じシステムを使っているカメラを購入してハッキングしていたので、そこまで時間掛けずにハッキングできるだろうといったところでした。 (図)IPカメラ 私
稼げる人と稼げない人の違い／人材不足と低賃金が両立する理由 - デマこい！
世の中には、人材不足と低賃金が両立してしまう業界がある。 たとえば介護や警備の仕事が代表的なものだろう。最近では、船員の人材不足により日本の海運業がヤバいという増田記事が注目を集めていた。船員の給与はそれほど低くはないが、労働環境のキツさには見合わない。そのため船員になりたがる若者が減り、深刻な高齢化に見舞われているという。労働力の供給過小が明白なのに、船員の待遇が向上しないのはなぜだろう？ これに似た事例として、クラウドソーシングの世界がある。 クラウドソーシングのサービスでは、いわゆる「クソ案件」が多いという。仕事内容に見合わない低報酬の発注があとを絶たず、なかには適法性が問われるような案件もあるそうだ。なぜクソ案件は無くならないのだろう。なぜ、そんなクソ案件でも、一部のクラウドワーカーは引き受けてしまうのだろう？ クソ案件が溢れているのは、何もクラウドソーシングの世界だけではない。た
2015年Webサーバアーキテクチャ序論 - ゆううきブログ
2023年03月31日追記：この記事を基に、@sadnessOjisanさんより、コードレベルにより踏み込んだ、かつ、グリーンスレッドベースの新しいWebサーバアーキテクチャも含めて整理された記事 Webサーバーアーキテクチャ進化論2023 | blog.ojisan.io が公開されました。 主に新卒のWebエンジニア向けに、古典的なWebサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介します。 この辺りの話題がWeb界隈で流行っていたのは数年以上前というイメージですが、Webサービスは相変わらずWebサーバの上で動いているので、流行り廃り関係なく学ぶべき内容だと思っています。 また、HTTP/2がいよいよRFC化し、既にh2oやtrusterdなどのHTTP/2のサーバ実装があり、今後Webサーバアーキテクチャを再訪することが増えるような気がしています。 ところが、We
DNS問い合わせの可視化 | ある研究者の手記
DNS問い合わせの可視化 最近、データをまとめたり可視化したりしてその性質を調べる探索的データ分析(例)にはまっています。と、同時にネットワーク分析にもちょっと手を出しており、その2つの派生物としてドメイン名問い合わせの結果を可視化してみました。 これを読んでいる人にはもはや説明の必要はないと思いますが、一応書いておくと、世の中のwww.google.comやwww.amazon.co.jpのようなドメイン名はサーバの場所を直接示しているわけではなく、「この名前を持っているサーバのIPアドレスはなんですか？」というのをDNSサーバという別のサーバに問い合わせることで目的のサーバのIPアドレスを教えてもらい、その後目的のサーバへ接続します。以前は正引き（ドメイン名からIPアドレスを問い合わせる）と逆引き（IPアドレスからドメイン名を問い合わせる）が対称構造になるように設定するのが主流でしたが
Comb the Hairball with BioFabric
June 15, 2019: BioFabric Version 2 Beta Release 2 is now on GitHub Significant features: Nodes are represented as one-dimensional horizontal line segments, one per row. Edges are represented as one-dimensional vertical line segments, one per column, terminating at the two rows associated with the endpoint nodes. Edges are drawn darker than nodes; this has the effect of emphasizing the links and ma
インターネットのどのページ間も19クリック以下で辿ることができるという研究成果が発表される
ネットワーク科学者のアルバート・ラズロ・バラバシ教授(ルーマニア生まれのハンガリー人)が18日に発表した論文によると、ウェブ上のあるページAから別のページBへは、どんなに遠くても19個のリンクを辿ればつながる経路があるの […] ネットワーク科学者のアルバート・ラズロ・バラバシ教授(ルーマニア生まれのハンガリー人)が18日に発表した論文によると、ウェブ上のあるページAから別のページBへは、どんなに遠くても19個のリンクを辿ればつながる経路があるのだそうです。 彼によれば、現在のウェブ上にはおおむね1兆個の文書があり、(ページ数が全部で140億ページだという別の推計と、)それらの中でもっとも遠いノードの間でも、せいぜい19クリックで辿りつくことができてしまいます。 あるネットワーク内でのノード間の最短距離については、6次の隔たりというのがよく持ち出されます。知り合いを6人辿れば世界の誰にでも
Route 477 - ズッ友のソーシャルグラフ
■ [ruby] ズッ友のソーシャルグラフ メロスゎ走った…… セリヌンティウスがまってる…… でも……もぅつかれちゃった…でも…… あきらめるのょくなぃって…… メロスゎ……ぉもって……がんばった……でも……ネイル…われて……イタイょ……ゴメン……まにあわなかった……でも……メロスとセリヌンゎ……ズッ友だょ……！！ [拡散性ズッ友メロス - Togetterより引用] 最近Twitterでこのようなコピペが流行しているので、Twitterを「ズッ友」で検索して「AとBはズッ友だょ」のA及びBを抜き出し、graphvizでグラフにしてみた。 その結果が…これだ！ UTCで5月9日に該当する24時間のツイート、実に81105個。「ズッ友」だけでこれなんだから日本人はTwitterやりすぎである。 ソースと拡大画像： https://gist.github.com/2651392 分かったこと
高校生のセックス相関図から幸福と不幸を考える – 橘玲 公式BLOG
「 “モテキ”はなぜやってくるのか？」で“つながり”について書いたが、私たちはいったいどのようにつながっているのだろうか？ ここでは、それを可視化してみよう。 以下の3枚の図版は、いずれもニコラス・A・クリスタキス/ジェイムズ・H・ファウラー『つながり 社会的ネットワークの驚くべき力』に掲載されているものだ。 1枚目は、白人生徒が大半を占めるアメリカ中西部の中規模高校（仮名で「ジェファーソン高校」）のセックス相関図だ。 色の濃い点が男子、色の薄い点が女子で、複数の異性とつき合っている場合は2方向（もしくは3～4方向）に枝が伸びている。 これを見るとわかるように、枝の末端にいる生徒を除けば、すべての生徒が複数の異性と性関係を持っている。でもこれは、「アメリカの高校は風紀が乱れている」ということではない。 そもそもなぜ、社会学者がこのようなセックス相関図を描くことができたのだろうか？ それはこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オピニオンの科学(2)フェイクの姿が見えた 拡散形態に特徴、修正対策も - 日本経済新聞
Google Fi Wireless for Phone Plans & Mobile Phone Deals
Six Degrees of Wikipedia
Engadget | Technology News & Reviews
革新的なiOSチャットアプリ「FireChat」が話題に
Sigma.js