タグ

データ分析に関するyuya_prestoのブックマーク (2)

  • 人力の名寄せを機械学習のエッセンスを加えて自動化する - LCL Engineers' Blog

    Androidアプリ兼バックエンドエンジニアの高橋です。 弊社のサービス「バス比較なび」では、たくさんのバス会社さんから頂いた高速バスデータを掲載していますが、バス会社さん間での「データの揺れ」が課題の一つとしてあります。 例えば、バスの「停車地」には以下のような表記揺れがあります。 A社 : JR東京駅八重洲南口 鍛冶橋駐車場 B社 : 八重洲口鍛冶橋駐車場<東京駅 八重洲南口> C社 : 東京駅八重洲南口 この状態では、停車地をGoogle Mapにマッピングしようとしても、難しいですよね。 実は、弊社ではこれまで手作業によってこういった名称を「名寄せ」しています。 上記の例でいうと、JR東京駅 八重洲南口 鍛冶橋駐車場 が名寄せ後の名称です。 データが蓄積されている現在では手作業でもある程度はカバーできますが、休日や長期連休などに対応できないので、現在停車地の名寄せ自動化に挑戦してい

    人力の名寄せを機械学習のエッセンスを加えて自動化する - LCL Engineers' Blog
  • Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita

    知っている人は知っていると思うが、Qiitaではたびたび大量のスパム記事が投稿されている。 深夜24~26時頃に記事一覧を確認してみて欲しい。 スパム記事がわんさか出てくるはず。 登録したてのQiitaユーザは不安よな。1 ———— @dcm_chida 動きます🧐 はじめに これはNTTドコモサービスイノベーション部AdventCalendar2019の1日目の記事です。 我々の部署では日頃から「KDDCUP2」や「論文読み会」に取り組んでおり、若手から中堅社員まで最先端の技術取得に励んでいます。 そうした活動をもっと外部へと発信していこうと始めたのがこのAdventCalendarです。社員一人一人が書いた記事を通して、少しでも多くの方に興味を持って頂ければ幸いです。 さて、僕は4年目社員ですがプログラミング初心者の頃から現在に至るまで、Qiitaにはかなりお世話になりました。 自分

    Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita
    yuya_presto
    yuya_presto 2019/12/02
    機械学習始めるときこれ読むと良い気がする
  • 1