公開されている日本の企業名辞書の紹介 - MNTSQ Techブログ
特許・契約書・有価証券報告書・企業関連ニュースなど、実応用上の自然言語処理では、会社名を認識したいという場面に非常に多く出くわす。 会社名らしい文字列をテキストから抽出することは、形態素解析器の辞書を用いたり固有表現抽出モデルを学習することである程度実現される一方で、抽出した会社名をレコード化して分析などに用いる際には、いわゆる名寄せの問題が発生する。 自然言語処理における名寄せに似た問題は、エンティティリンキングや共参照解析といったアプローチで探求されており、実応用上は前者のアプローチが採られることが多い印象がある。*1 名寄せタスクをエンティティリンキング的に解くためには、帰着先の知識ベース・辞書が予め存在していることが必要だが、研究の文脈では知識ベースとしてWikipediaが採用されることが多い。 Wikipediaを用いる利点は多くあり、様々なエンティティ種に対してそこそこのカバ
データサイエンティストはどこまでエンジニアリングをすべきか？ | CyberAgent Developers Blog
AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス（以降DS）チームがあり、そこにはデータサイエンティスト・機械学習エンジニア（以降まとめてデータサイエンティストと呼ぶ）たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた
Skeema.io
Skeema is a pure-SQL schema management utility. Simply track your desired schema state in a repo of CREATE statements, and the tool figures out how to apply any changes to your tables and routines. You won't need to code migrations, use obscure DSLs, or write verbose XML ever again. Skeema’s open source CLI tool supports all modern versions of MySQL, MariaDB, and Percona Server. Written in Golang,
営業のデータ分析_全体像を理解する
営業のデータ分析について全体像を理解することを目的にした勉強会資料。具体的にどのような考え方でどの様に進めるべきかをスライドにまとめました。
『Customized Regression Model for Airbnb Dynamic Pricing』を読んでまとめた 【KDD2018】 - honawork
はじめに 2018年8月19日から23日にかけてロンドンで行われたKDD2018（データマイニングの世界的なカンファレンス）に採択されていた『Customized Regression Model for Airbnb Dynamic Pricing』なる論文を読みました。 Airbnbで実装されている価格推薦モデルについての論文で、 ビジネス・ユーザー視点を取り入れており、 「価格を下げれば予約されていた」と、「もっと価格を上げていてもよかった」というニーズ それをうまくモデル化していて、 上記を損失関数として定量化 さらにシンプルな構造で理解しやすい ①予約確率の予測→②最適価格の提案→③パーソナライズと、マクロ→ミクロに落ちていく構造 という点において優れたデータサイエンスの応用例であると感じたため、主要な論点を要約しつつ解説に取り組んでみようかと思います。 はじめに 論文の要旨 最
BigQueryとAirflowを活用したDataPlatform運用の10のケース・スタディ
この記事は Eureka Advent Calendar 2019 11日目の記事です。 10日目は スーパーCompSREエンジニア恩田による「AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話」でした。 こんにちは。BIチームのデータアナリストの栗村(@t-kurimura)です。主にPairsの機能に関する分析を行っていますが、最近は分析を行うまでのデータを整えるデータアーキテクト的お仕事の比率も増えてきています。 さて、この記事では弊社のDataPlatform運用において、試行錯誤してきた中での運用の学びをケース・スタディ的にご紹介します。 エウレカのDataPlatformの現状前提として、弊社では3つの層にわけて、アプリケーションログやマーケティングに関連するデータをより分析しやすいデータへと加工しています。 Dataをほぼそのまま保存しているDataLa
10 rules for better dashboard design
One view to rule them allDashboard design is a frequent request these days. Businesses dream about a simple view that presents all information, shows trends and risky areas, updates users on what happened — a view that will guide them into a bright financial future. For me, a dashboard — is an at a glance preview of the most crucial information for the user at the moment he is looking at it, and a
データ・ドリブン社会の創発と戦略 | 安宅 和人 | SFC-GC
■ 本講座の位置づけ 何らかの事業を起こすにしろ、会社に入るにしろここから先の時代においてデータドリブンな分析力、問題解決力、データ利活用に対する皮膚感覚的な理解は不可欠である。 本講座は、高校1-2年程度の数学の知識、スキル、Excelで基本的なことができる程度の素養はあるが、データ分析、データの利活用についてさして経験のあるわけではない人に対して、データの大切さと力、分析の楽しさを実感してもらうことを通じ、現代社会を生き抜くため最低限、基礎となるデータリテラシー、データで考える力を身につけてもらうことを目指す。 ■ 身につけてもらうことを目指す技能 - データ社会に対するパースペクティブ - 各種関連バズワードの適切な理解 - データの意味合いを理解するための基礎となる力 - データに騙されないようになるための基礎となる力 - 数字のハンドリング力、数量的分析力 - 基本的な問題解決能
Google スプレッドシートでインサイトを発見し共有するための30の方法
準備 データのクリーンアップや標準化をするなど、分析の準備をする手順です。 そこで、紹介された機能は以下の6つのデータ準備ツールです。 5.テキストを列へ振り分け 6.空白の削除 新機能 7.重複の削除 新機能 8.セルにチェックボックスを設定 9.マクロ 10.交互の背景色 テキストを列へ振り分けは、カンマなどのセパレーターによりテキストを複数の列に分割する機能です。 空白の削除や重複の削除は最近追加された機能ですね。これにより、邪魔な空白や、いらないレコードを削除することができます。 デモでは、これらの機能によりデータをクリーンアップしつつ 書式の設定 ウィンドウ枠の固定 交互の背景色の設定 をマクロ記録し、次回以降１回のクリックでマクロ実行できるようにするという様子が伝えられました。 …みんな、使いましょう！ 分析 分析の段階で紹介された機能は以下のとおりです。 11.450を超える
BigQueryの監査ログは役に立つ | PLAID engineer blog
Google Cloudサービスが提供しているBigQuery監査ログの活用方法。 実際に弊社で利用しているクエリも併せて紹介します。
LUCRAの分析を支えるモバイルアプリのログ設計と実装 - Gunosy Tech Blog
はじめに こんにちは。LUCRA事業部の岡田です。好きなスポーツはボルダリングです。クリスマスに特段欲しいものはありませんが、彼女が欲しいです。 この記事は Gunosy Advent Calendar 2018、17日目の記事です。昨日の記事はくらさわさんのElm ファーストインプレッションでした。 Gunosyには 『数字は神より正しい』 という指針があり、その言葉通り毎日数値と向き合い、分析を通して仮説の立証、ロジックへの活用を行なっています。その数値の元になっているものはアプリから収集するログです。今回はGunosyの強みでもある分析を下支えしているモバイルアプリ(クライアント)側でのログの設計や実装について紹介したいと思います。なお、LUCRAにおけるログ収集・分析基盤は以下のようになっておりこちらを前提とした内容になっていますが、どの基盤を使っていてもそう大きく変わらないと思い
「ZOZO」を支える、最強のデータ活用組織／ZOZOテクノロジーズ「分析部」の正体とは？
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
【データ分析の民主化】データドリブンな組織になるには何をしたらいいのか考えてみた - St_Hakky’s blog
こんにちは。 今日は、データドリブンな組織になるために、何をしたらいいかを考えてみたので、それについて書きます。 データドリブンな組織の必要性 先日、以下の記事で「データドリブンな組織ってなんで必要なのか」と言う観点で記事を書きました。 st-hakky.hatenablog.com 上の記事を要約すると、以下のようになります。 意思決定を「早く・確実に・納得感を持って」するために、データ分析をする(アナリスト視点) データを活用して新機能の開発やコスト削減を行う(MLエンジニア視点) データ分析をベースにした組織、つまりデータドリブンな組織になるためには「データ分析の民主化」が必要(組織全体の視点) データドリブンな組織になるためには、「データ分析の民主化」って言う最近のホットワード(?)なのか知りませんが、そう言うのが必要です。 ぼんやりした言葉なので、具体的に何をすればいいのかと言う
LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ - TECH PLAY Magazine
TOP マガジン インタビュー LINEとサイバーエージェントは「データ基盤の設計・マネジメント、データエンジニアリング」をどうサービス発展につなげているか？ ユーザーの増加やサービスの多角化に伴い、各サービスの膨大なデータを収集・蓄積し、分析を行うことは、さらにサービスを発展させるために必要不可欠です。 そこで今回は、サイバーエージェント秋葉原ラボ・研究室長の福田一郎氏と、LINE Data Labsのデータエンジニアである吉田啓二氏に、「データ基盤の設計・マネジメント、データエンジニアリング」をテーマに、サービスを発展させる上で社内部署とどのように協力すればいいのかについて語っていただきました。 対談者プロフィール 株式会社サイバーエージェント 秋葉原ラボ研究室長 福田 一郎氏 2008年、サイバーエージェントに入社。2011年、秋葉原ラボを設立し、メディア事業全体の大規模データ処理基
カルチャーとエンジニアリングをつなぐ データプラットフォーム - Speaker Deck
All slide content and descriptions are owned by their creators.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
失敗から学ぶ機械学習応用
データ分析で大事なのは「とにかくシンプルに」！ メルカリ流Data Analytics実践のススメ | 【レポート】Web担当者Forumミーティング 2018 Autumn
AbemaTV 広告における全方向的なデータ分析の取り組み / abematv-analysis-all-around
Data Platform構築プロジェクト推進の事例と学び
GitHub - GoogleCloudPlatform/bigquery-utils: Useful scripts, udfs, views, and other utilities for migration and data warehouse operations in BigQuery.
