サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
GPT-4o
data.gunosy.io
はじめに こんにちは、今年の4月に新卒として入社しグノシー事業部に配属されました齊藤です。 自分は現在グノシー事業部でグノシー(アプリ)の分析を専任しています。データ分析部の方はニュースパスやオトクル等複数のアプリを横断的に分析、ロジック開発を担当しています。 今回は各アプリの分析担当がどんなことをやっているのか、2ヶ月間どのような事を学んだかを新卒エンジニアの立場から紹介していこうと思います。もう働き始めてから2ヶ月経ったのか・・・ 分析 分析とだけ書くとやたら広い意味になりますが、主にプロモ指標などを作成、集計し部署の人が見やすい形に整えたり、キャンペーンや特集タブに関する集計、UI変更時のA/Bテスト*1などを行っています。RedashでSQLクエリを書いて可視化したり、以下の記事のようにGASでSlackへの通知を作ったりすることもあります。 data.gunosy.io 分析業務
こんにちは、去年の4月に新卒としてGunosyに入社し、データ分析部に配属された山田です。 先日、LabBase様からインタビューを受けてこんな記事が公開されたりしました。 labbase.jp また、先週は今年の新卒の片木くんがデータ分析部で何をやっているのかを書いてくれました。 data.gunosy.io 今年は新卒エンジニアの数が多かったので研修がかなり充実しているのですが、去年は新卒エンジニアが僕一人だったのでそのあたりの内容は実際に仕事をしながら学んでいくことになりました。 そこでこの記事では、データ分析部に配属されて一年仕事した上で学んだことを軽く紹介したいと思います。 数値を疑うこと 実行速度は思ったよりもシビアだった 大規模データの扱い おわりに 数値を疑うこと Gunosyの方針を示す「Gunosy Way」の一つに「数字が神より正しい*1」という言葉があり、実際に社内
はじめに こんにちは、今年の4月に新卒として入社しデータ分析部に配属されました片木です。 この記事は「Gunosyのデータ分析部に配属された新卒エンジニアは何をするのか」を紹介するものです。 以下に同じ部署の先輩方の記事がありますので、そちらも参考にしていただければ幸いです(一部外部メディアへ飛びます): labbase.jp gunosiru.gunosy.co.jp 4月の研修 今年度は新卒入社のエンジニアが計7名と、過去最高人数となりました。 gunosiru.gunosy.co.jp また会社が新卒を採り始めてから数年が経過したということもあり、新卒研修もしっかりとしたものが用意されているように感じました。 研修はビジネス職と一緒に受ける全体研修に加えて、エンジニア対象の研修も準備されていました。 以下では順に紹介していきます。 全体研修 全体の研修は入社後の数日間はほぼ一日時間を
こんにちは、研究開発チームの関です。 でんぱ組.incの推しである相沢梨紗さんと、妄キャリの推しだった桜野羽咲さんのコラボユニットが本格的に活動を開始しました。 生きてるといいことありますね。ステージ上の目のやり場に困っています。 今回3/12 ~ 3/15に名古屋大学で開催された言語処理学会第25回年次大会に一般発表とスポンサーとして参加しました。 言語処理学会年次大会へのスポンサーは今年で4年目になりますが、一般発表は初めてになります。 (昨年は論文賞をいただき、招待講演をさせていただいておりました。) data.gunosy.io 一般発表 一般発表では、Gunosyで研究開発チームでインターンをしている北田 (shunk031) が「広告クリエイティブ自動生成にむけたマルチタスク学習とConditional AttentionによるCVR予測」という題目で発表を行いました。予稿はこ
こんにちは、研究開発チームの関です。 ついに今週末はひなフェスですね。当然ながら皆さんご存知だと思いますが鞘師里保さんの復活ステージです。 道重さゆみさんと鞘師里保さんの関係性が好きなので、お二人の共演にも注目したいと思います。 私は残念ながらチケットが手に入らなかったので、中継が行われるひかりTVに入会しました。転売屋は滅びるべき。 3/4~3/6に長崎県ハウステンボスで行われた、第11回データ工学と情報マネジメントに関するフォーラム(DEIM2019)に参加しました。 DEIMには2017年から参加しており、今年で3年目になります。 これまでDEIMはスポンサーの募集をしていなかったのですが、今年から募集が始まりスポンサードさせていただきました。 今回の参加人数は687人と過去最高だったようです。 DEIMについて DEIMはいわゆるDBコミュニティと言われているコミュニティの研究者の
こんにちは、研究開発チームの関です。 夢眠ねむ卒業公演素晴らしかったですね。WWDBestで膝から崩れ落ちました。近年におけるアイドルのあり方として一つの完成形をみた気がします。夢眠ねむさんとでんぱ組さんの今後のご活躍を引き続き応援しています。 今回のブログでは2018年12月3日〜6日に行われたWeb Intelligence(WI) 2018と2018年12月10日のIEEE Bigdata 2018のWorkshopに参加&発表してきましたのでその報告をさせていただきます。 当社として、そして個人としてもはじめての国際会議参加&発表でした。とても良い経験になりました。 Web Intelligence 2018 Web Intelligence(WI)はウェブに関する国際会議の一つです。 セマンティックウェブとかソーシャルメディアとか推薦システムとか、応用よりで学際的な研究に焦点が当
はじめに こんにちは。研究開発チームの関です。 最近毎週日曜日の恋するワンピースの更新を楽しみに生きています。好きなツッコミは「この船の航海士は誰?」です。 あと虹のコンキスタドールのベストアルバム「THE BEST OF RAINBOW」は皆さん買いましたか? 健康にいいので毎日聞きましょう。 この記事はGunosy Advent Calendar 2018の22日目の記事です。 昨日はcou_zさんの「【年末年始に読みたい】Gunosyエンジニアが2018年に購入した書籍まとめ」でした。 皆さんFactorization Machinesは好きですよね。 予測モデル構築においてはXGBoostと並んでとりあえずやっておくべき手法として知られています。 今回のエントリではKDD2018で発表されたxDeepFMを読み解きながら、 DeepなFactorization Machineの現状
はじめに きっかけ 執筆計画を立てる 1. 分析に興味がある人のペルソナを書く 2. 1が検索するであろうクェリの一覧をつくる 3. 検索ボリュームしらべる 4. カテゴリ分け 5. 作るべき記事のリスト(記事タイトルまでだいたいきめちゃう)をつくる 6. 記事を書く担当者とスケジュール引く おまけ おわりに はじめに こんにちは。グノシー事業部の大曽根です。好きな曲はザ・ディランⅡの「男らしいってわかるかい」です。 この記事はGunosy Advent Calendar 2018の12日目の記事です。 昨日はhongmhoonさんのiOSでNotificationを非同期で送ろうでした。 最近、プライベートや採用面談などで「会社で技術ブログなどを書きたいけど始められない (or 始めたけど続かない)」という相談を受けるので、弊ブログが如何にして立ち上がったかをまとめたいと思います。 ※本
Gunosy8月入社のshunk(@makuramoto1)です.前職は研究員とマネージャーの間みたいなことをやっておりました.現在は,Gunosyのデータ分析や,どのように記事を出したりするかといったロジックを開発する仕事を担当しています.Web業界に初めて参入して,現在の職種もキャリアチェンジみたいなことをしたので,いち早く仕事をこなせるように邁進しております. さて,本記事はGunosy Advent Calender2018の5日目の記事です. 弊社では論文輪読会が週1で行われています.その際に,推薦モデルProd2Vecのハイパーパラメータ*1のチューニングに関する論文がありまして,面白そうだなと思い,以下の「Prod2Vecのパラメータチューニングに関する論文」を拝読いたしました. 拝読した論文達 Prod2Vecのパラメータチューニングに関する論文 Word2vec appl
はじめに こんにちは。メディアデータ分析部の飯塚(@zr_4)です。 弊社では現在、複数のニュース形式のアプリケーションを運用しており、各プロダクトでユーザーの趣向にあうような記事リストのパーソナライズを行っています。 左から:LUCRA、ニュースパス、グノシー そのため、記事のランキングに関するA/Bテストをする機会が多々あり「少数のユーザーで高速に有力なパラメータを探したい」というニーズがありました。 今回は上記ニーズを満たすべく、グノシーの本番環境に導入したインターリービングを紹介します。 インターリービングとは 概要 インターリービングは高感度なランキング評価手法です。 実験的に、10倍から100倍従来のA/Bテストよりも効率的であることが知られています。*1 従来のA/Bテストにおいて、2つのランキングリストを評価する際は、ユーザを2つの群に分け各々に別々のランキングリストを提示
こんにちは、Gunosyデータ分析部内定者の桾澤と片木です。今年も昨年同様エンジニア向けデータ分析サマーインターンシップを実施しました。 学生に混ざり、メンターアルバイトとして参加したので、その様子や課題に取り組む上での気付きなど実際の写真も交えながら紹介します! Gunosy Summer Internship 2018 について 講義 課題について 作業環境 ランチ・おやつ 結果発表 インターン参加者の感想 第一回(9/4~9/6) 杉山さん(優勝) 工藤さん 谷口さん 第二回(9/12~9/14) 濱下さん(優勝) 宮尾さん 松丸さん メンター総括 桾澤 片木 Gunosy Summer Internship 2018 について Gunosy Summer Internship 2018は、株式会社Gunosyが2018年夏に開催した短期インターンシップです。 本年は「データ分析コー
こんにちは。データ分析部アルバイトの北田 (shunk031) です。最近よく聞く曲は「高速に回転するGPUファン」の曲です。 8月27日から8月29日の期間で開催されたNLP若手の会 (YANS) @ 香川県高松市に、Gunosyから関、久保、北田の3名で参加してきました。 YANS2018 スポンサー・ポスター発表 Gunosyにおける自然言語処理・機械学習への取り組み ポスター発表 広告クリエイティブ自動生成に向けた単語レベルでの評価手法の検討 ポスター紹介 クリックベイトの基礎研究における既存データセットの検証 テキスト平易化における難易度の制御 五感に基づく言語表現における個人のバイアスとその補正 画像から抽出した複数種の特徴量を組み込んだニューラル機械翻訳の検討 スタイル変換のためのリファレンスなし 教師あり学習 番外編 うどん & デザート紹介 中西うどん 手打ち十段うどんバ
こんにちは。メディアロジック分析部の米田 (@mathetake) です。 今日はGunosy社とKDDI社が共同で運営するニュースパスというニュースアプリケーションで使われている関連記事推薦のアルゴリズムについて書きたいと思います。 特に、約半年前に私が導入しKPIの改善に成功した新しいアルゴリズムと、そこでコアとなる近似近傍探索(Approximate Nearest Neighbor search)の技術について述べます。 関連記事推薦とは この記事で紹介する関連記事推薦とは、「特定のニュースに関連したニュースを推薦すること」です。 より具体的には、特定の記事をクリックした後に記事閲覧画面を下にスクロールすると登場する「おすすめ記事」の枠に対して、関連したニュースを検索して表示することを指します: このような枠が設置されている事は一般的なアプリケーションにおいてごく自然ですが、推薦シ
こんにちは、データ分析部研究開発チームの関です。 2018年6月5日〜6月8日に開催された2018年度人工知能学会全国大会にGunosyから大曽根、米田、山田、関の4名で参加しました。 当社はゴールドスポンサーとして協賛させていただき、主著発表1件, 共著発表1件, インダストリアルセッションでの発表1件, ランチョンセミナーの開催, スポンサー展示を行いました。 今年度の会場は鹿児島県鹿児島市の城山ホテルというところです。 駅からバスやタクシーで15分ぐらい、山の上にあるホテルでした。 晴れていれば桜島がきれいに見えるらしいのですが、残念ながら期間中は天気に恵まれませんでした。 昨年が名古屋という大都市での開催だったのに対して地方での開催ということで、参加人数は減る見込みだったそうなのですが、 約2,500人と過去最高を記録したそうです。人工知能という技術領域に対する社会的関心がますます
こんにちは、かとうです。 今日はサマーインターンシップの募集を開始いたしましたのでそのお知らせです。 engineer-intern.gunosy.co.jp スケジュールなどの詳細は上記サイトでご確認ください。 今年のサマーインターンシップでは3年目となりましたデータ分析コースに追加して、サービス開発コースもご用意しました。 データ分析コースでは今までと同様3日間という限られた期間の中で、課された課題に取り組むことでGunosyのデータ分析部のエンジニア達が普段行なっているデータの分析・実装・実験を体験できるものとなっております。 普段から研究で機械学習などを使っているが、実際の仕事はどういったものになるのか体験してみたい方にオススメのコースとなっております。 さらに、ただ体験するだけではなく自分で実装したロジックに対してスコアがつくため、周りの参加者と競い合うという緊張感の中で取り組む
こんにちは。データ分析部の荻原です。様々な動画を見過ぎて突然思い出し笑いをしてしまう事が最近の悩みです。 普段はグノシー動画におけるデータ分析やロジック開発などをしています。今回は4/21 ~ 22に開催された 「Tokyo Editors Lab」にデータ分析部所属の関、大曽根、荻原で参加してきたので、その模様およびどのようなサービスを開発したか 共有していきたいと思います。 Tokyo Editors Lab Tokyo Editors Labはデジタルメディアの世界的組織であるGEN(Global Editors Network)が主催するハッカソンであり、今回はニュースメディアにおけるファックトチェック・フェイクニュース問題に焦点を当てた内容です。(去年は災害報道に関する題材だったとの事です) 今回のハッカソンにはGunosyの他にNewsPicks、フジテレビジョン、東京新聞、N
こんにちは。データ分析部アルバイトの北田 (@shunk031) です。好きな食べ物は畳み込みニューラルネットワークです。 はじめに Gunosyでは広告を出稿する際に使用するサムネイル画像や広告画像において、テキストが占める割合の多い画像を把握したいといったニーズがあります。 Facebookの広告ポリシー*1では、広告内のテキストが過剰であるときに配信数が減ってしまったり、まったく配信されなくなる場合があるようです。 通常、画像から文字を読み取るOCR技術を利用することで前述のニーズを満たすことができそうです。 OCRを利用するにはPythonから使えるpytesseractや、Google Cloud Vision API、Amazon RekognitionといったクラウドベースのAPIを用いる方法があります。 これらpytesseract、Google Cloud Vision
はじめまして、データ分析部の小澤(id:skozawa)です。 3月12日(月)〜3月16日(金)に開催された言語処理学会第24回年次大会(NLP2018) @岡山コンベンションセンターに、Gunosyから、関、久保、茂木、桾澤(インターン生)、小澤の5名で参加しました。 スポンサー発表 今回、Gunosyはゴールドスポンサーとして参加し、スポンサーブースでは、Gunosyにおける自然言語処理や機械学習を活用した取り組みについて、ポスター発表しました。 具体的には、以下のような発表をしました。 記事・動画閲覧ログを利用したニュース・動画配信の最適化 記事・動画閲覧ログを利用した広告配信の最適化 クリックベイトの分析 クリックされやすいがユーザの満足度を伴わないコンテンツの調査・定量化 DEIM 2018でも発表(タイトルと画像が一致しないニュース記事による クリックベイトの文析, 関, D
データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBigQueryに格納しています。 この2つのサービスでSQLの書き方が微妙に異なるところがあり、もどかしい経験をしたので、今回は、よく使うSQLの文法でRedshiftとBigQueryで表現が異なる所をまとめてみようと思います。 BigQueryの導入についてはこちらの記事をご覧ください。 また、この記事ではBigQueryはStandard SQLで記述していきます。 data.gunosy.io 日付・時刻関数 現在時刻(UTC) 現在時刻(JST) 現在の日付(UTC) 現在の日付(J
Gunosyデータ分析部アルバイトの五十嵐です。 Gunosyには大規模なKPIの時系列データがあります。 今回はKPIの時系列分析を行なった際に得た知見についてまとめたいと思います。 具体的にはFacebookが開発した時系列予測ツール Prophetを用いて、KPIのトレンド分析を行いました。 時系列予測について Prophetについて 実装例 モデルの適用 将来のアクセス数予測 トレンド性と周期性の抽出 変化点抽出 Slackを利用した自動化 まとめ 時系列予測について 以前、 KPIのトレンド抽出について以下のブログで紹介しました。 data.gunosy.io ここでは時系列データをトレンド成分と季節成分に分解し、トレンドの把握を容易にする分析を行なっていました。 KPIのトレンドを知ることでサービスの状態を把握することが目的でした。 今回はこの分析をさらに進め、トレンドの変化点
Gunosyデータ分析部アルバイトの鈴木です。今回は密度比を利用したバージョンリリースにおける異常検知について学んだことをまとめたいと思います。 やりたいこと 超長期的にやりたいこと 密度比を用いた異常検知のイメージ ダミーデータでの実装例1 今回試したやり方 今後試していくやり方 ダミーデータでの実装例2 密度比の平均二乗誤差を用いる場合 直接密度比推定する場合 参考資料 やりたいこと ニュースパス(Gunosyの提供するプロダクトの一つ)をバージョンアップした時に、もし異常があればユーザーアクションログからその兆候を見つけてslackなどに通知できるようにすることが目標です。 (QA項目以外でのログ欠損やアップデートによる予期せぬユーザ行動の検知をするためです。) 現在Gunosyでは、バージョンアップ時に異常がないかどうか調査するために人手を割いています。しかし、もし自動で異常を確実
いつものやつ はじめに 各研究の分類 ニュースの品質に関する研究 Predicting News Values from Headline Text and Emotion Incongruent Headline: Yet Another Way to Mislead Your Readers Deception Detection in News Reports in the Russian Language Fake News Detection using Stacked Ensemble of Classidiers From Clickbait to Fake News Detection: An Aproach based Detecting the Stance of Headlines to Articles ニュースとユーザとの関係に関する研究 Predicting U
いつものやつ はじめに なぜ将来を予測することが重要か 概要 準備するもの 日々の獲得の予算 継続率の予算 SQLでの算出 基本編 応用 おわりに いつものやつ この記事は Gunosy Advent Calendar 2017、9日目の記事です(フライング)。 qiita.com はじめに Gunosyデータ分析部の大曽根です。 好きなギタリストはジミ・ヘンドリクスです。 前日の@ij_spitzに引き続きKPI管理に関しての記事を書こうかと思います。 なぜ将来を予測することが重要か ニュースアプリの場合には、毎日開いてくれるユーザが何人いるかが非常に重要です(売上 = DAU * ARPUで表現できます)。 そのため、現在のDAUが目標値に達しているのかいないのか、どの程度の割合で達成しているのかをモニタリングすることが必要になります。 予測に対しての達成割合により、 「成長で売り上げ
この記事は Gunosy Advent Calendar 2017 8日目の記事です。 qiita.com 今日話すこと こんにちは、データ分析部の @ij_spitz です。 つい昨日誕生日を迎えて25歳になりました(もうお◯さんですね)。 Gunosyではプロダクト開発の様々な場面でデータを活用しています。 Gunosyにおけるデータ活用は KPI管理 プロダクト開発 仮説出し、優先度付け、効果測定、意思決定 記事配信アルゴリズム どのユーザーにどの記事を配信するか の3つに大きく分類できます。 今回はこの中でもKPI管理に焦点を当てて、書いていきます。 KPI管理とは GunosyではメインのKPIをいくつかの指標に分解してモニタリングしています。 コンサルの間でよく使われるロジックツリーと考え方は同じで、よくある例だと1日の売上は客数と客単価の掛け算に分解できるというものです(アプ
グノシー開発部の@cou_zです。最近はPUNPEEのアルバムをよく聴いています。 日々、KPIを追っていると、意図せずにトレンドが変化することが良くあります。 なぜトレンドに変化があったのかを調査するためには、その時に何が起こっていたのかを知っている必要があります。「何が起こっていたのか」を全て覚えておくことは不可能なので、後で振り返られるようにログを残しておくと便利です。 GunosyではGoogleカレンダーで個人の予定を管理しているため、アプリの変更・出来事もGoogleカレンダーに「グノシープロダクトカレンダー」を作り、影響のありそうな出来事を登録しています。 かつては、手動でカレンダーに登録していましたが、定期的に発生するイベントの登録はSlack + Zapierを使って自動化しました。今日は、Googleカレンダーを用いてプロダクトのログを残すということと、Slack +
はじめに こんにちは、データ分析部の阿部です。 Gunosyには社内警察と呼ばれる人がおり、たとえばデータ可視化の際に円グラフを使うと正しい使い方を教えてくれる、母数という言葉の使い方を正してくれる、方々がいます。 tech.gunosy.io 今回はBigQueryで課金額の高いクエリを投げると警告してくれる、課金警察というボットを作ったので紹介します。 BigQueryはクエリで使われるデータ量に対して従量的に課金されるため、クエリ毎の課金額が把握できると便利です。 Gunosyではエンジニア・非エンジニア問わず、インターン生でも自由にクエリを書いて分析できる環境となっているため、知らず知らずのうちに大胆なクエリが投げられることもあります。 そのため、課金警察でクエリ毎の課金額をSlackに通知しお互いに監視して注意しようという意図です。 どうやってやるか BigQueryにはクエリの
はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション(以下、バッチ)を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開発のノウハウなどをまとめたWeb記事の数は少なく感じます。 また、言語に関わらずWebフレームワークの数に対して、バッチフレームワークの数も少数です。 このような点を踏まえると一般的には難易度の高くない(ノウハウを必要としない、フレームワークに頼る必要のない)、もしくはニーズがあまりないなどの印象があるのかもしれません。 一方で我々は日々バッチ開発を行い、数多くの地雷を踏んできました。 これらの経験を踏まえてどのような点に気をつけているのかについて共有します。 理想的には多くの方の経験を共有して、建設的な議論に発展するとうれしいです。 はじめに
こんにちは、来年度からデータ分析部に所属する山田です。 今はまだ学生です。 一足先にGunosy Summer Internship 2017 データ分析コースのメンターアルバイトとして参加したので、その様子や知見を記していきたいと思います! Gunosy Summer Internship 2017 について 「データ分析コース」の様子 講義 ランチ・新卒トーク ワーク ベンチマークシステム 作業環境 結果発表 インターンでの気付き(メンター山田) インターン参加者の感想 第一回 京都大学大学院 澤田さん 手法について 限られた時間で形にすること 教訓みたいなもの 東京大学 原田さん 用いた手法について 参加してみての感想 東京大学 丹羽さん 用いた手法、時間の使い方 学びと感想 筑波大学 小林さん 用いた手法について 感想 インターン参加者の感想 第二回 大阪大学 中村さん 分析に用い
データ分析部研究開発チームの関です。 最近は10月のエビ中とBishの対バンイベントに向けて双方の楽曲の予習を行っています。 この度データ分析部では9月7日, 8日に成蹊大学で行われた第11回テキストアナリティクスシンポジウムに参加し, 7日は招待講演とパネルディスカッション、8日には2件の研究発表を行いました。 テキストアナリティクスシンポジウムとは テキストアナリティクスシンポジウムは電子情報通信学会の言語理解とコミュニケーション研究会(NLC研)が主催するシンポジウムで、 自然言語処理の結果をどのように分析・解釈・活用するかという点に着目した研究会です。 第10回まではテキストマイニングシンポジウムと呼ばれていましたが、業界全体のトレンドを考慮し、今回からテキストアナリティクスシンポジウムと改称されました。 参加者も学生や研究者だけでなく、企業の実務担当者が多かった印象です。 また自
次のページ
このページを最初にブックマークしてみませんか?
『Gunosyデータ分析ブログ』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く