たかぱい（@takapy0210）です。 正月にGoogle CloudのDataformをゴニョゴニョ触っていたので、その備忘録を残しておこうと思います。 Dataformとは dbtとの違いは...？ 使用したデータ 実際に動かしてみる 基本的な設定を記載する「dataform.json」 Dataformのディレクトリ構成はどうするのが良いのか 実際に記述するsqlxのコード definitions/sources/mansion.sqlx definitions/outputs/day_aggregated_by_city.sqlx スケジュール実行する Githubと連携してコード管理する おわりに Dataformとは SQL likeなコード（SQLX）でテーブルやビュー作成クエリを記述することで、テーブル間の依存関係を管理することができるデータモデリングツールです。同じよう

みなさんこんにちは。MLチームのたかぱい（@takapy0210）です。 本日は、コネヒトの運営するママリのオンボーディング改善に機械学習を活用した事例のパート2をお話をしようと思います。 パート1については以下エントリをご覧ください（取り組んだ背景なども以下のブログに記載しています） tech.connehito.com （おさらい） 今回実施しているオンボーディング改善には大きく分けて以下2つのステップがあります。 ステップ1：興味選択にどのようなトピックを掲示したら良いか？（前回のブログ参照） ステップ2：興味選択したトピックに関連するアイテムをどのように計算（推薦）するか？ 本エントリでは主にステップ2の内容についてお話しできればと思います。 （※本記事で添付している画像に関しては、開発環境のデータとなっています） 目次 はじめに ルールベースの推薦 ルールベースの課題 機械学習を

みなさんこんにちは。MLチームのたかぱい（@takapy0210）です。 ここ1年くらいPokémon UNITE というゲームにハマっていまして、何回か大会にも出場しているのですが、先日出場した大会の「おじさんの部 26歳以上の部」で準優勝することができました🎉 若い頃の部活に近い感覚で、チームメンバーで勝利の喜びを噛み締めたり、負けた悔しさを共有したりなど、生活に刺激を与えてくれる存在になっています。 さて本日は、コネヒトの運営するママリのオンボーディング改善に機械学習を活用した事例をお話をしようと思います。 今回実施したオンボーディング改善には大きく分けて以下2つのステップがあります。 ステップ1：興味選択にどのようなトピックを掲示したら良いか？ → 後述するTwitterの例でいうところの「Pokémon」や「Business news」など ステップ2：選択したトピックに関連す

更新履歴💡 2022-07-25：初版作成 2023-02-06：検索関連の業務を追加 2023-04-01：新規産学連携の事例を追加 2023-12-12：社内での活用事例と機械学習の技術検証を追加 コネヒトでは Tech vision の1つに 1 to 1 AI というStrategyを掲げているように、今後パーソナライズやレコメンデーションなどの分野に積極的にチャレンジしていくため、機械学習エンジニアの採用を強化しています。 それに伴い、コネヒトにおける 機械学習の活用事例 今後どんなチャレンジをしていく予定なのか 機械学習エンジニアの働き方 などについて、より多くの方に知っていただきたいと思い本資料を公開しました。 （※資料中のリンクについては、speakerdeckページの説明欄や本記事の後半にも記載しております） 本資料を読んでより詳しく話を聞きたいと思った方は、ぜひカジュ

こんにちは ohayoukenchan です！ 4月と言えば新生活。コネヒト株式会社も4月から、経営体制を一新し新たなスタートを切りました。 今期も心機一転して頑張っていきたいと思います。 この記事では先月末に開催した下期(6ヶ月）のチームふりかえりで行ってとても良かったなと思ったことについてお伝えできればと思います。 中長期（数ヶ月間隔）のふりかえり会の意義 スプリントでのふりかえりは、スプリントごとにレトロスペクティブの時間を設けています。 KPT法に似たような方法ですが、例えば下図のような感じでチームで起こったできごとに「ありがとう」や「happy-bad」と書かれた領域に付箋を貼って、特に関心の高いものに対して次のスプリントへのtryを決めていきます。 スプリントごとのふりかえり また、弊社の別のチームでも、Win Sessionで元気に目標を達成するチームづくりの記事にあるように

みなさんこんにちは。機械学習チームのたかぱい（@takapy0210）です。 最近はワールドトリガーというアニメにハマっておりまして、2022年から第3期の放映が始まっております。 内容はよくあるバトルアニメですが、チームで戦略を練って戦うところがユニークでとても面白いです。（個々の力だけだと到底叶わない相手に対して戦略で勝つ、という展開もあり、戦略の大事さを改めて痛感しました） さて本日は、コネヒトの機械学習プロジェクトがどのように推進され、開発・実装フェーズに移行していくのかについて、1つの事例を交えながらご紹介できればと思います。（※あくまで1つの事例なので、全てがこのように進むわけではありません） 目次 今回のプロジェクト概要 機械学習プロジェクト全体の流れ 構想フェーズ：ビジネス要件を明確にし、共通認識をつくる どんな効果を期待しているのか？（ROI的な話） PoCフェーズ：定量

こんにちは。バックエンドエンジニアのTOCです。 弊社ではミッションごとにいくつかチームに分かれており、それぞれのチームでスクラム開発を行なっています。 (弊社開発体制についてはこちらの記事に詳しく記載があります) 今回は僕が所属しているチームで去年から運用しているプロダクトゴールについて、運用するにあたって、どういった工夫をしているのかを書きたいと思います。 ※当エントリーでは「プロダクトゴールとは何か」という点については言及しませんが、同じチームの方が共有してくれたブログにプロダクトゴールの例が記されているので、もしよければ参考にしていただければと思います。 Product Goal & Sprint Goals – A Simple Example 目次 プロダクトゴールを運用するようになった背景 プロダクトゴールを運用するために行なってる３つの工夫 1. 日常的に振り返る 2. 定

みなさんこんにちは。機械学習チームのたかぱい（@takapy0210）です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね！ というわけで、2021年もコネヒト Advent Calendarが始まります！🎉 初日となる本エントリでは、機械学習チームで使用しているSageMaker*1の機能である、Processing*2について、活用事例とともにご紹介しようと思います。 目次 SageMaker Processingとは? SKLearnProcessor / PySparkProcessor Processor / ScriptProcessor これまでの課題感 SageMaker Processorの活用方法 SageMakerからECRにあるコンテナを指定してProcessor Job

こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動

GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。 後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。 補足ブログ：https://www.takapy.work/entry/2021/08/17/185047 LTイベント：第３回分析コンペLT会 、オンライン開催 https://kaggle-friends.connpass.com/event/220927/

みなさんこんにちは。たかぱい（@takapy0210）です。 気づけばもう6月ですね。2021年の半分が過ぎようとしています。もう半分.....もう...。 はじめに みなさんデータ分析環境はどのように構築していますか？ Gunosyさんのブログ*1にもあるように、環境構築方法は様々あると思います。 本エントリでは、ローカルとクラウド（AWS SageMaker Studio）のデータ分析環境をコンテナで構築し、環境差分の無い快適なデータ分析ライフを過ごすTipsについてご紹介しようと思います。 これにより軽量な分析はローカル環境でサクッと、重めの分析はクラウド環境（AWS SageMaker Studio）で強いコンピューティングリソースを用いてじっくりとやる、といったことを環境差分を気にせず行うことができます。 ちなみに、ローカルで起動する際はdocker compose up -d

前回に引き続き、後編です。 www.takapy.work 前編の簡単な復習 言語モデル 言語モデルにおけるフィードフォワード型ニューラルネットワーク（word2vec）の問題点 RNN BPTT(Backpropagation Through Time) BPTTの問題点 Truncated BPTT Truncated BPTTのミニバッチ学習 RNN言語モデルの全体図 LSTM（ゲート付きRNN）とは RNNLMの問題点 勾配爆発への対策 勾配消失への対策 LSTM（Long short-term memory）の概要 LSTMに備わっているゲートについて outputゲート(o) forgetゲート(f) 新しい記憶セル(g) inputゲート(i) なぜLSTMだと勾配消失が起きにくいのか LSTMの改善案 最後に 前編の簡単な復習 前編では、コンピュータに単語の意味を理解させる

こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com （スター★お待ちしております🙇‍♂️）

こんにちは！MLエンジニアのたかぱい（@takapy）です。 今回は、ママリのアプリ内にレコメンドエンジンを導入したので、導入までの取り組みやアーキテクチャについてご紹介できればと思います。 目次 ママリ内での課題 アーキテクチャ概要 EDAとアルゴリズムについて オフライン検証の失敗と学び A/Bテストについて レコメンドアルゴリズムについて 強調フィルタリング（アイテムベース） Matrix Factorization 最後に ママリ内での課題 ママリはサービスとして6年目を迎え、サービスの成長とともにアプリ内の記事数も増えており、それに伴いユーザーが本来欲しい情報にたどり着くことも難しくなってきました。 加えて「子育て層のユーザー」という切り口1つとっても、0才児のママと1才児のママでは悩みや欲しい情報がまったく異なります。 このような背景から、これまで人的に行っていたルールベースで

機械学習を記事配信に採用したママリ - 0から構築したレコメンドエンジンのアーキテクチャ設計 コネヒト株式会社が運営する女性向け情報サービス「ママリ」では、2019年12月に記事配信で機械学習によるレコメンドエンジンを構築、2020年初頭にテストが完了しました。 機械学習を採用した背景、設計したアーキテクチャとテストの結果について伺いました。 コネヒト株式会社が運営する、女性を対象とした情報サービス「 ママリ」は、2014年のリリース以降、着実にユーザーを増やし、2020年3月現在、アプリ会員数は240万人（日本で2019年に出産した中で3人に1人が利用）、ママたちが集まるオンラインコミュニティとして定着しています。 ママリでは2019年12月、サービス内に掲載する記事の配信について機械学習を採用したレコメンドエンジンへ変更し、2020年初頭にテストが完了、いよいよ正式リリースとなりました

ママ向けQ&Aアプリ／情報メディア「ママリ」の開発チームは、スクラムマスターを固定することなく輪番制を取り入れた1週間のスクラムで開発を進めています。ママリ開発チームの柳村、富田にインタビューをし、スクラムマスターを輪番制にしている目的やどのように進めているのか、などご紹介します。 この記事はコネヒト Advent Calendar 2019 20日目の記事です。 はじめにママリ開発チーム 柳村、富田のご紹介です。 柳村（写真左）：エンジニア。組み込み業界からWeb業界に転身し、グリー、Supershipを経て、現在コネヒトで主にママリのiOSアプリの開発を担当。 富田（写真右）：エンジニア。サーバサイドエンジニアからAndroidエンジニアに転身、Diverseなどを経て、現在コネヒトで主にママリのAndroidアプリの開発を担当。 ママリ開発チームは、日々ユーザーの体験、価値向上を目指

こんにちは！たかぱい（@takapy0210）です。 本記事はKaggle Advent Calendar 2019の14日目の記事です。 昨日はkaggle masterのアライさんのKaggleコード遺産の記事でした！ とても参考になり、いくつか自分の遺産にも取り入れさせていただきました。 さて本日は、以前から何回かLTさせていただいていたオレオレパイプラインを公開しましたので、簡単にご紹介できればと思います。 はじめに パイプラインについて 実行方法 補足 config.yamlについて 15_show_all_features.pyについて 作成される画像ファイルについて 終わりに はじめに 元々、パイプラインが良い感じにできたら公開したいな〜と思っていたのですが、何回かLTする中で、ありがたいことに以下のようなお声をいただき、あっ、Kaggleのアドベントカレンダーで公開すれば丁

本記事はコネヒト Advent Calendar 2019の9日目のエントリーになります。 こんにちは！CTOの @itosho です。Jリーグでは横浜F・マリノスが15年ぶりに優勝しましたね⚽おめでとうございます！僕は鹿島アントラーズのサポーターなので、天皇杯に気持ちを切り替えています。 早速ですが、皆さん、会議は好きですか？僕もそうなのですが、しなくていいならしたくないという方が多いのではないでしょうか？というわけで、今日は会議の話をしたいと思います。 カレンダー調太郎とは？ カレンダー調太郎（しらべたろう、と読みます）は開発部*1メンバーの1週間の会議時間を見える化するSlackアプリです。毎週金曜日にみんなの1週間の会議時間をSlackに通知します。また、前週比や来週の見込みも分かるようにしています。 カレンダー調太郎の通知の一部 こんな感じで通知され、僕の会議時間が21時間だった

こんにちは！エンジニアの @fortkle です。 あの伝説のゲーム「メダロット」のスマホゲームのリリース日がついに 2020年1月23日と発表がありました!*1 いまからワクワクしてきましたね！リリースしたらぜひロボトルしましょう！ さて、今回の記事は「コードレビュー」についてです。コネヒトに入社してから早4年、数百のPRをレビューしてきてだんだんと自分の中でコードレビューに対する接し方が定まってきました。今日は私がコードレビューで心がけていることについてご紹介できればと思います。 レビュワーとして ① "既存コード" の 歴史的経緯を素早く紐解く コードレビューは様々な目的で行われますが、「欠陥・バグを検出すること」「コードの改善」に期待をしていることが多いかと思います。 これらの目的を達成するためには、既存・変更後のコードの実装意図や背景を理解することがとても重要になります。特に長年

こんにちは、エンジニアの@dachi_023です。最近、MacBook Proの調子が悪いのですが修理に行くのが面倒で行っていません。放置し続けていたら直ったりしないかな・・・。 今回の記事はGatsbyで100ページ超えの静的サイトを構築したときの学びについてです。Gatsbyって実際どうなん？って思っている方に読んでもらえたら幸いです。 つくったもの ママリユーザーが本当に使ってよかったと思う商品・サービスの口コミを元に、自分と家族に合うものを探すことができる「ママリ口コミ大賞」の2019年 秋版のサイトをGatsbyで実装しました。妊娠中の方、育児中の方におすすめしたいサイトです。私も実際つかってみて、「これ、子どもが産まれた時にあったらもっと便利だったな〜！」って毎回思っています。 award.mamari.jp これまでの技術選定 ママリ口コミ大賞は今回で3回目なのですが、毎回使