いろんなやり方の読書会をやってみたら当日音読その場でまとめ方式が最高だった話 - Gunosy Tech Blog
こんにちは、SRE チーム マネージャーの TksYamaguchi です。 こちらの記事はGunosy Advent Calendar 2023の3日目の記事です。 前回の記事は森田さんの LLM 論文の探し方でした。 概要 SRE チームは、シニアエンジニアとジュニアエンジニアで構成されているチームで、チーム内の技術的な知識の偏りの解消や、知識のタコツボ化の解消を目的として読書会をしてきました。 その過程でいろいろな読書会のパターンを行ってきましたので、その結果を共有します。 概要 読書会開始前の SRE チームの課題感 読書会 のやり方の整理と評価の観点 やり方 評価の観点 当日音読・Slack に投下する方式 実際のまとめ 方式詳細 評価 メリット デメリット 事前に読んで Miro*1 に付箋・当日議論する方式 実際のまとめ 方式詳細 評価 メリット デメリット 当日黙読・その場
こんにちは, プロダクト開発部の今村です. ここ一年ほど, 主にグノシーのプッシュ通知基盤の部分的なリプレイスや機能追加をしていました. この記事ではプッシュ基盤の構成を紹介したいと思います. 概要 FCMのAPIを呼び出す部分 サーバーのスケーリング 送信対象の読み込み 送信の流れ その他の工夫 重複配信の防止 パフォーマンス調整 おわりに 概要 まずはプッシュ通知の種類を整理します. 今回扱うのは, 多数のユーザーに同じ内容を送るような通知です. 重要なニュースが発生したときに送る速報や, キャンペーン情報の通知などが該当します. 対照的に, ユーザーごとに異なる内容を送る通知もあります. 例えば社内で定時プッシュと呼ばれている機能では, ユーザーごとにパーソナライズされた記事を毎日決まった時間に送ります. このような通知はこの記事では (ほぼ) 扱いません. プッシュ通知基盤に求めら
はじめに これまでのインフラ課題の管理方法およびその課題点 それぞれのチームの要件 現在の管理方法 AWS Health Eventを用いたJIRAチケットの自動起票 Slack通知の自動化 JIRAチケットの関連付け JIRAチケットでの期限管理 現在の運用フロー SREの作業 開発チームの作業 移行してみて感じたメリット 今後の課題 さいごに はじめに こんにちは。ﾃｸﾉﾛｼﾞｰ本部 ﾌﾟﾛﾀﾞｸﾄ開発部 SREのkoizumiです。 最近、すっかり暑くなってしまいましたね。 さて、今回はAWS Security HubやSnykで検知された脆弱性の課題項目や、AWS Healthで通知されるメンテナンス情報の管理方法ならびにその自動化について取り上げます。 弊社では、週一でプロダクトチームとのふりかえり会というものを開催しており、SLO達成状況やアラート発生状況、セキュリティ指摘項目
こんにちは。 LLM事業部のUTです。 概要 promptfoo の紹介 起動 CI での評価 GitHub Action まとめ 概要 OpenAI による ChatGPT 登場の衝撃から1年ほど経ちましたが、 LLM を活用する企業はものすごく増えました。 OpenAI だけでなく、大手クラウドや Hugging Face などを通して各企業も提供しています。 遊びで使う分にはどの LLM を使うかは適当で良いかと思いますが、プロダクトとして提供する場合利用を想定しているシーンに対して、最適なモデルを選びたいと思うのは必然でしょう。 また LLM を利用してレスポンスを受けるに当たり、最も重要なのがプロンプトです。 様々な研究結果にもある通り、プロンプトの書き方一つで出力結果が大きく変わります。 欲しいアウトプットを出すプロンプトを探すには、プロンプトを複数作り比較する必要があります。
Gunosyで活躍中の id:skozawa を訪問 | はてな卒業生訪問企画 [#8] - Hatena Developer Blog
こんにちは、CTOの id:motemen です。 Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:motemenが担当する第8回のゲストは、株式会社Gunosyのテクノロジー本部データサイエンス部で部長を務める id:skozawaさんこと、小澤俊介さんです。 2012年にはてなに新卒として入社後、「はてなブックマーク」「はてなブログ」などのプロダクトの開発を担当されてきました。2017年に株式会社Gunosyに転職して、「グノシー」「ニュースパス」「LUCRA」などの記事配信アルゴリズム開発に携わります。 2022年に「Gunosy Tech
![Gunosyで活躍中の id:skozawa を訪問 | はてな卒業生訪問企画 [#8] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/89d42c8d11c6a7a5d290b9b1440b5ebac450c65d/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20240112%2F20240112143632.jpg)
こんにちは。データサイエンス部の石川です。 弊社では広告配信の最適化のために CTR・CVR*1 を推定する機械学習モデルを開発していて、定期的な学習とモデルの更新を行っています。 このようなシステムにおいて、学習済みモデルが推論システムで問題なく動作することを保証するために、デプロイされるモデルの挙動を検証する仕組みが必要です。 特に、学習時と推論時で同一の広告リクエストに対して同じ推論値を出力するかを確認する仕組みを「差分検知」と呼んでいます。 この記事では、弊社の広告システムにおける機械学習モデルの差分検知について紹介します。 背景 課題 解決策 PyO3 の実装 まとめ 背景 弊社の CTR・CVR を推定する機械学習システムでは、ワークフローエンジンが定期的にモデルの学習を実行し、その後学習済みモデルを S3 にアップロードします。 広告スコアリングサーバは S3 上のモデル変更
こんにちは。データサイエンス部の石川です。 先日 Go で書かれていた広告スコアリングサーバを Rust でリプレイスし、その後レイテンシの改善に取り組みました。 この記事では具体的にどのような実装の変更によって Rust サーバのレイテンシを改善したかについて紹介したいと思います。 広告スコアリングサーバのリプレイスに関する詳しい背景については以下の記事をご覧ください。 tech.gunosy.io 背景 広告スコアリングサーバとは 広告スコアリングサーバに高速化が必要な理由 課題 レイテンシ改善施策 1. 有効期限付きキャッシュの導入 2. Array を Vec に 3. Redis コネクションの設定 4. CPU バウンドな処理を Tokio のブロッキングスレッドに移す Tokio の並列実行とブロッキング処理について 5. RwLock を ShardedLock に 6.
ニュースキュレーションサービスを運営するGunosyはこのほど、OpenAIが公開している言語モデル「GPT-4」のAPIを使い、海外のニュース記事を要約して紹介するサービス「NewsPresso」（ニュースプレッソ）β版を公開した。 米メディアが発信する英語ニュース記事を3行程度の日本語に要約し、概要を伝える。1日に20～30程度の記事を紹介する。 βサービスとして始めたが、ニーズが高いと判断した場合は継続的に提供する。また今後、英語圏以外の言語にも対応予定だ。 関連記事 GPT-4採用のインフルエンサーbot「CarynAI」、1週間で収益7万ドル 185万人以上のフォロワーを持つキャリン・マージョリーさんは、自分の代わりにファンと対話するAIチャットbot「CarynAI」を限定公開。GPT-4 API採用で本人の声とキャラクターを模すこのbotとは課金制で会話できる。公開1週間で7
はじめに はじめに dbt はそもそもツールとして何を行なうか ELT における Transform について dbt が担っている機能 dbt は技術的にどのようにして Transform を実現しているか Jinja テンプレートによる SQL の生成 各種データ基盤に向けたデータ変換の手続きの抽象化 生成された SQL に基づくデータ変換の手続きの実行 さいごに DRE&MLOps チームの hyamamoto です。 最近は涼しくなってきて、秋の気配が感じられるようになってきましたね。 秋は一番好きな季節なので嬉しいです。 さて、今回は dbt について少し変わった切り口で紹介します。 今回の紹介において主眼に置きたいことは以下の内容です。 dbt はそもそもツールとして何を行なうか dbt は技術的にどのようにしてその機能を実現しているか その機能の結果 dbt はアプリケーショ
S3 Inventory + Athena によるプレフィックスレベルコスト分析 ~S3 のコストをスリムに保つために~ - Gunosy Tech Blog
プロダクト開発部 Ads チームの yamaYu です。最近体重と筋肉量をコントロールしたい願望があり、まずは可視化ということで体組成計を買いました。まだ全然成果は上がっていないですが、現状を把握できて良い感じです。 今回の記事ですが、最近取り組んだ S3 のコスト削減の施策において、S3 Inventory がコストの可視化の文脈で良い感じだったのでその話について書いていきます。 最終的に ↓ のような感じでプレフィックス別にコストを分析できるようにしました。 プレフィックス別の S3 のコストの例 課題感 S3 のストレージ使用量を把握するための選択肢 AWS CLI S3 Storage Lens S3 Inventory S3 Inventory で使用量を可視化する S3 Inventory を設定する Athena と連携する SQL を書いて分析する まとめ 課題感 Ads
こんにちはUTです。 この記事は Gunosy Advent Calendar 2023 の 18 日目の記事です。 17 日目の記事は k.oshiro さんの 社内勉強会での発表内容の紹介 〜MessagePackの仕様を読む〜 - Gunosyデータ分析ブログ でした。 最近広告チームからLLMのチームに異動したのですが、今回紹介する話は広告チームでの話になります。 今年は円安だったのでクラウドインフラコストを削減するというネタをいくつかアドベントカレンダーで流れてくるのを見ました。 例にもれず、自分のチームでもコスト削減をしようという話があがりました。 しかし、以下で記事を記載した通り大きなコスト削減はすでに実施しており、大幅な削減は見込めない状況でした。 tech.gunosy.io tech.gunosy.io そこでコスト削減をする箇所をひねり出す必要があり、今回はその際に実
こんにちは。Android アプリ開発担当の nagayama（@nagayan_dev）です。 2023 年 9 月 14 日 〜 16 日にかけて行われた、 DroidKaigi 2023 に参加してきました。 今回はその内容を簡単にご紹介したいと思います。 DroidKaigi 2023 聞いたセッションのご紹介 ① Push 通知許諾率向上へのアプローチ ②モニタリングでパフォーマンス改善入門 ③ Kotlin ハイパフォーマンスプログラミング ④ Material3 やめました まとめ DroidKaigi 2023 DroidKaigi とは、 Android の技術の共有とコミュニケーションを目的としたカンファレンスになります。 2023.droidkaigi.jp 今回で 9 回目の開催となります。 会場は渋谷ガーデンタワーで、昨年よりも大きな会場での開催となりました。 セ
これまでの課題感 どのように実現したか Slackワークフローとは Google App Scriptとは 実装内容 Slackワークフローの実装 トリガーの設定 ステップの追加 Google App Scriptの実装 Slack Appの設定 Slack Appの作成 OAuth Tokensの設定 Google App Scriptのスクリプトプロパティの設定 今後の課題 GASのバージョン管理 レガシーワークフローからの移行 まとめ こんにちは、テクノロジー本部 プロダクト開発部 SRE の koizumi です。 この記事は Gunosy Advent Calendar 2023 の 8 日目の記事です。昨日の記事は 石川 さんの「オンライン実験を速く試すための基盤構築」でした。 本記事では、インシデントフローの改善として、インシデント発生時における初動対応の自動化を行なった実例
サードパーティ Cookie を使わない広告効果計測 ~Privacy Sandbox の Attribution Reporting API について~ - Gunosy Tech Blog
この記事は Gunosy Advent Calendar 2023 の 16 日目の記事です。 昨日の記事は吉岡さんの「iOSアプリのSWIFT_STRICT_CONCURRENCYをcompleteにした｣でした。 プロダクト開発部 Ads チームの yamayu です。 最近は専ら蛮カラな街でインクを塗り塗りしています。 持ち武器のブラスター種に数年ぶりの強化が入り熱いです。 本題ですが、Gunosy Ads では、サードパーティ Cookie に依存しない広告効果の計測への対応を進めています。 その一環として、Google の Privacy Sandbox についても検証を行なっているので、その話について書ければと思います。 サードパーティ Cookie が廃止されるとどうなるのか サードパーティ Cookie を使わずに広告効果を計測する Privacy Sandbox とは A
はじめに 今までのブログレビュー 現在のブログレビュー ブログの同期 ブログの取得 リポジトリと下書きの同期 textlint の導入 導入した結果 まとめ はじめに こんにちは m-hamashita です。 この記事は Gunosy Advent Calendar 2023 の 4 日目の記事です。 3 日目の記事は TksYamaguchi さんのいろんなやり方の読書会をやってみたら当日音読その場でまとめ方式が最高だった話でした。 今回はテックブログのレビューを GitHub 上でするようになって 1 年ほど経ったので、その経緯とリポジトリの紹介をしたいと思います。 個人的にかなり運用が楽になったので、ぜひ見てもらえると嬉しいです。 今までのブログレビュー 今まではブログ用の Slack チャンネルで有志にレビューをお願いし、スレッドでレビューをおこなっていました。 Slack での
はじめに こんにちは、広告技術部の fujishiro です。 ゼルダの伝説 ティアーズ オブ ザ キングダムが発売されましたね。私は乗り遅れてしまっていて、そもそもゼルダの伝説をやったことがないのですが、今作は盛り上がりがすごいので気になっています。 さて先日、私が Gunosy に転職して 1 年が経ったので、転職してからの 1 年間の振り返りとしてこれまで取り組んできたことをざっくりとご紹介できればと思います。 広告技術部での初めの 1 年間はこんな感じでしたよということをふんわり知っていただければ幸いです。 はじめに Gunosy に転職した理由 Gunosy での取り組み 5 月 - 6 月 Gunosy Ads 管理画面の React の TypeScript 化 6 月 - 9 月 広告フィードバック機能の開発 管理画面の GitOps 化 管理画面のフロント画面 React
【NewsPresso（ニュースプレッソ）】β版5月19日開始 GPTを活用し海外ニュース記事を要約して紹介 ビジネスやテック関連情報などを日本語で紹介、グノシー運営のノウハウを応用し試験運用｜株式会社Gunosy
プレスリリース 【NewsPresso（ニュースプレッソ）】β版5月19日開始 GPTを活用し海外ニュース記事を要約して紹介 ビジネスやテック関連情報などを日本語で紹介、グノシー運営のノウハウを応用し試験運用 株式会社Gunosy（本社：東京都渋谷区、代表取締役社長：竹谷祐哉、以下 Gunosy）は、AIによる日本語要約を通じて海外のニュース記事を紹介するサービス「NewsPresso（ニュースプレッソ）」β版（テスト版）（ https://newspresso.jp/ ）を5月19日（金）より提供開始いたします。本サイトはOpenAI社が提供するGPT-4を活用しており、情報キュレーションアプリ「グノシー」の運用ノウハウを持つ当社ならではの取組みとなります。現在はβ版としてのテストリリースとなりますが、今後ニーズが高ければ継続して提供する予定です。 ■サービス概要 サイト名：NewsPr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
グノシーのプッシュ通知基盤を紹介します - Gunosy Tech Blog
クラウドインフラにおける脆弱性およびメンテナンス情報等の管理・自動化について - Gunosy Tech Blog
LLMのプロンプトをCI/CDで評価する。promptfooを使って - Gunosy Tech Blog
広告システムにおける機械学習モデルの推論差分検知について - Gunosy Tech Blog
広告スコアリングサーバのレイテンシ改善 - Gunosy Tech Blog
英語記事を「GPT-4」で3行の日本語に Gunosyが新ニュースサイト
根っこから理解を深める dbt - Gunosyデータ分析ブログ
グノシー、企業の情報をもとに適切な回答ができる「Gunosy AI（仮称）」開発
コスト削減できる箇所をひねり出す - Gunosy Tech Blog
DroidKaigi 2023 に参加してきました - Gunosy Tech Blog
インシデント発生時における初動対応の自動化 - Gunosy Tech Blog
企業テックブログのレビューを GitHub 上でおこなっている話 - Gunosy Tech Blog
Gunosy に転職して 1 年経ったので振り返っていく - Gunosy Tech Blog