いろんなやり方の読書会をやってみたら当日音読その場でまとめ方式が最高だった話 - Gunosy Tech Blog
こんにちは、SRE チーム マネージャーの TksYamaguchi です。 こちらの記事はGunosy Advent Calendar 2023の3日目の記事です。 前回の記事は森田さんの LLM 論文の探し方でした。 概要 SRE チームは、シニアエンジニアとジュニアエンジニアで構成されているチームで、チーム内の技術的な知識の偏りの解消や、知識のタコツボ化の解消を目的として読書会をしてきました。 その過程でいろいろな読書会のパターンを行ってきましたので、その結果を共有します。 概要 読書会開始前の SRE チームの課題感 読書会 のやり方の整理と評価の観点 やり方 評価の観点 当日音読・Slack に投下する方式 実際のまとめ 方式詳細 評価 メリット デメリット 事前に読んで Miro*1 に付箋・当日議論する方式 実際のまとめ 方式詳細 評価 メリット デメリット 当日黙読・その場
こんにちは, プロダクト開発部の今村です. ここ一年ほど, 主にグノシーのプッシュ通知基盤の部分的なリプレイスや機能追加をしていました. この記事ではプッシュ基盤の構成を紹介したいと思います. 概要 FCMのAPIを呼び出す部分 サーバーのスケーリング 送信対象の読み込み 送信の流れ その他の工夫 重複配信の防止 パフォーマンス調整 おわりに 概要 まずはプッシュ通知の種類を整理します. 今回扱うのは, 多数のユーザーに同じ内容を送るような通知です. 重要なニュースが発生したときに送る速報や, キャンペーン情報の通知などが該当します. 対照的に, ユーザーごとに異なる内容を送る通知もあります. 例えば社内で定時プッシュと呼ばれている機能では, ユーザーごとにパーソナライズされた記事を毎日決まった時間に送ります. このような通知はこの記事では (ほぼ) 扱いません. プッシュ通知基盤に求めら
はじめに これまでのインフラ課題の管理方法およびその課題点 それぞれのチームの要件 現在の管理方法 AWS Health Eventを用いたJIRAチケットの自動起票 Slack通知の自動化 JIRAチケットの関連付け JIRAチケットでの期限管理 現在の運用フロー SREの作業 開発チームの作業 移行してみて感じたメリット 今後の課題 さいごに はじめに こんにちは。ﾃｸﾉﾛｼﾞｰ本部 ﾌﾟﾛﾀﾞｸﾄ開発部 SREのkoizumiです。 最近、すっかり暑くなってしまいましたね。 さて、今回はAWS Security HubやSnykで検知された脆弱性の課題項目や、AWS Healthで通知されるメンテナンス情報の管理方法ならびにその自動化について取り上げます。 弊社では、週一でプロダクトチームとのふりかえり会というものを開催しており、SLO達成状況やアラート発生状況、セキュリティ指摘項目
こんにちは。Gunosy R&D チームの森田です。 GPT-4o が発表されたこのタイミングで！？という向きもあるかとおもいますが、LLMの世界は一ヶ月もすればまったく違う状況になっているのが常なので、いずれは GPT-4o を超えるモデルが発表される時も来るでしょう。 Claude 3 Opus は一時期 GPT-4 のスコアを超え、 Claude 3 Haiku では GPT-3.5-Turbo のトークン当たりで約半額とコストパフォーマンスに優れていますし、 AWS Bedrock 経由で安定して利用できることもあり、Claude 3 は乗り換え先の候補の一つです。 Claude 3 への乗り換えには、点々とつまづくポイントがあるので、引っかかった所と回避方法をご紹介します。 今回紹介する内容はClaude 3に限らないものもありますので、ローカルLLM や他のLLM への乗り換え
こんにちは。 LLM事業部のUTです。 概要 promptfoo の紹介 起動 CI での評価 GitHub Action まとめ 概要 OpenAI による ChatGPT 登場の衝撃から1年ほど経ちましたが、 LLM を活用する企業はものすごく増えました。 OpenAI だけでなく、大手クラウドや Hugging Face などを通して各企業も提供しています。 遊びで使う分にはどの LLM を使うかは適当で良いかと思いますが、プロダクトとして提供する場合利用を想定しているシーンに対して、最適なモデルを選びたいと思うのは必然でしょう。 また LLM を利用してレスポンスを受けるに当たり、最も重要なのがプロンプトです。 様々な研究結果にもある通り、プロンプトの書き方一つで出力結果が大きく変わります。 欲しいアウトプットを出すプロンプトを探すには、プロンプトを複数作り比較する必要があります。
Gunosyで活躍中の id:skozawa を訪問 | はてな卒業生訪問企画 [#8] - Hatena Developer Blog
こんにちは、CTOの id:motemen です。 Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:motemenが担当する第8回のゲストは、株式会社Gunosyのテクノロジー本部データサイエンス部で部長を務める id:skozawaさんこと、小澤俊介さんです。 2012年にはてなに新卒として入社後、「はてなブックマーク」「はてなブログ」などのプロダクトの開発を担当されてきました。2017年に株式会社Gunosyに転職して、「グノシー」「ニュースパス」「LUCRA」などの記事配信アルゴリズム開発に携わります。 2022年に「Gunosy Tech
![Gunosyで活躍中の id:skozawa を訪問 | はてな卒業生訪問企画 [#8] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/89d42c8d11c6a7a5d290b9b1440b5ebac450c65d/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20240112%2F20240112143632.jpg)
こんにちは。データサイエンス部の石川です。 弊社では広告配信の最適化のために CTR・CVR*1 を推定する機械学習モデルを開発していて、定期的な学習とモデルの更新を行っています。 このようなシステムにおいて、学習済みモデルが推論システムで問題なく動作することを保証するために、デプロイされるモデルの挙動を検証する仕組みが必要です。 特に、学習時と推論時で同一の広告リクエストに対して同じ推論値を出力するかを確認する仕組みを「差分検知」と呼んでいます。 この記事では、弊社の広告システムにおける機械学習モデルの差分検知について紹介します。 背景 課題 解決策 PyO3 の実装 まとめ 背景 弊社の CTR・CVR を推定する機械学習システムでは、ワークフローエンジンが定期的にモデルの学習を実行し、その後学習済みモデルを S3 にアップロードします。 広告スコアリングサーバは S3 上のモデル変更
こんにちは。データサイエンス部の石川です。 先日 Go で書かれていた広告スコアリングサーバを Rust でリプレイスし、その後レイテンシの改善に取り組みました。 この記事では具体的にどのような実装の変更によって Rust サーバのレイテンシを改善したかについて紹介したいと思います。 広告スコアリングサーバのリプレイスに関する詳しい背景については以下の記事をご覧ください。 tech.gunosy.io 背景 広告スコアリングサーバとは 広告スコアリングサーバに高速化が必要な理由 課題 レイテンシ改善施策 1. 有効期限付きキャッシュの導入 2. Array を Vec に 3. Redis コネクションの設定 4. CPU バウンドな処理を Tokio のブロッキングスレッドに移す Tokio の並列実行とブロッキング処理について 5. RwLock を ShardedLock に 6.
はじめに はじめに dbt はそもそもツールとして何を行なうか ELT における Transform について dbt が担っている機能 dbt は技術的にどのようにして Transform を実現しているか Jinja テンプレートによる SQL の生成 各種データ基盤に向けたデータ変換の手続きの抽象化 生成された SQL に基づくデータ変換の手続きの実行 さいごに DRE&MLOps チームの hyamamoto です。 最近は涼しくなってきて、秋の気配が感じられるようになってきましたね。 秋は一番好きな季節なので嬉しいです。 さて、今回は dbt について少し変わった切り口で紹介します。 今回の紹介において主眼に置きたいことは以下の内容です。 dbt はそもそもツールとして何を行なうか dbt は技術的にどのようにしてその機能を実現しているか その機能の結果 dbt はアプリケーショ
S3 Inventory + Athena によるプレフィックスレベルコスト分析 ~S3 のコストをスリムに保つために~ - Gunosy Tech Blog
プロダクト開発部 Ads チームの yamaYu です。最近体重と筋肉量をコントロールしたい願望があり、まずは可視化ということで体組成計を買いました。まだ全然成果は上がっていないですが、現状を把握できて良い感じです。 今回の記事ですが、最近取り組んだ S3 のコスト削減の施策において、S3 Inventory がコストの可視化の文脈で良い感じだったのでその話について書いていきます。 最終的に ↓ のような感じでプレフィックス別にコストを分析できるようにしました。 プレフィックス別の S3 のコストの例 課題感 S3 のストレージ使用量を把握するための選択肢 AWS CLI S3 Storage Lens S3 Inventory S3 Inventory で使用量を可視化する S3 Inventory を設定する Athena と連携する SQL を書いて分析する まとめ 課題感 Ads
こんにちはUTです。 この記事は Gunosy Advent Calendar 2023 の 18 日目の記事です。 17 日目の記事は k.oshiro さんの 社内勉強会での発表内容の紹介 〜MessagePackの仕様を読む〜 - Gunosyデータ分析ブログ でした。 最近広告チームからLLMのチームに異動したのですが、今回紹介する話は広告チームでの話になります。 今年は円安だったのでクラウドインフラコストを削減するというネタをいくつかアドベントカレンダーで流れてくるのを見ました。 例にもれず、自分のチームでもコスト削減をしようという話があがりました。 しかし、以下で記事を記載した通り大きなコスト削減はすでに実施しており、大幅な削減は見込めない状況でした。 tech.gunosy.io tech.gunosy.io そこでコスト削減をする箇所をひねり出す必要があり、今回はその際に実
こんにちは。Android アプリ開発担当の nagayama（@nagayan_dev）です。 2023 年 9 月 14 日 〜 16 日にかけて行われた、 DroidKaigi 2023 に参加してきました。 今回はその内容を簡単にご紹介したいと思います。 DroidKaigi 2023 聞いたセッションのご紹介 ① Push 通知許諾率向上へのアプローチ ②モニタリングでパフォーマンス改善入門 ③ Kotlin ハイパフォーマンスプログラミング ④ Material3 やめました まとめ DroidKaigi 2023 DroidKaigi とは、 Android の技術の共有とコミュニケーションを目的としたカンファレンスになります。 2023.droidkaigi.jp 今回で 9 回目の開催となります。 会場は渋谷ガーデンタワーで、昨年よりも大きな会場での開催となりました。 セ
これまでの課題感 どのように実現したか Slackワークフローとは Google App Scriptとは 実装内容 Slackワークフローの実装 トリガーの設定 ステップの追加 Google App Scriptの実装 Slack Appの設定 Slack Appの作成 OAuth Tokensの設定 Google App Scriptのスクリプトプロパティの設定 今後の課題 GASのバージョン管理 レガシーワークフローからの移行 まとめ こんにちは、テクノロジー本部 プロダクト開発部 SRE の koizumi です。 この記事は Gunosy Advent Calendar 2023 の 8 日目の記事です。昨日の記事は 石川 さんの「オンライン実験を速く試すための基盤構築」でした。 本記事では、インシデントフローの改善として、インシデント発生時における初動対応の自動化を行なった実例
サードパーティ Cookie を使わない広告効果計測 ~Privacy Sandbox の Attribution Reporting API について~ - Gunosy Tech Blog
この記事は Gunosy Advent Calendar 2023 の 16 日目の記事です。 昨日の記事は吉岡さんの「iOSアプリのSWIFT_STRICT_CONCURRENCYをcompleteにした｣でした。 プロダクト開発部 Ads チームの yamayu です。 最近は専ら蛮カラな街でインクを塗り塗りしています。 持ち武器のブラスター種に数年ぶりの強化が入り熱いです。 本題ですが、Gunosy Ads では、サードパーティ Cookie に依存しない広告効果の計測への対応を進めています。 その一環として、Google の Privacy Sandbox についても検証を行なっているので、その話について書ければと思います。 サードパーティ Cookie が廃止されるとどうなるのか サードパーティ Cookie を使わずに広告効果を計測する Privacy Sandbox とは A
はじめに 今までのブログレビュー 現在のブログレビュー ブログの同期 ブログの取得 リポジトリと下書きの同期 textlint の導入 導入した結果 まとめ はじめに こんにちは m-hamashita です。 この記事は Gunosy Advent Calendar 2023 の 4 日目の記事です。 3 日目の記事は TksYamaguchi さんのいろんなやり方の読書会をやってみたら当日音読その場でまとめ方式が最高だった話でした。 今回はテックブログのレビューを GitHub 上でするようになって 1 年ほど経ったので、その経緯とリポジトリの紹介をしたいと思います。 個人的にかなり運用が楽になったので、ぜひ見てもらえると嬉しいです。 今までのブログレビュー 今まではブログ用の Slack チャンネルで有志にレビューをお願いし、スレッドでレビューをおこなっていました。 Slack での
この記事は Gunosy Advent Calendar 2023 の6日目の記事です。昨日の記事は hyamamoto さんの稼働中データ基盤を安全に dbt 移行する仕組みでした。 こんにちは。プロダクト開発部 Ads チームの johnmanjiro です。普段は広告配信の API や管理画面を作っています。 先日、趣味で Rust 向けの fluentd クライアントを作ったのでご紹介します*1。 Rust での fluentd クライアントの状況と作成の経緯 使い方 初期化 ログの送信 サポートしているデータ型 構成 Client Worker forward プロトコル 構成のまとめ 終わりに Rust での fluentd クライアントの状況と作成の経緯 本題に入る前に、Rust における fluentd クライアントの状況を簡単にご紹介します。 2023年12月現在、Rus
Gunosyが「ChatGPT」を搭載した業務支援特化の生成AIサービス「ウデキキ」を11月開始 | Web担当者Forum
メディア開発・運営のGunosy(グノシー)は、対話型人工知能(AI)「ChatGPT」を搭載して業務支援に特化した生成AIサービス「ウデキキ」を11月上旬から提供する、と10月13日に発表し、予約受付を同日から始めた。社内のIT活用とDX(デジタル変革)推進に課題を持つ企業に提供し、AIに仕事をさせるためのプロンプト(指示文)の知識がなくとも業務を効率化できる。10月31日までの申し込みは初期費用無料。 ウデキキは、初心者でも直感的に使えるUI(インターフェース)で「ビジネスメールの作成」「議事録作成」「Excelの作成サポート」など用途別に準備した「スキル(機能)」を使って実務を効率化する。スキルを選べば質問文章を考えなくても望んだ回答が得られる。入力メッセージの履歴は企業ごとに暗号化され、不正アクセスから機密情報を保護。Microsoft Azureの基準に準拠し、入力した内容がAI
はじめに 背景: A/Bテスト作業者の増加による品質差が出てきた 課題: 情報過多がさまざまな課題を引き起こしている 原因: 膨大な情報をハンドリングするスキルが個人の経験値・地頭に依存してしまう では膨大な情報をどう扱えばよいのか？ 改善1. 情報を削る 改善点2. 情報の抽象度を上げる (仮説ありきで考える) 対処: 見ないべき指標ガイドライン整備 さいごに こんにちは、BIチームの田辺です。 この記事はこの記事はGunosy Advent Calendar 2023の12日目の記事です。 前回の記事はtakujiさんのLLM を使って自分のおさいふ事情を把握してみるでした。 はじめに 今回の記事ではBIチームでA/Bテストの指標の見方を整理した話を紹介します。大きくまとめると、以下の内容になります。 背景：A/Bテストの実施に関わる人数が増えてきた一方、個人差も広がった A/Bテスト
はじめに はじめに データ基盤におけるバッチのオーケストレーション 移行時の課題 Helm を活用した dbt 実行基盤の構築 Helm の採用理由 Helm による dbt を実行する template の記述 Helm による k8s Job の実行 実行時の冪等性を確保する dbt の工夫 さいごに DRE&MLOps チームの hyamamoto です。 この記事は Gunosy Advent Calendar 2023 の 24 日目の記事です。 23 日目の記事は Liang さんのCircleCI + Android UI Test スクリーンショットの確認仕組みでした。 さて、本記事では大規模データ基盤における冪等性を確保した dbt のオーケストレーションについて紹介します。 今回 DRE&MLOps ではデータ基盤における変換処理を dbt に移行するプロジェクトを進め
こんにちは、SRE チーム マネージャーの TksYamaguchi です。 こちらの記事はGunosy Advent Calendar 2023の 21 日目の記事です。 前回の記事は m-hamashita さんの 広告スコアリングサーバのエラーを大幅に減らした話でした。 概要 外部発表資料 全体的な導入の流れ コンテナセキュリティ対応ツールの選定 導入フェーズ 優先順位付け（トリアージ） 導入開始前の合意が大事 Snyk の Organizaton 設定 運用フェーズ まとめ 概要 SRE チームでは、去年からクラウドセキュリティとコンテナセキュリティの開発チームへの導入に取り組んできました。 その過程を AWS Summit Tokyo 2023 や JAWS-UG、SRE Lounge で発表してきました。 現在の Gunosy のステータスは DevSecOps の導入が完了し
こんにちは。koidです。 この記事は Gunosy Advent Calendar 2023 の25日目の記事です。 24日目の記事は hyamamotoさんの 大規模データ基盤における冪等性を確保した dbt のオーケストレーション でした。 早いもので、今年の Advent Calendar も最終日となりました。 今年の Advent Calendar では、昨年に引き続き各技術領域についてのエントリを中心としつつも、若干LLM関連のエントリも見られるようになってきたかなと思います。 弊社では今年、業務支援特化・生成AIサービス「ウデキキ」をリリースしましたが、並行して、LLMを含めた生成系AIを活用し、社内の色々な業務を効率化していこうという動きが盛んになっています。*1 そんな中、今回は、生成系AI・LLMを活用した開発者支援について書きたいと思います。 生成系AIを活用した開
Gunosyの業務支援特化生成AIサービス「ウデキキ」 11月7日(火)提供開始 サービス発表以降幅広い業界職種で導入依頼 オフィス業務の業務効率化を希望する声多数 今後もスキルを多数開発予定｜株式会社Gunosy
プレスリリース Gunosyの業務支援特化生成AIサービス「ウデキキ」 11月7日(火)提供開始 サービス発表以降幅広い業界職種で導入依頼 オフィス業務の業務効率化を希望する声多数 今後もスキルを多数開発予定 株式会社Gunosy（本社：東京都渋谷区、代表取締役社長：竹谷祐哉、以下 Gunosy）は、社内のIT活用とDX推進に課題を持つすべての企業に向けて、ChatGPTを搭載した「業務支援特化の生成AIサービス【ウデキキ】」の提供を11月7日(火)より開始いたしました。10月13日(金)のサービス発表以降多くの企業様からお問合せを頂いており、業界や職種は多岐に渡ります。 導入をご希望される方はぜひこちらよりお申し込みください。【 https://udekiki.jp/registration 】 「ウデキキ」 導入受付フォーム https://udekiki.jp/registrati
そんなGunosyは、2023年12月1日付で経営体制を大きく刷新しました。中長期的な目標である時価総額1,000億円を達成するため、時代に沿った事業ポートフォリオを再設定し、組織のあり方や企業カルチャーなども次々と更新されていくフェーズにあるのです。 今回は、進化の真っ只中にある同社で代表取締役社長に就任された西尾健太郎さんに、経営体制移行に関するエピソードや、リリースしたばかりの新規サービス「ウデキキ」などについてお話を聞かせていただきました。 （※）取材は2023年12月上旬に実施 新経営体制に移行。変わり続けることで成長していく 編集部 代表取締役社長のご就任、おめでとうございます。今回、Gunosyさんが経営体制を刷新されるに至った背景からお話しいただけますか？ 西尾さん ありがとうございます。前提として、私たちは2021年7月に策定した中期経営計画において、創業時点と比較してグ
この記事は Gunosy Advent Calendar 2023 の 14 日目の記事です。昨日の記事は上村さんの「ChatGPTを活用した業務支援ツール「ウデキキ」のチャット実装」でした。 こんにちは、プロダクト開発部 Ads チームの fujishiro です。最近は年末に行われる RIZIN.45 が楽しみで YouTube で試合予想動画を見ていることが多いです。 さて、今回は弊チームが管理している Terraform のリポジトリの CI/CD 環境を CircleCI から GitHub Actions に移行した際に tfaction という Action を導入したのですが、これが便利だったので紹介したいと思います。 tfaction とは 実現したいワークフロー 必要な設定*1 1. tfaction-root.yaml を追加する 2. tfaction.yaml を
LLM 論文の探し方 - Gunosyデータ分析ブログ
こんにちは。R&D の森田です。牛スネ肉のブロックをまるごと炭火で焼いたら美味しかったので、最近のオススメです。 この記事は Gunosy Advent Calendar 2023 の 2 日目の記事です。前回の記事は nagayama さんの Android DataStore の段階導入 でした。 今日は、進歩が速すぎる LLM (Large Language Model) 界の論文をどう追いかけていくかについて紹介します。 一口に LLM の論文といっても LLM に関係する領域は広がり続けていて、それぞれが 1 分野といっても差し支えのない量の論文が日々出続けています。例えば、11/28 にプレプリントサーバーの arXiv に投稿された "LLM" が含まれる論文は、48 件あります（11/30 調査）。研究者でも毎日数十件の論文に目を通すのは無理があると言えるでしょう。 いくつ
ChatGPT “導入止まり”から“活用”へ。Gunosyから業務支援特化 生成AIサービス「ウデキキ」登場 10月13日予約開始 特別な知識がなくてもChatGPTを業務活用できる機能を搭載。初期費用0円キャンペーン実施中｜株式会社Gunosy
プレスリリース ChatGPT “導入止まり”から“活用”へ。Gunosyから業務支援特化 生成AIサービス「ウデキキ」登場 10月13日予約開始 特別な知識がなくてもChatGPTを業務活用できる機能を搭載。初期費用0円キャンペーン実施中 株式会社Gunosy（本社：東京都渋谷区、代表取締役社長：竹谷祐哉、以下 Gunosy）は、社内のIT活用とDX推進に課題を持つすべての企業に向けて、ChatGPTを搭載した「業務支援特化の生成AIサービス【ウデキキ】」の予約受付を10月13日(金)より開始いたします。ご提供は、2023年11月上旬予定です。10月31日(火)までにお申し込みいただいた場合、初期費用0円の特典もご準備しております。ぜひこちらからご予約ください【 https://udekiki.jp/preorder 】 「ウデキキ」 予約受付フォーム https://udekik
こんにちは。QAチームのmiyagiです。 QAチームで活用しているテスト自動化ツール「MagicPod」と、テスト管理ツール「TestRail」を連携させ、自動テストの結果入力をJenkinsで自動化しました。 この記事では、連携に必要な環境構築や手順について紹介します。 Jenkins MagicPodとTestRailについて 自動化の手順 実行するテストケースとテスト実行設定の準備 PythonスクリプトとAPI利用の準備 APIキーの発行 Pythonスクリプトのカスタマイズ Jenkinsの準備 Jenkinsのパイプラインの設定 実行した結果 Jenkins MagicPod TestRail まとめ MagicPodとTestRailについて MagicPodはUIテスト自動化ツールで、Gunosyでは回帰テストの一部を自動化して実行しています。テスト管理ツールであるTes
2023年4月に新卒エンジニアとしてデータサイエンス部MediaMLチームに配属された大城（k.oshiro）です。 普段はauサービスTodayアプリの記事配信システムの開発を行っています。 本記事は、新卒エンジニアとして入社後にやってきたことを簡単にまとめたものです。 新卒研修 1日のスケジュール OJT auサービスTodayについて 実装 A/Bテスト 振り返り 終わりに 新卒研修 Gunosyの新卒研修は、新卒全体に対して実施される全体研修と、エンジニアのみを対象にしたエンジニア研修の2つがあります。 全体研修では、各事業部についてメンバーや業務内容の紹介、セキュリティやコンプライアンスといったGunosyで働く上で知っておくべきことを教わりました。 エンジニア研修では、指定されたUdemyの講座を受講し、AWS JumpStart 2023 for NewGrads 設計編*1
こんにちは。部署が変わってプロダクト開発部の広告担当のUTです。 今回は障害が発生した経緯とその障害に対してどう対策したのかというところを紹介したいと思います。 概要 どのような障害が起こったのか 障害発生詳細 恒久対応 障害の原因 自動ロールアウト ConfigMapが最新しか保持されない まとめ 概要 今回紹介するのは、設定（ConfigMap）を変更した際にコンテナ側が設定を読み込めなくなりコンテナが再起動、そして負荷が高まり連鎖的にコンテナが死んでいくという障害に関する話です。 別管理の設定が稼働するサーバーに反映されず、起動しなかったり実行時エラーになったりというのはよくある話ですが、今回はKubernetesにおけるConfigMapの設定でのエラーに関する話になります。 どのような障害が起こったのか 具体的にどのような障害が起こったのかを紹介していきたいと思います。 まず前提
はじめに 現状の実装と課題: 不整合データの混入による手戻り 対応方針: PR 時点でデータ不整合を検出する CI 環境で dbt が使えるようになった dbt seed とは 方針 実装 csv ファイルの配置 プロファイル設定 dbt_project に seeds の設定を追加する シードでロードするテーブルの設定を追加する GitHub Actions で dbt seed と test を行う GitHub Actions で各ステップを記述する 導入結果 さいごに 余談: ChatGPT にエラー解析と初心者解説を頼んだらかなり心理負荷が下がった 参考文献 はじめに こんにちは、BI チームの田辺です。この記事はGunosy Advent Calendar 2023の 12 日目の記事です。 前回の記事は UT さんのコスト削減できる箇所をひねり出すでした。 さて、今回は db
こんにちは。Android アプリ開発担当の nagayama（@nagayan_dev）です。 今回私が担当している「auサービスToday」では、これまで Jetpack Compose ・マルチモジュール・ Coroutines を導入してきました。今回は Hilt を導入したため、その対応内容と結果についてお話しできたらと思います。 Jetpack Compose 最速導入フローチャート - Gunosy Tech Blog Androidのマルチモジュール化対応とその効果 - Gunosy Tech Blog Android の Kotlin Coroutines 導入の第一歩 - Gunosy Tech Blog 「auサービスToday」はすでに Dagger を導入済みであるため、Dagger を Hilt にバージョンアップしていく方針となります。 Hilt とは Dag
こんにちは。データサイエンス部の石川です。 この記事は Gunosy Advent Calendar 2023 の 7 日目の記事です。昨日の記事は johnmanjiro さんの『tokio ベースの Rust 向け fluentd クライアントを作りました』でした。 先日、オンライン実験を速く試すための基盤を構築し、実際に A/B テストを開始しました。この記事では初めに弊社独自の A/B 管理基盤やサービス間の依存関係に由来する課題を整理したうえで、どのような解決策を実装したかについて紹介します。 背景 広告関連サービスの概要と依存関係 施策の検証への要求 課題 解決策 ユーザーリスト・広告リストの詳細 まとめ 背景 はじめに広告関連のサービスの概要と、それぞれのサービスの依存関係について説明します。 次に、施策の検証において求められていることについて整理します。 広告関連サービスの
こんにちは、テクノロジー本部 プロダクト開発部 SRE の koizumi です。 この記事は Gunosy Advent Calendar 2023 の 22 日目の記事です。昨日の記事は TksYamaguchi さんの「Snyk を導入してコンテナセキュリティ対策の運用を回している話」でした。 本日はこの1年を振り返り、弊社の主要なGitHubリポジトリのCIをCircleCIからGitHub Actionsへと移行した話について取り上げたいと思います。 きっかけ CircleCIからの移行 知見の横展開 共通アクションの整備 移行して感じたこと 課題 まとめ きっかけ GitHub Actionsへの移行を始めたきっかけは遡ること丁度１年前の出来事となります。 正月休み明け早々、CircleCIから以下のセキュリティインシデントが発表されました。 circleci.com Circ
2024年04月15日15時33分 【材料】本日の注目個別銘柄：IDOM、JINSHD、Gunosyなど <4503> アステラス薬 1446 -125 大幅続落。無形資産の減損損失計上による業績予想の下方修正を発表している。遺伝子治療プログラムAT808に関する無形資産の減損損失約400億円、腎性貧血治療薬エベレンゾTMに関する無形資産の減損損失約160億円をその他の費用として計上。コアベースの業績予想に変更はないものの、フルベースの営業利益は830億円から130億円に下方修正している。大幅な減損計上をマイナス視する動きが先行へ。 <6532> ベイカレント 3453 +500 ストップ高比例配分。先週末に24年2月期決算を発表、営業利益は342億円で前期比14.4％増となり、年間配当金は従来計画3円増配の43円としている。25年2月期は営業利益が411億円で同20.1％増の見通し、年間
NLP2024 参加報告 - Gunosyデータ分析ブログ
こんにちは、データサイエンス部の大竹、R&D チームの森田、久保、新規事業開発室の鈴木、岡田です。 今回の記事は 3/11 ~ 3/15 の 5 日間にわたって開催された言語処理学会第 30 回年次大会 (NLP2024) の参加レポートになります。 NLP2024 について 企業ブースとポスター紹介 論文紹介 [C3-2] 長文生成の多面的評価:人手評価と自動評価の向上を目指して [A5-4] 文献理解のための人間の応答を利用したプロンプト最適化 [C6-4] 金融分野における言語モデル性能評価のための日本語金融ベンチマーク構築 まとめ NLP2024 について 言語処理学会は人工知能の一分野である（自然）言語処理を専門とする学会です。 記念すべき 30 回目である今年は、昨年に引き続きオフライン・オンラインのハイブリッド開催となり、神戸市の神戸国際会議場がオフラインの会場となりました。
こんにちは。Android アプリ開発担当の nagayama（@nagayan_dev）です。 この記事は Gunosy Advent Calendar 2023 の 1 日目の記事です。昨年最後の記事は koid さんの 障害発生時の社内コミュニケーションをスムーズにするために でした。 今年もよろしくお願いします。 今回は私が担当している「auサービスToday」で DataStore の導入と段階的移行の基本実装を行ったため、その内容についてお伝えします。 DataStore とは 現状と対応方針 方針 1. Repository のインタフェースとなっている「データごとの取得・保存メソッド」はそのまま使用する 方針 2. Repository の戻り値は Flow型 にする 方針 3. SharedPreferences と DataStore が共存できるようにする 移行実装
お知らせ 当社委託先使用システムへの不正アクセス事案のご報告 過去に当社と雇用関係にあった皆様へ 当社が社会保険業務を委託している社会保険労務士法人（以下「委託先」といいます。）が利用している「社労夢」システム（以下「本件システム」といいます。）のサーバーがランサムウェアによる不正アクセスを受けた旨の報告を受けました。 このたび、委託先経由にて停止していた本件システムの復旧連絡とともに、本件システムを提供する株式会社エムケイシステム（以下「エムケイシステム社」といいます）はデータ保全等の対応や調査を行い、情報漏洩の事実並びに不正利用等の二次被害は確認されていないとの調査結果の報告がございました。 2019 年1月1日以降の退職者の皆さまには多大なるご心配とご迷惑をお掛けしましたことを深くお詫び申し上げます。 今後も個人情報保護法を遵守するとともに、業務委託先への監督を強化し、皆様の個人情報
INDEX 西尾健太郎氏（以下、西尾）：みなさま、こんにちは。代表取締役社長の西尾健太郎です。株式会社Gunosyの2024年5月期第2四半期決算説明を始めます。 概要として、この第2四半期までに生じた体制変更や、今回の業績修正などのトピックスを交えながら、事業状況や実績をご説明します。よろしくお願いいたします。 代表取締役体制について まずは、新経営体制の変更についてです。2023年11月16日に公表したとおり、2023年12月1日より代表取締役体制を変更しています。変更後の内容はスライドのとおり、木村会長と私の2名体制となっています。 役割分担としては、私がもともと「ゲームエイト」と新規領域の役員を担当していましたが、そちらに追加して「グノシー」を含めたメディア事業も担当します。これによって、投資事業以外すべての領域の事業を私が担います。 一方、木村会長は変わらず、グループ全体の継続的
こんにちは、m-hamashita です。最近 AdsML（DRE 兼務）から新規事業開発室に移って LLM 応用をしています。学ぶことが多くて楽しいですね*1。 この記事は Gunosy Advent Calendar 2023 の 20 日目の記事です。 19 日目の記事は田辺さんのデータアナリストが dbt seed を使って予算テーブルを作った話でした。 先日、広告のスコアリングサーバをフルリプレイスしました。その後、速報やリクエストが多くなるタイミングなどでエラー（タイムアウト）が急増することがありました。 今回はこのエラーの急増を解消した話について紹介したいと思います。 最初に背景とその原因を説明し、解決方法について紹介します*2。 広告スコアリングサーバのフルリプレイスに関しては以下の記事を参考にしてください*3。 tech.gunosy.io tech.gunosy.io
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
グノシーのプッシュ通知基盤を紹介します - Gunosy Tech Blog
クラウドインフラにおける脆弱性およびメンテナンス情報等の管理・自動化について - Gunosy Tech Blog
GPT から Claude 3 への移行ガイド - Gunosyデータ分析ブログ
LLMのプロンプトをCI/CDで評価する。promptfooを使って - Gunosy Tech Blog
広告システムにおける機械学習モデルの推論差分検知について - Gunosy Tech Blog
広告スコアリングサーバのレイテンシ改善 - Gunosy Tech Blog
根っこから理解を深める dbt - Gunosyデータ分析ブログ
グノシー、企業の情報をもとに適切な回答ができる「Gunosy AI（仮称）」開発
コスト削減できる箇所をひねり出す - Gunosy Tech Blog
DroidKaigi 2023 に参加してきました - Gunosy Tech Blog
インシデント発生時における初動対応の自動化 - Gunosy Tech Blog
企業テックブログのレビューを GitHub 上でおこなっている話 - Gunosy Tech Blog
tokio ベースの Rust 向け fluentd クライアントを作りました - Gunosy Tech Blog
A/Bテストの情報過多と戦う - Gunosyデータ分析ブログ
大規模データ基盤における冪等性を確保した dbt のオーケストレーション - Gunosy Tech Blog
Snyk を導入してコンテナセキュリティ対策の運用を回している話 - Gunosy Tech Blog
生成系AIを活用した開発者支援 - Gunosy Tech Blog
新経営体制が始動した株式会社Gunosy。変化の中で成長を続けられる環境とは ｜ミライのお仕事
tfaction を導入したら便利だった話 - Gunosy Tech Blog
MagicPodの自動テストの結果入力を自動化しました - Gunosy Tech Blog
新卒エンジニアブログ 研修とOJTの振り返り - Gunosyデータ分析ブログ
コンテナがバタバタ死んだ障害と恒久対策 - Gunosy Tech Blog
dbt seed で csv ファイルのミスを取り除きながら DWH へ格納させる - Gunosyデータ分析ブログ
Android Hilt 導入 - Gunosy Tech Blog
オンライン実験を速く試すための基盤構築 - Gunosy Tech Blog
CircleCIからGitHub Actionsへ大引越した話 - Gunosy Tech Blog
本日の注目個別銘柄：IDOM、JINSHD、Gunosyなど | 個別株 - 株探ニュース
Android DataStore の段階導入 - Gunosy Tech Blog
当社委託先使用システムへの不正アクセス事案のご報告｜株式会社Gunosy
【QAあり】Gunosy、新経営体制へ変更 連結営業利益の赤字は大幅縮小し、通期見通しを上方修正
広告スコアリングサーバのエラーを大幅に減らした話 - Gunosy Tech Blog