はじめに 前提 背景と課題 対応方針 StailerのElasticsearchに関する特性 要件 スケールイン・アウトではなくスケールアップ・ダウン リソース負荷トリガーではなくスケジュールトリガー 設計 cloud-sdk-goでの処理 モニタリング おわりに はじめに こんにちは、検索エンジニアの安達(id:kotaroooo0)です。 10Xで検索基盤・検索機能の開発運用をしています。 最近は推薦システムの開発もちょっとやり始めました。 負荷に合わせてElasticsearch(ElasticCloud)をスケーリングする機能を作りコスト削減したので、その取り組みについて経緯と内容を紹介します。 前提 背景と課題 10Xでは小売チェーン向けECプラットフォームStailerにおいて、検索機能の開発運用にElasticsearchを利用してしています。 Elasticsearchクラ

株式会社北の達人コーポレーション代表取締役社長 1968年、神戸生まれ。株式会社リクルート勤務後、2000年に北海道特産品販売サイト「北海道・しーおー・じぇいぴー」を立ち上げる。 2002年、株式会社北海道・シー・オー・ジェイピーを設立（2009年に株式会社北の達人コーポレーションに商号変更）。 2012年札幌証券取引所新興市場「アンビシャス」、2013年札幌証券取引所本則市場（通常市場）、2014年東京証券取引所の市場第二部（東証二部）、2015年東証一部と史上初の4年連続上場。2017年、時価総額1000億円。2019年、「市場が評価した経営者ランキング」第1位（東洋経済オンライン）。日本政府より紺綬褒章7回受章。 「びっくりするほどよい商品ができたときにしか発売しない」という高品質の健康食品・化粧品で絶対に利益が出る通販モデルを確立。「北の快適工房」ブランドで、機能性表示食品「カイテ

Looking for Datadog logos? You can find the logo assets on our press page.

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

フロントエンドのパラダイムを参考にバックエンド開発を再考する / TypeScript による GraphQL バックエンド開発

はじめに 技術部インフラグループの春日です。 2024年現在、弊社が運営している マッハバイト は一部を除いてオンプレからクラウドへの移行が完了しました。 本記事では移行対象の1つであった Apache Solr に関する総括をします。 今回のプロジェクトでは移行自体を最優先とするため、スコープを以下に定めていました。 Apache Solrから他の検索エンジンへは乗り換えない アプリケーション側の改修は向き先の変更だけに留める Apache Solr自体のバージョンUP対応はしない 運用負荷を軽減できる形の構成変更を加える 移行スピードと移行後の運用コストとの天秤 新たに運用しないといけなくなるコンポーネントはなるべく増やさない モニタリングや監視の精度はなるべく落とさない 上記を踏まえ、以降の節ではApache Solrのサービス内利用箇所の紹介から始め、 インフラ構成・デプロイ・モニ

はじめに 検索エンジニアリング１グループ(以下、検索1G)所属の安達です。 検索1Gは検索基盤を開発・運用するグループです。 今回、新たな検索基盤を開発し、本番リリースしたのでその事例について紹介します。 どんな検索基盤か アーキテクチャ図は以下です。 検索1Gが管理しているリソースは、図中のSolrデータ更新バッチとフロントアプリケーションを除くすべてのリソースです。 このシステムは大きく3つに分かれています。フロントアプリケーションとの接続を担う検索動線、検索に使われるデータの更新を担当するデータ更新導線、そして検索エンジンです。それぞれの構成について見ていきます。 検索導線 EKS上の検索APIへリクエストをルーティングする。通常時は何も処理をせず1つの検索APIにリクエストを流す。オンラインA/Bテスト実施時にはグループを振り分けし適切な検索APIにリクエストを振り分けできる。また

2021/7/28, Retty ✕ Mercari Analyst Talk Night! https://mercari.connpass.com/event/218848/

本記事はZOZOテクノロジーズ アドベントカレンダー#2の17日目の記事です。 TL;DR; ECK動作確認環境構築手順 ECKの仕組み 各構成・設定変更における挙動解説 動作確認環境の構築 本記事の解説で使う環境構築方法を簡単に解説します。なお、Kubernetes環境としてはAmazon Elastic Kubernetes Service（以下、EKS）を利用してますが、EKSセットアップとk8sクラスタ操作必要なkubectl等の設定手順については省略します。また、既にk8sクラスタに接続できる状態になっていることを前提とします。 環境 クライアントOS: macOS Kubernetes versions: client: v1.19.4 server: v1.18.9 ECK: 1.3 セットアップ 既に下記のようにkubectlコマンドでk8sクラスタにアクセスできる状態にな

心を構える「気づき」からスタートする科学と技術が発展し全てのスピードが早い現代において、普通に生きていると「不足しているものはない」と感じられる。故に、針の穴を通すような「自分だけが知っている気づき」の中にだけ、その後大きくなりうるものを孕むと考えている。一握りの人間は現状に何かしらの気づきを得ようとしているが、多くの人はそうではない。気づきを得るためには、気づくための訓練が必要だ。現状に「なぜ」を問いかけ、欠けているものを見つける訓練である。僕がこれまでに得た最大の気付きは、どんなに優秀な経営者、起業家、プロダクトマネージャー、クリエイターであっても、「気づきを得る訓練」をしている人は極めて稀だという事実だ。気づきを得るためには、そこにある事象、因果、携わる人の気持ち、外部の構造など全てを深く理解しようと務めなければいけない。1点ではなく、多面をだ。全てを理解するために最も手っ取り早いの

お題箱124 671.以前ツイートされていた雑な格言シリーズの「面接では嘘を吐いてもよい」や「結果が全て」等の意味を詳しく教えて欲しいです。現在進行形で振り回されてます このツイートですね。 仕事に関する言説って「面接では嘘を吐いてもよい」とか「結果が全て」みたいな、まあ正しいっちゃ正しいけどその言い方だと学生は誤解するだろみたいな「精緻な言語化を怠った雑な格言」が無限にあってだいぶ振り回されたのけっこうムカついてる — LW (@lw_ru) 2023年9月22日 いま無職なのでやや気が引けますが書きます（無職が語ることじゃねえだろと思ったので、念のため信頼できる社会人の友達に下読みしてもらって内容に問題ないことを確認しました）。 最初に書いておくと、僕は数百人規模の中小ITでしか働いたことがないので、価値観がその規模感に寄っています。仕事の感性は職や規模によってかなり違って、例えば同じ

こんにちは！経営企画の仕事をしているudonです。1年半前の見習いQA以来、2度目の文章です。今回は10X社内の会議のルールを整理し、そして全社員の未来のカレンダー予定を一旦全部消す、通称「ビッグバン」の第一回を実施したのでその背景や内容について書きます。 (イメージ) 10Xでは社内におけるコミュニケーションを大きく「同期」「非同期」に分けています。同期は会議や突発的な電話など同じ場にいることが前提であるコミュニケーションを指し、Slackなど非同期は必ずしも同じ時間での往復を前提としない文章やドキュメントによるコミュニケーションを指します。入った当初は「ドウキ・・？ヒドウキ？？」とドキドキしてた私ですが、2年も経つと慣れてしまいました。慣れって怖いですね。 話が長いという皆様の期待を裏切ることなく、タイトルにもなっているビッグバン(会議の全削除)の話にいくまで5,000文字嵩んでしまっ

技育祭2023秋 DAY1 HALL C 14:30 - 15:15 「エンジニアを目指す君たちはどう生きるか　～ソフトウェアアーキテクトのすゝめ～」 の登壇資料です。 https://talent.supporterz.jp/geeksai/2023autumn/information/#1021-1430-HallC

2 松本 和高
 株式会社エクスプラザ リードエンジニア
 X: _mkazutaka
 Github: mkazutaka
 18年にバックエンドエンジニアとしてメルカリに入社。その後、ミラ ティブ、フリーランスを得て株式会社エクスプラザに所属。フロント エンドからバックエンドまで幅広く開発しています。趣味で、FXの自 動売買Botを作成している
 現在08/30に第一子が生まれ現在育休中
 https://note.com/mkazutaka/n/n9f0e2c4dee96 CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 株式会社エクスプラザ （EXPLAZA, Inc.） 会社名 プロダクトの力で、豊かな暮らしをつくる ミッション 代表取締役CEO 高橋一生 代表者 2020年07月03日 設

はじめに 今回の記事では、設計やソフトウェアアーキテクチャを学べるGitHubリポジトリを16個紹介する。 対象とする読者 設計やソフトウェアアーキテクチャに興味関心があるエンジニア GitHubをエンジニアリングの情報収集に活用したいエンジニア タイトルで気になった人 Architectural Patterns システムの基本的な構成を理解するためのパターンやテンプレートを提供している。これらのパターンを学ぶことで、システムの構造やコンポーネントの関連性、相互作用を理解できる。これが開発者にシステムをより効率的かつ効果的に設計・実装する能力をもたらす。 Design Patterns for Humans 設計パターンを人間が理解しやすい形で説明している。デザインパターンは特定の問題に対して再利用可能なソリューションを提供する。これによって、開発者はより効率的にコードを記述でき、メンテ

フランスでのエンジニア就活体験記August 19, 2023  |  15 min read  |  6,939 views jafrancecareerフランスのスタートアップでソフトウェアエンジニアとして働くことになったので、そのときの体験と面接対策について書きます。 自分の個人的経験について公に語るのは気が引けるものですが、私自身、海外就活をする上で、先達が書いた同様の体験記1234を大いに参考にしました。しかし、日本からフランスでの仕事を探したという事例はまだまだ希少なので、フランスでエンジニアとして働くことに関心のある方に向けて少しでも情報提供をできればと思い、筆を取りました。また、今後は家探しやフランス語のことなど、パリでの生活事情についても書いていければと思っています。 さて、本編に入る前にお断りですが、「海外就活」と一口に言っても、国やその人の国籍、職種、スキル、準備期間

こんにちは。NewsPicks App Reader Experience Unit でエンジニアしている青木です。 NewsPicks では日々のサービス改善において AB テストを数多く実施しています。 施策毎に AB テストを柔軟に実施できるのは過去紹介した AB テスト基盤があってこそです。 https://tech.uzabase.com/entry/2022/12/25/183334 App Reader Experience Unit（以下 ARX）でも上記の AB テスト基盤を使ってモバイルアプリの改善を行なっています。 今回は ARX で AB テストを行う際に特に大事にしていることについてお話ししていきます。 ABテストの結果よりも大事なたった一つのこと 目的 ~ AB テストの結果が良かったから施策を適用するわけではない ~ 仮説 ~ 事前調査に基づく観点での仮説検証