EKSにKarpenterを導入してみる - GMOインターネットグループ グループ研究開発本部
こんにちは、次世代システム研究室のT.I.です。最近プロジェクトでEKSの構築を行いました。今回はその時に行ったKarpenterの導入についてお話しします。 Karpenterとは karpenterとはawsが開発しているオープンソースのkubernetes用Autoscalerです。具体的にはNodeをオートスケーリングします。今回はEKS上にこちらを導入する話をします。 EKSではManagedNodeGroupというAutoscalerがデフォルトで使用できますが、Karpenterはこれと比較して以下の点が優れています。 EKSのManagedNodeGroupを介さずに直接EC2インスタンスを起動してClusterに追加するため、Nodeの起動が速い インスタンスタイプとNodeの数を固定する必要がない（候補を設定すればKarpenterが自動で適したインスタンスタイプを指定
ChatGPT x LangChain で独自ドキュメントのベクターストア検索をチューニングする - GMOインターネットグループ グループ研究開発本部
D.Mです。 ChatGPT を開発の現場で活かしていくためにベクターストア活用の方法を検証しました。 結論ファースト A. ベクターストアに入れる元ネタドキュメントの抽出 ⇒ unstructured が使えるかも B. ベクターストアに入れる元ネタドキュメントのチャンク分け ⇒ タイトル。キーワードをメタデータで付加 C. ベクターストアに投げる質問プロンプトの最適化 ⇒ 形態素またはキーワード抽出でプロンプトを精査 D. ベクターストア検索結果の精査 ⇒ ContextualCompressionRetriever による検索結果要約とDocumentCompressorPipeline による検索結果絞り込みがよさげ 「検索結果が質問に沿ったものか精査させる」タスクをChatGPTに担当してもらうことが私の業務課題には適しているのではという気付きがありました。 E. （おまけ）ベク
LLM 対応自然言語処理フレームワークをいろいろ触ってテーブルデータで試してみたかった - GMOインターネットグループ グループ研究開発本部
ご覧頂きありがとうございます。グループ研究開発本部 AI 研究開発室の N.M.と申します。 2022 年末に公開された ChatGPT を皮切りに、2023 年に入って大規模言語モデル(LLM)に対する世の中の関心が集まっているのはこのブログを見ておられる方であれば体感しておられるかと思います。弊社も例外ではなく、AI しあおうぜという AI 技術の活用がテーマの社内コンペをはじめとした取り組みが盛んになっています。 もちろん ChatGPT や Bard といった既にサービス化されているものをどう使うかも重要ですが、提供されいているモデルをどう自社サービス・アプリに組み込んでいくかと考えたいところ。そして当然ながらそう考える先駆者も多く、そういったことを目的としたいくつかの OSS が存在しています。 このブログでは、LangChain, LlamaIndex, そして Haystac
Cloud Spanner ~やさしいはじめ方~ - GMOインターネットグループ グループ研究開発本部
次世代システム研究室の Y.I です。NewSQL の本命 Cloud Spanner の入門ガイドをまとめます。Cloud Spanner は料金が高いとかGlobal規模のDBは不要などと敬遠することが多く触る機会が少ない DB の一つだと思います。そのため、初めて操作する方向けに操作方法や複数のクライアントツールをご紹介します。本記事をご覧いただければ、Spanner DB の構築から各種ツールでの操作の仕方を理解して頂けます。少なくとも難しいものではないのだと感じて頂けると思います。 Cloud Spanner の主な特徴 Cloud Spanner は Google Cloud が提供するマネージドデータベースで、以下のような特徴を持っています。 ・「水平スケーラビリティ」: Cloud Spannerはデータとトランザクションを自動的に分散させ、数百万のリクエスト/秒を処理でき
次世代バンドルツールの競争の今 Turbopack vs Vite - GMOインターネットグループ グループ研究開発本部
こんにちは。グループ研究開発本部 次世代システム研究室のH.Oです。 生産的なアプリケーション開発において欠かせないものの一つにフロントエンドのJavaScriptバンドルツールがあります。 これまで、長年に渡ってJavaScriptのバンドルツールはwebpackがデファクトスタンダードとなり、Next.jsやNuxt.jsなどフレームワークにもデフォルトで組み込まれていました。その高機能性と安定性から現在も多くのWebサービスで利用されています。 一方で近年、webpackに続く次世代バンドルツールの開発競争が大きな注目を集めています。その中で特にwebpackに取って代わる勢いを見せているものにViteとTurbopackがあります。これらは、開発するアプリケーションの肥大化に伴って処理が遅くなってしまうwebpackの問題点を解決することが主要目的となっています。 今回はViteと
GitHub Copilot にいいコードを書いてもらう方法 - GMOインターネットグループ グループ研究開発本部（次世代システム研究室）
D.M.です。 AI とともにプログラミングをしてみた体験記です。 モチベーション 2022年11月、 ChatGPT が登場したことにより、今の学生は AI にレポートを書かせるというような話が普通に出るご時世になりました。 ChatGPT は例えばプログラミングのお題を投げると AI がかなり高精度なプログラムを書いてレスポンスしてくれたりします。この技術は将来的に Google 検索を脅かす存在になるのではというほどの注目を集めています。 ペアプログラマー Github Copilot よりプログラミングに特化した AI サービスとして、 GitHub Copilot があります（ギットハブ コパイロットと読む）。 2022年6月に正式リリースされています。 このツールには以下のような特徴があります。 ・ソースの流れやコメントに合わせて次に書くべきコードをサジェストしてくれる。 ・V
実際のワークロードに近いSQLの負荷テストをmysqlslapのような感覚で行う方法を考える - GMOインターネットグループ グループ研究開発本部
こんにちは，S.T.です。今回は，お手軽かつ実際のワークロードに近い形でMySQLの負荷検証をする方法を考えます。お手軽にMySQLに負荷をかけるツールとしてmysqlslapがありますが，mysqlが実行するSQLはアプリケーションから実行するSQLとは性質が異なります。JOINなども絡めてアプリケーションが実行するSQLに近いSQLで負荷をかけられ，しかも簡単に実行できる，というものがあれば便利そうです。 1.mysqlslapとは mysqlslapは，MySQLの負荷をエミュレーションできるクライアントアプリケーションです。MySQLに接続して複数のクエリを実行し，その実行時間を計測することができるツールです。インストールも簡単で，たいていはLinuxディストリビューションのパッケージマネージャ経由でMySQLをインストールすると，一緒に入ってきます。実行も簡単で，いくつかのオプシ
Nginx の HTTP/3 対応を完全に理解する - GMOインターネットグループ グループ研究開発本部
D. M. です。 Nginx の HTTP/3 対応はどんなことが必要なのかを完全に理解しようとしてローカルに構築した際ハマった問題点をご紹介します。 TL;DR ・nginx.confは以下3行が新たに必要 listen 443 http3 reuseport; ssl_protocols TLSv1.3; add_header Alt-Svc 'h3=":443"; ma=86400'; ・SSL証明書はホンモノ必須！（LetsEncryptでもOK） ・ALT-SVC ヘッダーがないとブラウザは判断できない！そこに h3 を書け！ ・WSL 2だと動かないぞ！VirtualBox 復活祭だ！ ・ブラウザキャッシュにハマると全くHTTP/3にならない！サーバの設定を変更したらブラウザキャッシュをクリアせよ！ モチベーション 背景として、2022年6月6日 IETF（Internet
GCPの次はAWS Lake FormationとGoverned tableを試してみた（Glue Studio＆Athenaも） - GMOインターネットグループ グループ研究開発本部
2022.01.11 GCPの次はAWS Lake FormationとGoverned tableを試してみた（Glue Studio＆Athenaも） こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前回のブログではGoogleのGCPのDataproc on GKE（β版）を使って、クラウドネイティブなHadoopクラスタを検証しました。コンピュートノードをストレージノードと分離して、処理したいときだけコンピュートノードを使うような形です。ある程度はやりたいことができましたが、Dataprocメタストアと連携できるようにしたり（β版だからかうまくいかず・・）、GKEクラスタの設計・管理をしないといけなかったりと、統合的にはできませんでした。 もっと簡単にできないものかと探してみると、なんと、AmazonのAWSにLake Forma
新人研修でマスターするDBのパフォーマンスチューニング - GMOインターネットグループ グループ研究開発本部
D. M. です。今回は新人研修で扱う DB のパフォーマンスチューニングについてのお話です。 この記事を書こうと思ったキッカケ 私はここ数年新人やインターンの学生のメンターをよく担当しているのですが、学生と会社員エンジニアの間にはデータベース（ RDB ）の知見に大きな溝があると感じています。 研修で「とりあえずサービスを作ってみよう！」という課題を出すと、最近の新卒の方は平均的なレベルが高く、いいアイディアでさらっと Web サイトを立ち上げることができます。 ただそのサイトが毎日 100 万人が使うことを想定して充分なチューニングができる人は新人段階ではほんのわずかです。毎回同じようなことを指摘するのですが、特に多いのが DB 関連です。多くの方が DB の経験がほとんどなくあまり扱えないのです。コンピュータサイエンス専攻出身の方はプログラミングスキルをはじめとした技術的な知見を持っ
React Native とFlutter におけるWeb アプリ開発 - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のT.M です。 はじめに React Native やFlutter はクロスプラットフォームのアプリケーションフレームワークとして有名です。クロスプラットフォームのフレームワークとしてどちらが良いかを判断するために、前回の記事では、React Native とFlutter のandroid アプリにおけるパフォーマンス比較を行いました。そもそも、クロスプラットフォームは、android とiOS だけでなく、Web やWindows / MacOS を指す言葉です。そこで、本稿ではWeb アプリケーションの開発について比較を行います。 React Native では、標準ではandroid / iOS アプリの開発しか行うことができません。同一ソースコードでのWeb アプリを開発するためには、React Native for Web を利用する必要があ
Kubernetes IDE Lens は何がすごいのか - GMOインターネットグループ グループ研究開発本部
D.M. です。Kubernetes 管理ツールのご紹介です。 TL;DR ・Lens は Kubernetes の管理コマンドラインツールである kubectl を GUI で使いやすくした管理ツール。 ・Lens の特徴はデスクトップアプリであること、 Lens Extension という独自拡張機能、 Workspace によるクラスターグルーピング機能の3点。既存ツールでほぼ同等の機能を持つ Rancher はサーバインストール型でブラウザで利用する点が異なる。 ・Lens を利用するにはデスクトップ環境から kubectl で kubeconfig をベースにマスターノードの kube-apiserver と通信ができる必要がある。 Lens とは Lens （レンズ）は Kubernetes クラスタの運用管理ツールです。 「 Kubernetes のための IDE 」（統合開
Next on Netlifyプラグインを使ってNext.jsのサーバ機能をNetlifyへデプロイする - GMOインターネットグループ グループ研究開発本部
2021.01.06 Next on Netlifyプラグインを使ってNext.jsのサーバ機能をNetlifyへデプロイする こんにちは。F.S.です。 近年、Webフロントエンド界隈ではJamstackによる静的サイトの生成（SSG）＆ホスティングが盛んになってきている印象を受けます。筆者はReactの経験はあれどどちらかというとサーバサイドエンジニアをメインにやっていてSSGはそれほど明るくないのですが、サーバレスの潮流もあってこの分野に注目し始めました。 Jamstackサイトのホスティングについては、Jamstackというワードを生み出したパイオニアであるNetlify、Next.jsの開発元であるVercelがありますが、CDN等で著名なCloudflareも同機能を準備しているのではないかという情報もあります。 今回はバージョン10が登場して勢いがあるNext.jsで作られた
HBase から Bigtable へ移行する方法 - GMOインターネットグループ グループ研究開発本部
次世代システム研究室の Y.I. です。 とあるプロジェクトにて CentOS6 系のクラウドサーバーで運用していた HBase を Google Cloud Platform (GCP) 上の Bigtable へ移行しました。その時に得た知見を紹介します。 前提 下記ツールが必要になります。事前にインストールしておきます。 Google SDK (gcloud / gcutilコマンド) https://cloud.google.com/sdk/install?hl=ja cbt コマンドインストール https://cloud.google.com/bigtable/docs/cbt-overview?hl=ja 移行する各種名称を – HBase テーブル名を my-table – Bigtableインスタンス名を my-bigtable – GCP プロジェクト名を my-pro
KubernetesのServiceの動きを調べてみた - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のM.Mです。 現在、Kubernetes, Docker構成で作られたWebアプリの開発を担当しているのですが、そのWebアプリの開発ではあまり環境構築周りを担当していなかったため、Kubernetesについてあまり理解できていませんでした。 そして今回、古くなった他のWebアプリをKubernetes, Docker構成に移行するプロジェクトを担当することになり、現在担当しているWebアプリのKubernetesの設定を確認しつつ理解を深めていくことにしました。 まず気になっていたKubernetesのServiceについて調べてみることにしました。 今回、利用しているのはNodePort Serviceです。 目次 KubernetesのServiceの何が気になっていたのか？ Serviceの動きについて Serviceの動きの制御について Kube
スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
