Chatwork のプロダクトフェーズと技術選定の流れ - Chatwork Creator's Note
こんにちは！ Chatwork 株式会社のプロダクトマネージャー (PM)、宮下 (@ryugoo_) です。 2013 年にモバイルアプリエンジニアとして入社し、 2014 年に Android 専任になり、 2019 年からは PM に転向してそろそろ 2 年になろうとしています。 さて、今回はエンジニアから PM になった私から見た、 Chatwork の技術選定の流れの変化について話してみようと思います。 技術選定の歴史 2013 年 - PMF を目指すために 2014 〜 2016 年 - 技術的課題を解決するために 2017 〜 2020 年 - ユーザー影響を最小化するために これから - 攻めた技術選定を、ユーザーのために 2013 年 - PMF を目指すために 2013 年当時の Chatwork は PMF (Product Market Fit) を目指すフェーズ
面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 | Amazon Web Services
Amazon Web Services ブログ 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWS では Amazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。 Amazon ECS はコンテナの運用管理を容易にするマネージドサービスです。他の AWS サービスとの組み合わせにより多様なワークロードをサポートするシステムを素早く構築可能です。一例として、 AWS Secrets Manager を利用した秘匿情報の連携が挙げられます。これにより、IDやパ
ラクスにおける「システムを腐敗させない組織だった技術刷新」を行う取り組み - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 株式会社ラクスで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 以前、社外の方にこの取り組みについて紹介した際に好意的な反応を得られたので、この場でも紹介してみようと思います。 取り組みの発端 これまでの軌跡 継続のための試行錯誤 割り込み作業対策 認知度向上 取り組みのサイクル 大まかな進め方 おわりに ――この取組のつらみ 成果が出るまで時間がかかる 知見がいくらあっても足りない 取り組みの発端 ことの発端――と言っても何か目立った事件が起きたわけではないのですが、今から4年前
この記事は株式会社ビットキー Advent Calendar 2023 5日目の記事です。 はじめに この記事では React を用いたフロントエンドアプリケーションのディレクトリ構成について検討した内容を紹介します。 現在フロントエンド開発を行っていて、ディレクトリ構成にお悩みの方の参考になれば幸いです。 ※ State 管理についての良し悪しやその他 React 向けのフレームワークライブラリについては本記事では触れません。 今回対象とするプロダクト ビットキーのHome事業では、不動産管理会社向けのB2B2Cプロダクトを展開しています。 その中でも不動産管理会社の方が利用する管理画面について、リリース後から様々な機能や画面が実装されシステムが巨大化してきたので、ディレクトリ構成を見直す機会が訪れました。 参考値として、現在のプロダクトは100画面を超えており、ソースファイルも1500
過去記事ページの UI 考察 ずっと過去記事をどうやって効率よく見せるか（自分自身が効率よく読むか）ばかり考えている。一つ前の記事では絞り込み UI について書いた。ブログというものが生まれたとき、誰も 10 年以上にわたっ... portalshit.net ブログのアクティビティダッシュボード Archive ページにこだわってしまう理由、グラフを表示させてみて（ブログ過去記事をカテゴリーごとに集計してグラフ化 - portal shit!）何となくわかった気がする。過去記事ページとい... portalshit.net このブログの維持管理で一番時間を割いているのが Archives ページだ。しかしアクセスログを見ると自分以外はほとんど利用していない。完全に自己満なのだが、過去の自分を振り返ることができてとても自分には有意義なページだ。 過去記事を振り返るときには検索をしたくなる。
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます プログラミング言語「Rust」の人気は高まり続けている。そんな中、開発者プラットフォームを手掛けるGitHubは米国時間2月6日、Rustで一から記述したコード検索エンジン「Blackbird」の開発動機などについて解説した。 GitHubは、ユーザーがさまざまなフォーラムを探し回って求めている答えを得るのではなく、現時点でベータ段階のBlackbirdを利用するようになってほしいと考えている。 開発者向けの知識共有サイトを運営するStack Overflowによると、Rustは多くの開発者が最も愛している（ただし最も普及しているというわけではない）プログラミング言語だという。 Rustは通常の場合、CやC＋＋で記述されている既存プロジ
[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 先日 (2020/06/10) 開催しました AWS Black Belt Online Seminar「サーバーレス イベント駆動アーキテクチャ」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200610 AWS Black Belt Online Seminar サーバーレスイベント駆動アーキテクチャ AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. オーダーサービスの例をとると、非同期になったことにより在庫が結果としてなかったなどの応答はどうやってクライアントに通知するべきでしょうか？ A. このような場合に備えて補償トランザクション
![[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/42a8e52abaec9c9a8afbb465faacf28c1b13ec5c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F06%2F16%2FThumbnail-1-1119x630.png)
はじめに こんにちは、SRE部MLOpsチームの児玉（@dama_yu）です。この記事では、ZOZOTOWNのおすすめ順を支える検索パーソナライズ基盤について紹介します。 ZOZOTOWNのおすすめ順について ZOZOTOWNにおいて検索機能は非常に重要な機能の1つで、売上のうち多くの割合が検索経由です。ZOZOTOWNでは、検索結果の並び順として、おすすめ順、人気順、新着順など複数あり、現在おすすめ順がデフォルトになっています。 元々は人気順がデフォルトだったのですが、ユーザの嗜好に合わない商品まで検索結果に並んでしまうという課題がありました。そこで、この課題へのアプローチとしてユーザの行動履歴や属性を元にパーソナライズされた順番で検索結果を並べた、おすすめ順を新規追加することになりました。 この施策の結果、検索結果経由の商品CTRが向上しました。ユーザが求めている商品が並ぶようになった
メドピアエンジニアの難波です。 医師専用コミュニティサイト「MedPeer」では、今年の8月にMedPeer Journalというサービスのクローズを行いました。今回の記事ではその時に行った作業の紹介をしたいと思います。 サービスの新規開発に関する記事というものは世の中にたくさんあれど、大規模なサービスにおける一部機能（サービス）の終了に関する経験や知見は中々オープンにされにくいものです。しかしサービスを滞りなく素早く終了させることは新しいサービスを作るリソースの確保という観点でも大事なことであり、今回の記事が将来の参考になればと思い1つの事例としてここに認めます。 MedPeer Journalについて MedPeer Journal（以下Journal）とはPubMed(Wikipedia)という医学を中心とする生命科学の文献情報を収集したオンラインデータベースへの検索エンジンを利用し
AWSサービスのServerlessオプションの特徴・比較・まとめ・プロビジョニングとの違い －Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service－ - NRIネットコムBlog
小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSサービスの一部でクラスターやインスタンスのプロビジョニングに対して用意されているServerlessオプションについて、主なAWSサービスごとに特徴、設定項目、料金、制限事項を見ていきたいと思います。 今回の記事の内容は次のような構成になっています。 Serverlessオプションが使える主なAWSサービス Amazon Aurora Serverless v1 Amazon Auroraの概要 Amazon Aurora Serverless v1の特徴 Amazon Aurora Serverless v1の設定項目 Amazon Aurora Serverless v1の料金 プロビジョニング型とServerlessオプショ
ある個人開発 OSS の歩み： 5 歳になった Janome のこれまでと，これから - Speaker Deck
Transcript ͋Δݸਓ։ൃ OSS ͷาΈɿ 5 ࡀʹͳͬͨ Janome ͷ͜Ε·Ͱͱɼ͜Ε͔Β PyConJP 2020 ଧాஐࢠ ࣗݾհ ଧాஐࢠ ڵຯɿݕࡧʢຊۀʣɼػցֶशɼࣗવݴޠॲཧ ❤ OSS : Janome ։ൃऀɼApache Lucene committer ॴଐɿʢגʣLegalForce ݚڀ։ൃΤϯδχΞ @moco_beta Agenda Janome ͷհ ॳظϦϦʔε͔Β͜Ε·Ͱ 0.4.0 ϦϦʔεͷ͓Βͤ ͜Ε͔Β͍͖͍ͬͯͨ͜ͱ https://mocobeta.github.io/janome/ 扉絵の この子は絵師さんに描いてもらいました (*´Ŗ`*) Hello, Janome $ pip install janome $ python >>> from janome.tokenizer import Tokenizer >
この記事は さくらインターネット Advent Calendar 2020 4日目の記事です。 本記事をご覧のみなさまお久しぶりです。さくらインターネットの大久保です。 ふと気づいたら、去年のアドベントカレンダーでゆるふわな趣味の記事 を書いてから、あっという間に1年が過ぎてました。 自分自身振り返ると、新型コロナの影響で働き方が大きく変わったのに加え、仕事上の役割も変化し、激動の1年間だったように思います。 下っぱエンジニアが突然マネジメントもやることになった話 さくらインターネットでは2020年7月に大きな組織変更がありました。自分は、2009年7月からちょうど11年間所属していた「研究所」を離れ、新たに発足した「クラウド事業本部」の副本部長を務めることとなりました。 当方の本部は、サービス企画・開発から、データセンター運用、お客さまサポート、マーケティングなどを含めた7つの部門、45
Elasticsearch の reindex をするために試行錯誤して分かったこと - Uzabase for Engineers
こんにちは。NewsPicksでエンジニアやっております崔（チェ）です。現在は Data / Algorithm チームで検索エンジン開発を担当しております。弊社は、検索エンジンとして Elasticsearch を Amazon EC2 に乗せて構築しておりますが、メンテナンスに消極的だった部分があり、これからはマネージド化や検索精度向上など積極的に取り組んでいきたいと考えております（伸びしろしかない！）。今回は、その中でも色んなタスクのボトルネックだったアルゴリズムを変更した話をしたいと思います。ただ、アルゴリズムの詳細よりもそれの変更のために行ったインフラ的な内容にフォーカスしております。ご興味ある方は是非読んでいただけると嬉しいです。 はじめに ちょっとまって、reindex とは？ 本題に戻り reindex の実験 実験環境づくり そもそも Elasticsearch のシステ
GPT-4Vのモデルを利用してOCRできるか試してみた - Taste of Tech Topics
こんにちは、安部です。 気温の上下に翻弄されて最近風邪をひいてしまいましたが、皆さま元気にお過ごしでしょうか。 今回は、GPT-4Vのモデルを利用して、OCRができるか試していきます。 GPT-4Vによって、「ChatGPTに目ができた」などと騒がれましたが、文字認識はどれくらいできるのでしょうか？ 得意分野ではなさそうですが、GPTも進化が目覚ましいので分かりませんね。 検証では、日本語(漢字/ひらがな/カタカナ)・英語の2言語で精度など比較していきます。 また、手書き・活字での違いも見ていきましょう。 一番簡単に試せるChatGPT（Web版）でOCRをさせようとするとエラーになることが多かったので、 ここではAPIを使っていくこととします。 APIを呼び出すプログラム 以下のコードを使い、gpt-4-vision-previewというモデルを呼び出しています。 画像は個人のgithu
この IAM ユーザーが過去30日間にアクセスした AWS サービスを一覧化してください と言われたら | DevelopersIO
コンバンハ、千葉（幸）です。 タイトルの通りですが、特定の IAM ユーザーが過去一定期間でアクセスした AWS サービスを一覧で見たい、と言われたら皆さんはどのようなアプローチをとりますか？ IAM ユーザーに限らず、グループ、ロール、ポリシーに置き換えてもよいです。 実は、以下の AWS CLI コマンドを使えば簡単にそのような要件に対応できます。 generate-service-last-accessed-details — AWS CLI 2.0.42 Command Reference get-service-last-accessed-details — AWS CLI 2.0.42 Command Reference これらのコマンドはまったく目新しい機能ではないですが、たまたま流れてきたツイートで存在を知りました。試したところ面白そうだったのでご紹介します。 1/ Hey
ChatGPTでHARファイルを解析してWebアクセスの問題点を検出する - Taste of Tech Topics
9月になりましたが、まだまだ暑い日が続きますね、昼間に出歩く際にはネックリングが手放せない菅野です。 Webアプリケーションで問題があった際には、よくブラウザの開発者ツール等を確認してエラーや、遅延の原因を探ったりしますよね。 今回は上記のようなエラー解析、問題解析をChatGPTで簡単に実施できないか検証していきます。 とはいえ、ブラウザの開発者ツールをそのままChatGPTに渡すことはできないため、開発者ツールから生成したHARファイルをChatGPTのAdvanced Data Analysisで解析してもらいます。 「Advanced Data Analysis」というのは、少し前まで「Code Interpreter」と呼ばれていたChatGPTの機能のことです。 名称変更されただけで挙動は変わっていないようです。 個人的には「Code Interpreter」の方が好きだったの
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 エムスリーの検索基盤ではElasticsearchを利用しています。社内で積極的に検索改善が行われており複数のIndexが管理がしづらいという問題がありました。 そこで定義ファイルからIndexの状態を冪等性を持って同期させるeskeeperというOSSを作りました。 この経験から「定義ファイルで〇〇を宣言的に管理する系のツール」を作る時のちょっとしたコツを紹介します。タイトルの通り今回はIaCツールを作るのではなくIaCのプラクティスを意識してCLIを作るお話になるのでご了承ください。 なぜeskeeperを作るに至ったか チームでのElasticsearchの運用と課題 eskeeperとは IaCを意識したCLI開発のエッセンス コマンド
こんにちは Nota株式会社で自称フロントエンドエンジニアと言っている id:Pasta-K です。今年は自称が効いてきたのかずっとReactと向き合って暮らしていました。 この記事はNota Advent Calendar 2021の16日目の記事です。昨日はochiaiさんの“ほぼ”毎月申込100名超の自社オンラインイベントを開催してわかった集客の秘訣でした。 全てがオンラインになったと言っても、平均して100人くらいのイベントを自社ホスティングするのはなかなかハードそうだなと毎回傍から見て思っていたのですが、予告編とかまで作っているのは知らなかったので、そういうおもてなしが集客に繋がっていそうでめでたいですね。 100人の方を集客して開催するイベントの話の翌日は社内のエンジニアが10人くらい集まってやってるイベントのご紹介をしようかと思います。 「エンジニアお茶会」 「エンジニアお茶
ISUCON10にインフラ提供として参加しました 提供編 | CyberAgent Developers Blog
こんにちは。技術本部 プライベートクラウドグループの中西 (@whywaita) です。 2020年9月と10月に行われたISUCON10へ、サイバーエージェント プライベートクラウドグループとしてインフラ提供を行いました。 本記事ではプライベートクラウドのチームが2020年のISUCONにインフラを提供した裏側についてご紹介します。 後編は提供編として、ISUCONのために作られたクラウド基盤であるloviのご紹介と、実際に提供した際に起きた出来事について触れます。 前編である準備編はこちら (isucon.net)にて公開済みですので、そちらも併せてお楽しみください。 自作クラウド基盤 lovi インフラサイドのチャレンジとして、ISUCON10向けにフルスクラッチなクラウド基盤である “lovi” を開発しました。また、この記事の公開と併せてloviシリーズを全てOSSとして公開しま
オフェンシブ視点による Cloud Security 入門 ~AWS 編~ - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、AWS 環境における攻撃者のオフェンシブな視点で Cloud Security の入門として紹介します。 1. 始めに 免責事項 想定読者 2. クラウドにおける脅威 クラウドの重大セキュリティ脅威 11の悪質な脅威 クラウドサービス利用に関連するリスク Top 10 AWS セキュリティ構成ミス Top 10 3. AWS 環境における攻撃者の観点 3.1 AWS 環境の外部からの観点 3.2 AWS 環境の内部からの観点 4. MITRE ATT&CK Framework for Cloud (IaaS) 4.1 初期アクセス (Initial Access) 4.2 実行 (Execution) 4.3 永続化 (Persistence) 4.4 権限昇格 (Privilege Escalation) 4.5 防御回避
今 Q もお疲れさまでした！10X の @metalunk です． 3ヶ月前に 10X の検索を 10x したい というブログを書きました．その記事にあるとおり，1-3月で検索インフラの改善を実施し，検索速度 10x, インフラコスト 80% 削減という成果をあげました．そして，直近の3ヶ月では検索精度の改善に取り組みました．この記事では今 Q にリリースした機能と，それぞれの効果を説明します． 長い記事になったので飛ばし飛ばし読んでください． どんな Q だったか KPI の変化 Zero match rate Conversion rate リリースした機能 検索キーワードサジェスト システム概要 評価 カテゴリフィルタ 並び順の改善 評価 bigram 解説 評価 シノニム辞書を Search time に展開 解説 イベントログからシノニムルールの生成 解説 改善の背景 KPI D
【オススメ技術書55冊】Kindleセールで12/9まで半額の本をエンジニアの学ぶ目的別にまとめ - 仮想サーファーの日常
技術書って1冊で3000円くらいかかって結構な出費になってしまうので、買うのをためらうことありますよね...。 そんな方に朗報です！！Amazonで2019年12月9日までなら普段の50%OFFで買える技術書をまとめました！ 仮に10冊買ったとして、普段なら3万円くらいするのに、1.5万円で買えてしまうことに！ 控えめにいって最高ですね。 ぼくもこの期間に読みたい技術書（Kindle）を一気に買っておいて、週末の空いた時間などに読もうと思っています。 【Kindle技術書50%OFFセール（12/9まで）】を見てみる ↑この記事で紹介しているKindle Saleは、2019年12月9日で終了しました。 この記事では、Amazonで50%OFFになっている技術書の中でも、目的別にオススメの技術書を紹介していきます。 プログラミング初心者の方にオススメ IT業界で頻繁に使う用語をざっくり学び
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020 Amazon Web Services（AWS）は、オンラインで開催中のイベント「AWS re:Invent 2020」で、監視ツールの「Prometheus」をマネージドサービスとして提供する「Amazon Managed Service for Prometheus」と、監視などで収集したデータをダッシュボードなどにより可視化する「Grafana」をマネージドサービスとして提供する「Amazon Managed Service for Grafana」の提供を発表しました。 クラウドネイティブなアプリケーションにおいては、アプリケーションの状態をつねに把握し迅速に対応する必要性が高まることから、アプリケーションの「可観測性」へ
カナリアリリースを自動化！Flaggerでプログレッシブデリバリーを実現した話 - ZOZO TECH BLOG
はじめに こんにちは。SRE部ECプラットフォーム基盤SREブロックの大澤と立花です。 本記事ではマイクロサービスのカナリアリリースに関して私達が抱えていた課題と、それをFlaggerによるプログレッシブデリバリー導入でどのように改善したのかを紹介します。 ZOZOTOWNのマイクロサービス基盤におけるカナリアリリース手段の変遷については以下のテックブログで紹介しておりますので気になった方はご参照ください。現在はIstio VirtualServiceの加重ルーティングを用いたカナリアリリースに一本化しております。 techblog.zozo.com techblog.zozo.com 目次 はじめに 目次 カナリアリリースの運用課題 解決手段としてのプログレッシブデリバリー Flaggerとは？ Flaggerによるプログレッシブデリバリーの進み方 Flagger導入時の検討ポイント (
クリニック検索では、Ngramと形態素解析を併用することにより検索結果のヒット数を担保しつつ検索ノイズの増加による悪影響をスコアソートにより軽微なものに抑えています。 施術メニューピックアップのための全文検索では、検索ノイズが少ない形態素解析のみを利用しています。 美容クリニックでの検索における問題 形態素解析では、辞書に含まれている単語の集合に基づいて形態素が認識されます。 Sudachiの辞書において美容医療の専門用語が網羅されておらず、問題が発生します。 形態素解析で専門用語がカバーされていない問題 上記の表の通り、形態素解析では検索漏れが多いです。 例えば、「ダーマペン」は美容医療では人気な単語ですが、Sudachiに搭載されているデフォルトの辞書ではカバーされていないので、形態素として抽出されません。 形態素解析で期待通り認識・分割されない問題 「二重」が「フタエ」でなく「ニジュ
Kubernetesでローカルストレージを有効活用しよう - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Necoプロジェクトの池添(@zoetro)です。 今回は、Kubernetes向けにTopoLVMというCSI (Container Storage Interface) プラグインを開発したので紹介したいと思います。 TopoLVMは以下のような特徴を持っており、Kubernetesでローカルストレージを有効に利用することができます。 LVM (Logical Volume Manager) によるボリューム管理 トポロジーを考慮したダイナミックプロビジョニング ノードの空き容量に応じたスケジューリング github.com 本記事では、CSIプラグインを自作するに至った経緯とTopoLVMの特徴の紹介、Elasticsearchのストレージとして利用する例を紹介します。 ストレージへの取り組み Kubernetesでストレージを扱うことは難しいとよく言われています。しかし
ハードシングスを引き起こしたHype Driven Development(HDD) | HiCustomer Lab - HiCustomer Developer's Blog
Hype Driven Development(HDD) シード・アーリーステージのスタートアップの開発者のみなさん、こんにちは。突然ですが、ソフトウェア開発していますか？毎日設計しコードを書いていますか？私は毎日しています。毎日ビジネスドメインと向き合っております。今日はそんなみなさんに、弊社のソフトウェア開発の失敗談（ ハードシングスへの突入と脱出 の「根の深い技術的負債」を掘り下げる内容になっています）を共有します。この失敗からなにか参考になるものがあれば幸いです。 実際に起ったこと 2018年初頭にサーバレスとDDDの導入 弊社のHiCustomerサービスのアーキテクチャはサーバーレスとDDDを軸に設計されました。サーバーレス環境としては、AWS APIGateway、AWS Lambda、AWS DynamoDBを使ったAWS推奨の構成を採用しました。DDDはGolangを使用
RAG Fusionが思ってたより凄そう
こちらの記事はForget RAG, the Future is RAG-Fusionを噛み砕いて解釈したものをまとめたものになります。詳細（一次情報）が欲しい方は元の記事を読むことをお勧めします。 概要 RAG Fusionは単なる「新たな手法」ではなく「革新的な手法」です。 RAG Fusionは、従来の検索技術の制約を克服し、ユーザーのクエリに対してより豊かで文脈に即した結果を生成するために、RAG、Reciprocal Rank Fusion、生成されたクエリを組み合わせた新しいシステムになっています。 このシステムは、検索結果のリランキングと複数のユーザークエリ生成により、検索の正確性とユーザーの意図との一致を向上させることを目指した手法となっています。 RAGの課題 RAGにはHallucinationの軽減など、多くの利点がある一方で課題もあります。 RAG Fusion開発
ISUCON 予選突破のために Elastic Stack と GCP で分析環境を整えた （:old_noto_innocent: Team） - Unyablog.
ISUCON 12 予選にいつもの id:utgwkk, id:wass80 と :old_noto_innocent: チームで参戦した*1。 結果は 50696 点で本選出場！ ここ数回と同様、自分はインフラと分析・観測を担当していた。ただ、毎年似たようなことをやっていてあまり貢献できていないなあという課題感があったので、今回はログやメトリクスの分析環境をしっかり作ることにした。目標は毎回ベンチ終了のたびにコマンドを叩くのをやめること！ App 周りについてはチームメイトの記事を参照。 blog.utgw.net memo.wass80.xyz Elastic Stack でアクセスログ・スローログ可視化 ダッシュボード 最高便利 Google Cloud でトレーシング & プロファイリング Trace Profiler やってよかった 構築編 Elasticsaerch + Kib
ChatGPT (Advanced Data Analysis)でBNF式からパーサーを生成する - Taste of Tech Topics
こんにちは、最近ピアノを習い始めた安部です。 今回は、ChatGPTのAdvanced Data Analysis (旧Code Interpreter)にBNF式を与えてパーサーを作成してもらおうと思います。 BNF式のように機械的に解釈可能なものであれば、正確にコードを生成してくれるのではないでしょうか？ BNFでうまくいけば、その他の様々な形式のデータやフォーマットからパーサーを自動生成してくれることが期待できそうです。 1. BNFとは BNF（バッカス・ナウア記法）とは、プログラムの構文規則（文脈自由文法）を記述するための記法です。 正確な定義よりも具体例を見た方が早く理解できると思うので、例を示します。 『プログラム意味論』（横内寛文 著）の冒頭に登場する、非常に単純なプログラムを許容する言語の定義です。 <変数> ::= A | B | C | ... | Z <定数> ::
読んで理解する全文検索 (IndexWriter, DWPT, IndexingChain 導入編) - 好奇心に殺される。
Lucene / Java 読んで理解する全文検索 (IndexWriter, DWPT, IndexingChain 導入編) Lucene IndexWriter の内部を冒険します。 Overview こんにちは pon です。 全文検索エンジンは男の夢です。故に全文検索ライブラリであるLuceneの内部を理解するためにIndexWriterの実装をコードで追います。IndexWriterを追うことで内部のインデックスのデータ構造などを学べるはずです。まずは第一弾として 「DWPT, IndexingChain 導入編」 を書きました。 Luceneに触れるのが初めての人は私の過去ブログがおすすめです。 Elasticsearchを理解するためにLuceneを使った検索エンジン構築に入門してみた IndexWriter IndexWriterは前回のブログで説明したように下記のアーキ
Transcript Lucene Kuromoji のコードを読む会 （辞書ビルダー編） 2019/10/3 @moco_beta 自己紹介 打田智子 twitter : @moco_beta 所属 : 株式会社 LegalForce R&D チーム / ソフトウェアエンジニア 検索システムに興味があります 趣味でOSS開発をしています Janome https://github.com/mocobeta/janome Apache Lucene committer () 趣旨など 主催者 (@moco_beta) が Lucene / Kuromoji のソースコード（辞書周り）を読むうえで，調 べたことをまとめておきたい 素のままで触る機会は少ないかもしれないけれ ど， Lucene のコードを読んでみるのも楽しい よ！というのを伝えたい 仕事ではブラック
cybozu.com の新データセンター「Neco」が稼働開始 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Neco プロジェクトの責任者 ymmt です。 Neco は、2018 年 1 月に開始した cybozu.com のデータセンターを一から刷新するプロジェクトです。 今回は Neco の成果が結実した新データセンターが稼働開始したことをお知らせします。 あわせて、現時点までの活動内容・システムの概要・今後の予定もお伝えいたします。 Neco プロジェクトについて 成果の紹介 2019年9月時点のシステム 移行プロジェクト Maneki を開始 採用イベントのご案内 Neco プロジェクトについて サイボウズの主力クラウドサービスである cybozu.com は自社で構築したデータセンターにて2011年に提供開始しました。 以来順調に業容を拡大し、現在は 30,000 社以上のお客様にご契約いただいております。 一方で、当初 100 台に満たない台数のサーバー向けに設計された
【コンテナセキュリティてんこ盛り】クリエーションライン主催のAquaセミナーに参加してきた | DevelopersIO
コンテナセキュリティに特化した稀有なセミナーに参加してきました。Aquaの最新情報に加え、いろんなこの界隈の四方山話も聞けてすっごい楽しかった一日の様子をお届けします。 先日、日比谷公園にほど近い会場でクリエーションライン株式会社様主催のAqua Securityコンテナセミナーに参加してきました。 2019年11月20日 Aqua Securityコンテナセミナー を開催します - クリエーションライン株式会社 基本は、弊社でも扱っているAqua Container Securityについての話が主だったのですが、製品仕様以外にもカカクコム様でのKubernetes運用のGitOpsの話であったり、決済サービスPaidyにおけるコンテナ運用の話であったり、最近話題のOSSな脆弱性スキャンツールのTrivyの作者、福田さんがイスラエルからオンラインセミナーやったり、コンテナ界隈の幅広い話題
ども、@kimihom です。 いよいよ弊社で "必要な方を採用して共に働こう" ということで、エンジニア募集をかけている。公式ページは以下となっている。 www.selfree.co.jp 以下の記事は、私の個人的な意見である。 会社や技術的なところを紹介し、どんな方に来て欲しいのかを記す。近い将来、来てくれる "あなた" のために。 会社の特徴 まずは技術以外の部分で、弊社を簡単に紹介する。 とりわけ特徴として大きいのが、資金、人数、働き方だ。 資金 まず、弊社は一切外部から資金を受け取っていない完全自己資本の SaaS 企業である。 そのため、最終的に上場したり、外部から買収されるなど "課された"目標 が存在しない。投資家ではなく、常に顧客と向き合うことができる。自分たちが掲げた目標に対し、働き続けられる自由と責任がある。 詳細は公式ページ先の資料に書いてあるが、そんな自己資本 S
Elasticsearchで日本語を同義語展開する
全文検索における同義語展開の必要性 全文検索では、基本的に文字列のマッチにより検索を行います。しかし我々が言葉を扱うときには、同じものを違う表現で指し示すことが多々あります。 例えば「独占禁止法」と呼ばれる法律があります。これは経済憲法とも言われる大変重要な法律なのですが、日本では「昭和二十二年法律第五十四号（私的独占の禁止及び公正取引の確保に関する法律）」という法律がそれに該当し、独占禁止法という名前にはなっていません。これを皆、「独占禁止法」や「独禁法」といった代替可能な別表現（同義語）で呼んでいるわけです。 同法律には法令用語で言うところの「題名」は付されておらず、頭書の名称は制定時の公布文から引用したいわゆる「件名」である。独占禁止法ないし独禁法と略称されることも多い。 もし「独禁法」で検索して当該法律がヒットしなければ、ユーザーとしては不満足でしょう。検索システムのクオリティを向
はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現
Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる - Taste of Tech Topics
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日々、LLMが進化していて、画像が本職（のはず）の私ですら、ここ数年LLMの勉強をはじめています。 学習してモデル公開しましたといった記事はよく見ますが、今回は今、非常に注目されている日本に拠点があるAIスタートアップである「Sakana.ai」が公開した「Evolutionary Model Merge」を使う話をします。 Evolutionary Model Merge 「Evolutionary Model Merge」は「Sakana.ai」から発表された進化的モデルマージと呼ばれる技術です。 端的に言ってしまえば、複数のモデルを利用して新し
SIEM on Amazon OpenSearch Serviceによるセキュリティログの可視化について - SEGA TECH Blog
はじめに 株式会社セガ ｹﾞｰﾑｺﾝﾃﾝﾂ&ｻｰﾋﾞｽ事業本部技術本部開発IT支援部の長谷川と申します。今回はセキュリティログの活用法の一例としてSIEMを用いた可視化方法を紹介します。 目次 はじめに 目次 背景 Opensearch(Elasticsearch)とは SIEMとは Cognitoとは ユーザプールとは IDプールとは アーキテクチャ 設定方法 Cognitoによるログイン セキュリティログの可視化 補足 まとめ 参考 背景 昨今セキュリティ対策不足によるデータの抽出やサービス操作される被害が発生しており、ログからユーザの行動を抽出し、可視化するまでを一括管理できるものが求められていました。さまざまなサービスの中でSIEM on Amazon OpenSearch Serviceにてログ情報からユーザの行動を可視化・検索により原因を改善するができるため、利用し始めました。
【米国株】雇用統計目前にして調整中…GAFAM中心にハイテク株は売られる！GMが明るい見通しで大幅上昇！ - ウミノマトリクス
米国株市場の状況の振り返りと私見をまとめていきたいと思います。 昨晩の市場は前日同様雇用統計前で様子見展開ですがハイテク中心に売られています。 【米国株】雇用統計目前にして調整中…GAFAM中心にハイテク株は売られる！GMが明るい見通しで大幅上昇！ *1 毎日レバナスとレバFANGに積立しグロース株中心に投資をしているサラリーマン投資家のうみひろ（@uminoxhiro)です。 ブログを読みに来てくださってありがとうございます。 昨晩の米国株市場の振り返りを今日も行っていきます。 今日も成績に左右されないで元気にいくわよ そうだね！では、まずは結論からまとめていきます。 【今日の結論】チェックポイント チェックポイント 前日と同様に様子見といった展開ですがハイテク株中心に売られており、3指数とも下落しています。 私のポートフォリオは下がってしまい6月もはやり向かい風のてんかいになりそうです
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
4年分の負債を解消するために React ディレクトリ構成について真剣に考えてみた - Qiita
Rust 製の全文検索システム Tantivy を Ruby で使える Tantiny を導入した
GitHub、膨大なコードに対応する検索エンジン「Blackbird」を解説
ZOZOTOWNのおすすめ順を支える検索パーソナライズ基盤 - ZOZO TECH BLOG
滞りなくサービスをクローズするために必要なこと - メドピア開発者ブログ
さくらインターネットの技術スタックをまとめてみた(2020年版) - Qiita
IaCを意識したCLI開発のエッセンス - エムスリーテックブログ
「エンジニアお茶会」という取り組みについて - Helpfeel Developers' Blog
10X の検索を 10x したい パートII - 10X Product Blog
「ホットペッパービューティー」美容クリニックでのElasticsearchのユーザー辞書登録による検索改善
Lucene #Kuromoji のコードを読む会 （辞書ビルダー編） - Speaker Deck
エンジニア募集にかける思い (selfree) - ボクココ
MLOps 海外テック企業の事例とフレームワークの紹介 - Gunosyデータ分析ブログ