大規模Kubernetesクラスタにおけるコンテナレジストリの高速化 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。サマーインターンシップ2023のKubernetes基盤開発コースに参加した、高橋 (TAK848) と花田 (hanapedia) です。 Necoチーム では現在コンテナレジストリの可用性を高めるため、コンテナレジストリミラーをクラスタ内にデプロイしています。 しかし、クラスタが数百台程度まで大きくなり、レジストリミラーからコンテナイメージを同時に大量にPullするようになりました。 そのため、イメージの取得に数十分もの時間がかかってしまう問題が起きました。 この問題に対処するため、Spegel というステートレスなレジストリミラーの動作検証を行い、PodのイメージのPullのタイミングを制御するカスタムコントローラー cat-gate を開発・検証しました。 その成果を紹介します。 課題 KubernetesではPodを起動する際、コンテナイメージを取得する必要があります
2023年3月29日に、Linuxで広く採用されている圧縮ツール「XZ Utils」にバックドアが仕込まれていることが発覚しました。このバックドアを仕込んだ「Jia Tan」と名乗る人物の正体について、プログラマーのエバン・ボエス氏がGitHubコミットなどを追いかけて分析した結果を公開しています。 Everything I know about the XZ backdoor https://boehs.org/node/everything-i-know-about-the-xz-backdoor XZ Utilsはオープンソースで開発されており、複数人から寄せられたコードをメンテナがマージする開発形態を取っていました。XZ Utilsのメンテナは長年ラッセ・コリン氏が務めていたのですが、2022年にJia Tanがコリン氏に代わってメンテナに就任。そして2024年2月23日にJia
CSS嫌いがあえてフレームワークまでつくった理由。 NES.css開発者流、「嫌い」を「好き」に変える勉強術【フォーカス】 レバテックラボ（レバテックLAB）
TOPフォーカスCSS嫌いがあえてフレームワークまでつくった理由。 NES.css開発者流、「嫌い」を「好き」に変える勉強術【フォーカス】 CSS嫌いがあえてフレームワークまでつくった理由。 NES.css開発者流、「嫌い」を「好き」に変える勉強術【フォーカス】 2024年4月24日 「NES.css」開発者 ダーシノ SIerでの業務アプリ開発や職業訓練校でのプログラミング講師を経て2015年にさくらインターネット株式会社にフロントエンドエンジニアとしてジョイン。2018年にファミコン風CSSフレームワーク「NES.css」を開発、公開する。人生の目標に「笑って死ぬ」を掲げている。柔道初段。 X ブログ GitHub ファミコン風のデザインのWebページをすぐにつくれる、オープンソースのCSSフレームワーク「NES.css」。フロントエンドエンジニアのダーシノさんが2018年にGitHu
HashiCorpのインフラ構成ツールであるTerraformをフォークしたオープンソースのプロジェクト「OpenTofu」が初めて正式版としてリリースされました。 The OpenTofu community is excited to announce the general availability of OpenTofu, the open source fork of Terraform, now a production-ready project under the Linux Foundation. Read the full announcement: https://t.co/KhJXz1Ge14#opensource #opentofu pic.twitter.com/miN1gj2ByE — The Linux Foundation (@linuxfoundatio
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
こんにちは。SIOS OSSエバンジェリスト/セキュリティ担当の面です。 こちらの記事は、以前(2016年11月)に書いた記事の更新版となります。 ここでは、Linux上で動作するAntiVirusを簡単にまとめ、各AntiVirusの性能面を実際にテストしたホワイトペーパーを紹介します。 Linux上のAntiVirusの必要性筆者もかつてAntiVirusベンダーにエンジニアとして居たことから、よく「LinuxにAntiVirusは必要なのか？」と聞かれることが有ります。 Linux上でのAntiVirusの必要性について、筆者の考える所は以下になります。 ユーザへのシェアの問題で対象外なだけだがLinuxでもMalwareは増加している MacOSなどの議論でもよく言われていますが、LinuxはやはりWindowsに比べてデスクトップPCとしての普及率は圧倒的に少ないです。 OSのシ
カイロスロケットは、和歌山県にある専用の射場「スペースポート紀伊」から13日の午前11時1分に打ち上げられた。しかしリフトオフの約5秒後に空中で爆発。射場の敷地内に破片が降り注ぎ、一部で火災も発生した。 その後、行われた記者会見では、発射後に何らかの異常が発生し、ロケットの「飛行中断システム」が爆破したという見方を明らかにした。「リフトオフすると飛行経路や各部の正常／異常をコンピュータが判断する。逸脱する場合には落下しても安全な場所で中断する」仕組みだという。 結果としてミッションは完遂できなかった。しかし豊田社長は「スペースワンとしては“失敗”という言葉は使いません。全ては今後の挑戦の糧。会社の文化です」と話す。そして「2020年代半ばまでに年間20機の打ち上げ」という目標を変えるつもりは「全くない」としている。 スペースワンは研究機関ではなく、株主や顧客がいる営利企業だ。現在は投資フェ
2024 年 4 月 4 日に発表された「Command R+」が GPT-4 とほぼ同じ回答精度で、レスポンスがめちゃくちゃ速く、かつ API の利用が商用利用じゃなければ無料だったので、絶対に LibreChat に組み込みたいと思った。 LibreChat はいわゆる ChatGPT クローンと呼ばれる OSS で、UI は ChatGPT とほぼ同じで、回答に利用する API を GPT4 や Gemini、Claude3 など、自分の好きなものを指定できる。ローカル上で動くのはもちろん、デプロイするのも簡単で、数ある GPT クローンの中では一番使い勝手が良いと思う。UI を忠実に ChatGPT に寄せているのが良い。 LibreChat の UI。ChatGPT とほぼ同じ 今回はこの LibreChat で、Cohere が発表した「Command R+」を動かせるようにす
Qiita Conferenceは、ソフトウェア開発者が集まり、最新の技術や最先端の挑戦・ソフトウェアの未来についての考えや知見を共有し、つながる場を創出する、「Qiita」が開催するオンライン技術カンファレンスです。ここで和田卓人氏が「サバンナ便り - 自動テストに関する連載で得られた知見のまとめ（2023年5月版） 」をテーマに登壇。最後に、テストダブルとテストピラミッド、サイズダウン戦略について話します。 テスト用に使う偽物「テストダブル」 和田卓人氏：じゃあ次。テストダブルの話にいきます。「忠実性と決定性のトレードオフを理解しよう」という点です。これはもうちょっとあとにまた出てきます。 テストダブルというもので、モックオブジェクトとかスタブとかを使って、本物ではない偽物をテスト用に使ってテストをすることはよくありますよね。 データベースの偽物とか外部システムの偽物とか、Amazon
1. 始めに こんにちは、morioka12 です。 本稿では、バグハントの入門として、主に Web アプリケーションの OSS に焦点をおき、脆弱性の発見・報告・CVE ID の取得について紹介します。 1. 始めに 免責事項 想定読者 筆者のバックグラウンド 2. CVE とは 3. 探す対象の選び方 OSS Topic (Type) 特定の条件で絞る バグバウンティの OSS 4. 脆弱性の検証方法 アプローチ方法 5. 脆弱性の報告先 6. 報告書の書き方 CVSS CWE 7. 脆弱性発見から CVE ID の取得までの流れ 注意点 8. バグハント前のスキル準備 過去の CVE ID やレポート Web Security の場合 9. その他 その後のチャレンジ バグバウンティ入門 セキュリティエンジニアを目指す就活生の方へ OSS の開発者の方へ 10. 終わりに 免責事項
無料で大量のデータを見やすいグラフで可視化できるオープンソースのセルフホスト可能なアプリ「Metabase」でGIGAZINE読者アンケートの結果を分析してみた
「Metabase」はオープンソースでセルフホストも可能なデータ視覚化ツールです。前回の記事でその使い方を確かめられたので、早速GIGAZINE夏のプレゼント大放出企画で集めたアンケートデータを分析してみました。 Metabaseのセットアップや機能については下記の記事で詳しく解説しています。 無料で大量のデータを自動で見やすいグラフなどで可視化し定期的に更新反映されるダッシュボードをオープンソースでセルフホスト可能なアプリ「Metabase」を使ってみた - GIGAZINE GIGAZINEのアンケート結果を読み込むためにPostgreSQLのセットアップを行います。前回に引き続きDockerを利用するので、下記のコマンドでPostgreSQLを起動します。「パスワード」や「ディレクトリへのパス」は適宜書き換えて下さい。 docker run --name metabase-postg
Lightning TechTalks #2 〜フロントエンドで導入してよかったOSS〜 で発表させていただいたスライドです フラットコンフィグへの移行は最近新卒の方に一部やっていただきました 新卒エンジニアがESLintのFlat Config移行と格闘した話 - ドワンゴ教育サービス開発者ブログ ドワンゴ教育事業採用サイト
「TypeScriptの人」として世の中から認知されるまで。技術記事によって情報発信を続ける意義 - Findy Engineer Lab
みなさんこんにちは。uhyo (@uhyo_) です。現在、 株式会社バベルにプリンシパルエンジニアとして所属しており、主力プロダクトであるaileadの設計・開発業務を行なっています。 この記事を読んでいる方の多くは、私のことを「TypeScriptの人」としてご存知かもしれません。私は2018年ごろからTypeScriptを中心とした記事執筆活動を開始しており、多くはQiitaやZennに投稿されています。また、Qiitaの記事が編集者の目に留まったことをきっかけとして、雑誌にJavaScriptやTypeScriptの特集を執筆し、さらにはTypeScriptの入門書を出版することになりました。 また、フロントエンドエンジニアとしてキャリアを始めた関係から、私はReactの記事も多く執筆しています。ありがたいことに、その方面でも情報発信者として一定の評価を得ているようです。 総じて、
Ruby コミュニティから「レオ (Leo)」の愛称で親しまれる Leonard Chin が 2023 年 10 月にアンドパッドに hsbt のリファラルで入社しました。今回はそのリファラルの模様と、レオのようなシニアエンジニアがどのように企業研究を行い、転職先企業を決定したのか、 10 数年来の友人である hsbt がその過程をインタビューしました！ Leonard Chin @lchin オーストラリア出身、日本在住歴 20 年の Rubyist。旧時代の RubyKaigi でテキストでの擬似同時通訳を担当。 Asakusa.rb 休眠会員。クックパッド株式会社に 10 年在籍し、 2023 年にアンドパッドに転職ならぬ “転パッド” を決める。hsbt 柴田 博志 hsbt フルタイム Ruby コミッタとしてアンドパッドに入社。 Ruby, RubyGems, Bundler
Latest topics > JS開発のつらみ 宣伝。日経LinuxにてLinuxの基礎？を紹介する漫画「シス管系女子」を連載させていただいています。 以下の特設サイトにて、単行本まんがでわかるLinux シス管系女子の試し読みが可能！ « 「まんがでわかるLinux シス管系女子」から「ITエンジニア1年生のための まんがでわかるLinux」への改題の意図 Main 理解の不可能性と断絶について » JS開発のつらみ - Nov 20, 2023 JavaScript界隈はソフトウェアのトレンドの移り変わり・流行り廃りが激しい、とはよく聞く。 「だから辛い」とはどういうことなのか、について考えたことのあれこれをXに垂れ流したのを、再編集してまとめた。 流行り廃りの何が辛いのか きっとすでに誰か偉い人も言ってそうだけど、今のWeb技術、特にJavaScriptのつらみは、「プロダクトやサ
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で
TerraformInfrastructure as code provisioning
SIerでのGitHub Copilotの業務活用に向けた検討ポイントをまとめてみた - Qiita
OpenAIが開発したコード生成AIの「Codex」や、その技術を活用した「GitHub Copilot」が注目を集めています。Qiitaや技術ブログではCopilotを試してみた系の記事も多く公開されており、好意的な反応と共に紹介がされているように感じます。 これらのコード生成AIやツールを開発業務で活用しようと考えた際、どのような効果が見込めるのか、プログラマの心理やパフォーマンスにどのような影響を及ぼすのかが気になったので、CodexやCopilotの実装能力やプログラマに与える影響を調査した研究事例などを調べました。 この記事では、調べた結果を基に、SIerにおける開発業務でCopilotやCodexといったソースコードが生成できるツールやAIを活用するにあたって留意するべきポイントなどを、私の感想を交えながらご紹介します。 本記事で紹介する範囲 本記事では、SIerがCopilo
「エンジニアもマネージャーも専門性の高い技術職」新たなステージで挑戦を続けるまつもとりーのキャリア観とは - Findy Engineer Lab
何かの出来事をきっかけに、仕事との向き合い方が変化することがあります。たとえば、「尊敬できる先輩と出会って仕事が楽しくなった」「未経験の業務にアサインされたが、取り組んでみたらその面白さに気づいた」などはその典型例でしょう。 さくらインターネット研究所 主席研究員・株式会社COGNANO 取締役CTOの まつもとりー（松本亮介）さんにも、直近の数年間でキャリア観に大きな変化がありました。かつて、まつもとさんは「技術志向のエンジニア・研究者であり、コードや論文を書くことが生きがい」という方でした。そんなまつもとさんが数年前から、マネージャーや経営者の道を志すようになったのです。 今回はまつもとさんに起きた変化や仕事との向き合い方についてインタビュー。その言葉には、エンジニア・研究者が良いキャリアを実現するためのエッセンスが詰まっていました。 新型コロナウイルスの流行をきっかけに、自分を見つめ
技術の素振りのために記事を書く
技術の素振りのために記事を書く 2024.02.20 技術の素振りを、ここではある特定の言語やフレームワークに対する理解を深めるために、その技術を使って何かしらの成果物を作成することと定義します。素振りの目的としては、ドキュメントからは読み取れない Pro/Con を得ること、その技術が実際のプロジェクトで使えるかどうか調査するといった事項があげられるでしょう。ただ素振りするだけではぼんやりと頭に知識が入っている状態になりがちですが、他者への説明というアウトプットを意識することで、コードを書くことによって得られた知見を整理できるようになります。 技術の素振りを、ここではある特定の言語やフレームワークに対する理解を深めるために、その技術を使って何かしらの成果物を作成することと定義します。素振りの目的としては、ドキュメントからは読み取れない Pro/Con を得ること、その技術が実際のプロジェ
「エンジニアDB」というサービスを開発しました！【Next.js / Rails / AWS / Terraform / Docker / GitHub Actions】 - Qiita
3.インフラ（全体構成）について ここから技術的なことについて話していきます。 まず大前提として、プロジェクトの全体構成は、Happiness Chain の卒業課題の条件に基づいて決めれらていました。これらの条件には以下が含まれます Rails APIモード / Reactで完全SPAのポートフォリオを作る。 本番環境と開発環境にDockerを使う。 本番環境にはECS Fargateを使う。 GitHub Actionsを使ってAWSに自動デプロイする。 Terraformでインフラをコード化する。 なので、これに倣って実装しています。 アーキテクチャの全体像 フロントエンドはVercelにデプロイして、バックエンドはAWSのECSにデプロイしています。 ブランチ運用は、GitHub flowを採用しています。 プルリク時にテストが走り、mainブランチにマージされるとデプロイされる感
Windows、Linux、MacOS各OSでのbash、zsh、fish、pwsh、powershell(Windows Powershell)にIDEライクなコマンド補完機能を提供するOSS「inshellisense」0.0.1-rc.1がMicrosoft公式GitHubでこのほど公開された。MITライセンスで提供されている。 パッケージ管理ツールnpmを通じて下記のコマンドでインストールできる。 npm install -g @microsoft/inshellisense inshellisense --shell で起動できるのでPowershellで試したところ inshellisense --shell pwsh 入力を促すプロンプトが起動し、コマンドを入力すると選択候補や英語での概説が表示され矢印キーで選択し、Tabで決定。Ctrl+Dで抜けられるようになっている。"6
2024年3月29日に、圧縮ツールの「XZ Utils」に、悪意のあるバックドアが仕込まれていたことが明らかになりました。どのようにバックドアが仕掛けられたのかについて、Googleのエンジニアであるラス・コックスさんが時系列順にまとめました。 research!rsc: Timeline of the xz open source attack https://research.swtch.com/xz-timeline XZ Utilsおよび設置されていたバックドアについては下記の記事で解説しています。 Red HatやDebianなどLinuxディストリビューションの組込み圧縮ツール「XZ Utils」に悪意のあるバックドアが仕掛けられていたことが発覚 - GIGAZINE XZ Utilsへの攻撃を行った「Jia Tan」という名前の攻撃者は2021年後半ごろから数年に渡ってXZ
こんにちは、SmartHRで一人目のDevRelのinaoです。 SmartHRにDevRelを立ち上げる際に、社内に向けて書いた文章を公開します。 次の座談会もあわせてあわせてご覧ください！ 教えて先輩！ DevRelの立ち上げ方（前編）活動の成果と計測、体制、予算 - SmartHR Tech Blog 教えて先輩！ DevRelの立ち上げ方（後編）社内の関係づくり、社内イベント、最も大切なこと - SmartHR Tech Blog DevRelを立ち上げます DevRelとはなにか DevRel（Developer Relations）は、「開発者をつなぐこと」を目的とします。 開発者をつなぐことには、次の3つが含まれます。 SmartHRの開発者と外部の開発者をつなげる SmartHRの開発者どうしをつなげる SmartHRのプロダクトと内外の開発者をつなげる なんのためにやるの
現地時間9月19日からスペインのビルバオで開催されていた「Open Source Summit Europe」で、Linuxカーネル開発者であり、LWN.netの編集責任者を務めているJonathan Corbet氏が、Linuxカーネル関連の新しい点や今後の動きについて発表した。 ここではその中から、今後の大きな変更点の1つを紹介したい。それは、Linuxカーネルの長期サポート（LTS）が6年から2年に短縮されるということだ。 LinuxカーネルのLTS版には現在のところ、6.1と5.15、5.10、5.4、4.19、4.14の6つがある。これまでであれば、4.14は2024年1月にサポートが終了し、別のカーネルが追加されていた。しかし今後は、4.14とその次の2つのバージョンのサポートが終了しても、別のカーネルがそれに取って代わることはない。 なぜだろうか。Corbet氏は単純なことだ
【新連載】まずは自分のために。きしだなおきが提案する自己成長を目的とした「アウトプット駆動勉強術」 2024年2月5日 Javaスペシャリスト きしだなおき 九州芸術工科大学 芸術工学部 音響設計学科を満期退学後、フリーランスでの活動を経て、現在はLINEヤフー株式会社に勤務。著書に、『プロになるJava 』（共著、技術評論社）、『みんなのJava OpenJDKから始まる大変革期! 』（共著、技術評論社）、『創るJava』（マイナビ）など。 X（@kis） ブログ きしだのHatena こんにちは、きしだです。 この連載ではエンジニアとしてキャリアを作っていくための勉強法についてを書いていきたいと思います。 初回の本記事では、「アウトプット」について考えてみます。 レバテックLABでも、アウトプットについて書かれた記事がいくつかありますが、ここでは自分のためのアウトプットという視点から考
Azure OpenAI Service で、Function calling を試してみる - Taste of Tech Topics
こんにちは、igaです。 台風が接近していて、外出の予定と重ならないかドキドキしています。 今回は、Azure OpenAI Service（以下、Azure OpenAIと記載します）で7月から利用できるようになった「Function calling」を試してみます。 Function callingとは、実行可能な関数を予め定義しておき、自然言語から実行すべき関数と引数を特定してくれる機能です。 OpenAIのAPIで、6月にリリースされた機能ですが、それがAzure OpenAIでも利用できるようになりました。 この機能のポイントは、「関数を呼び出す」ことではなく、「呼び出す関数（とその引数）を特定してくれる」ことにあります。 （名前が「Function calling」なのに、ややこしいですね） Azure OpenAIの利用開始方法とAPIの呼び出し方については、前回の記事を参考
「テクノロジーで人々を適切な医療に案内する」をミッションに、医療プラットフォームを提供しているUbie株式会社の@masa_kazamaです。 この記事は#Ubieアドベントカレンダー5日目にエントリーしています。 今年は生成AI一色の1年でした。Ubieでは、生成AIをプロダクト活用と社内生産性向上の観点で取り組んでいます。(取り組みの詳細は、こちらの記事で紹介しています。) この記事では、社内生産性向上観点で、社内の業務プロセスに溶け込んでいて、なくてはならない使い方になっている事例を10個ご紹介します。その中のいくつかは、実際に生産性が倍以上になっていたり、外部委託のコストが半分になったりしています。この記事が、生成AIを活用している人や活用していきたい人のご参考になれば幸いです。 プロダクト活用にもいくつか事例が出ており、問診の内容を大規模言語モデル(LLM)を活用して要約する機能
AWSの生成AIサービスである Amazon Bedrock がGAになったので早速使ってみた - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 今回は2023年9月28日に GA となった Amazon Bedrock の紹介と使ってみた感触をお伝えします。 1. Amazon Bedrock とは 2. 利用可能なモデル 3. Anthropic Claude V2 を使ってみた 3.1. Claude とは 3.2. Playground 3.3. 追加設定 4. まとめ 1. Amazon Bedrock とは Amazon Bedrock （以下、 Bedrock ）は AWS 上で使える、大規模言語モデル（ LLM ）の基盤モデルを提供する完全マネージド型サービスです。 2023年9月28日に GA
プロンプトエンジニアリングを最適化する為のフレームワークSAMMOを実際に使ってみた - Taste of Tech Topics
いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか？菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは？ Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な
さて、「アウトプット」といったときに皆さんはどういったものをイメージするでしょうか。人によって具体的なイメージは違うでしょうが、「エンジニアの」と言った場合には以下のようなものをイメージする人が多いのではないでしょうか。 では、エンジニアの皆さんは何のためにこういったアウトプットを行うのでしょうか。個人だけで考えれば、必ずしも自分の知見を外部に発信する必要はないかもしれません。私の場合は「自分のやりたいことに近づきやすくなるため」、「自分の困りごとの解決に多くの人の知見を借りたいため」、そして「自分が得た知見が他の人の助けになれば」といったあたりでしょうか。 前者は自分がやっていることや、興味を持って取り組んでいることを発信しておくことで、その後の自分のキャリア形成を有利にできればという期待からです。自分がやっていることというのは、つまり自分がその時に興味を持って取り組んでいることとも言え
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。 本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
この記事は、Magic Moment Advent Calendar 2023 19日目の記事です。 こんにちは、 Magic Moment の一人だけ QAE の yano です。 一人だけの QAE が GUI を用いた E2E 自動テスト(以降、自動テストと表記)を書いて運用していくことは、自動テストの新規作成やメンテナンスを行うには限界がありますし、他の QA 活動が進まなくなるという問題が出てきてしまいます。 そこで今回は QAE ではなく開発メンバが主体となって自動テストの運用をできるように仕組みを整える必要がありました。 本記事では自動テストを開発メンバに布教していく際に感じた5つの壁と、壁に対して打ち込んできた楔について書かせていただこうと思います。 1の壁 : 何のための自動テストか分からない ユニットテストはあるけど自動テストはないという現場ですと、漠然と自動テストもあ
Honoの今の状況 - ゆーすけべー日記
この記事は2023 JSConf JPで発表したHono v3 and v4を元に11月17日に書いたCloudflare社内のブログ記事「Current Status of Hono」を日本語に訳した記事です。 Honoの「Initial commit」からおおよそ2年が経ちました。このプロジェクトは2021年の12月15日に始まりました。 当初、私はCloudflare WorkersのみのためにHonoを作りました。itty-routerはよかったものの、私が欲しかった多くの機能が欠落していました。また、私は勉強のためにTrie木構造のルーターを作りたかったのです。それがHonoの生まれた理由です。 それから多くのことが起こりました。私がCloudflareにいるのもHonoのおかがです！HonoはCloudflare開発者コミュニティで認知されていきました。Honoの人気が出ること
OSS開発者が自分の人生を犠牲にしなくていい。「フルタイムRubyコミッター」という生き方が与えてくれた恩恵 - Findy Engineer Lab
お店のデジタル化を支援するSTORES 株式会社（以下、STORES）は、Rubyコミッターの笹田耕一（@koichisasada）さんと遠藤侑介（@mametter）さんの両名を社員として採用しました。笹田さんと遠藤さんはフルタイムのRubyコミッターとして STORES に入社し、Rubyの機能改善や品質向上のための仕事に専念します。 どのような経緯で、両名は STORES への転職を決めたのでしょうか。そして、今後の具体的な活動内容とは。笹田さんと遠藤さんにお話を伺いました。 「6月は2人で一緒に、フルタイムRubyコミッターとして働く道を探ろう」 笹田さんが取り組む並列並行処理の改善 遠藤さんが取り組む静的型解析 世の中のニーズと本人のモチベーションが合致して生まれる、奇跡的なキャリア 「6月は2人で一緒に、フルタイムRubyコミッターとして働く道を探ろう」 ――転職活動どうもお疲
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。後半は、TiDBを使ったアプリケーションのサンプル「OSS Insight」とChatGPTの機能「Chat2Query」について。前半はこちらから。 TiDBを使ったアプリケーションのサンプル「OSS Insight」 ここまで、TiDB Serverlessをどうやって作っていったかというコンセプトをご紹介してきました。ここから、TiDB Serverlessを実際に使ってみたという話をしたいと
OpenAIのChat Completions APIの基本的な利用方法解説 - Taste of Tech Topics
昨年から育てていたバジルがもはや木になりつつある菅野です。 今注目を集めつつある文章生成AIである「ChatGPT」に関して、提供元のOpenAI社は2023/07/07に、「GPT-4」のAPIを有料ユーザー向けに一般公開したことを発表しました。 今回は、その「Chat Completions API」について紹介します。 例えば、自作のWebアプリでChatGPTライクなやりとりを実現したい、 それで入力された文章を加工したプロンプトでChatの応答を得たい、 といったときに、このAPIを使います。 この図のような動きですね。 openai.com Chat Completions API とは？ 「Chat Completions API」は、チャット補完に特化した言語モデルと、それを利用する専用のAPIです。 ChatGPTでも同じ言語モデルを利用しているため、このAPIを利用する
GitHubでオープンソースプロジェクトとして公開されている「Puter」は、高速で機能が豊富、かつ拡張性が高いことが特徴のブラウザベースのデスクトップ環境で、Google DriveやDropboxに代わるクラウドストレージやリモートの仮想デスクトップとして使うこともできます。一体どんな使い勝手なのか気になったので、実際に触ってみました。 GitHub - HeyPuter/puter: The Internet OS! https://github.com/HeyPuter/puter Puterはリポジトリをクローンしてセットアップすることで使えますが、デモ版も用意されているので、今回はこちらを使っていきます。 デスクトップ環境としての機能は下のツールバーにまとめられています。 例えば、ExploreではファイルをアップロードしてWindowsのエクスプローラーと同様に操作することが
ポートスキャナ自作ではじめるペネトレーションテスト
本書は、ポートスキャンを用いて攻撃者がネットワークを経由してどのように攻撃してくるのかを具体的な手法を交えて学び、攻撃手法を知ることでセキュリティレベルの向上を目指す書籍です。Scapyを用いてポートスキャナを自作し、ポートスキャンの仕組みや動作原理をしっかりと学びます。そのあとで、脆弱性診断やペネトレーションテストに不可欠なNmap、Nessus、Metasploit Frameworkなどのツールについて解説します。ハンズオンで学習を進めながら徐々にステップアップしていける構成となっています。攻撃者側の思考プロセスを理解し、対策を強化しましょう。付録ではペンテスターのキャリア形成、関係の築き方などにも触れ、著者の豊富な経験からのアドバイスを紹介しています。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
圧縮ツール「XZ Utils」にバックドアを仕込んだ謎の人物「Jia Tan」は一体何者なのか？
Terraformをフォークした「OpenTofu 1.6」、早くも正式版が登場
Linux上で動作するAntiVirusに関して(I) - SIOS SECURITY BLOG
カイロスロケット爆発 痛手を負っても「失敗」といわず、目標も変えないスペースワンの事情
LibreChat で Command R+ を使えるようにする - ハイパーマッスルエンジニア
自動テスト全体の信頼性を維持するためにはどうするか 「ブレない基準でピラミッドを作り、スモールに切り出していく」
バグハント入門 (OSS編) - blog of morioka12
ESLintのローカルルールで独自のコーディング規約を実装する
レオのリファラル入社エピソード ～シニアエンジニアの転職の進め方 | ANDPAD_Engineers
Latest topics > JS開発のつらみ - outsider reflex
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
HashiCorp adopts Business Source License
Microsoft、各種シェルに600を超えるコマンド補完を掲げる「inshellisense」
XZ Utilsにバックドア攻撃が行われるまでのタイムラインまとめ
SmartHRにDevRelを立ち上げます - SmartHR Tech Blog
LTS版「Linux」カーネルのサポートが短縮へ--背景にメンテナーの苦悩
きしだなおきが提案する自己成長を目的とした「アウトプット駆動勉強術
生成AIの活用事例 10選｜masa_kazama
気負わず、書く。私が意識してやっている、子育て中でもできるアウトプット術
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
E2E 自動テストの布教に立ち塞がる5つの壁と打ち込んだ楔
【Ubuntu日和】 【第32回】フォントと日本語入力の、ホントの話
複雑なデータベースの知識は一切不要、気にするのはエンドポイントだけ 開発の生産性を高める「TiDB Serverless」の各種機能
無料で使えるオープンソースのデスクトップ環境「Puter」レビュー