はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
はじめに VSCode + Python + Poetry + Docker(docker-compose)でdev-containerを作成して開発を行っていました。 Dockerを勉強し、イメージの軽量化に関する記事を読んでいると、自分が使っているコンテナイメージのサイズが気になりました。 docker images > REPOSITORY TAG IMAGE ID CREATED SIZE > dev-container latest a9b8e3df9087 2.31GB 2.31GB！？ サーバとしてアプリを動かしていないのにここまで大きいなんて… というわけで勉強も兼ねて、イメージの軽量化に取り組みました。 イメージが軽量であるメリット ストレージの節約 これは言わずもがなだと思います。 限られたリソースを有効に使うことができます。 ビルド時間の短縮 Dockerは環境を作っ
AWSを使用したアプリケーションのローカルテスト
AWSを使用したアプリケーションのテスト方法 AWSを使用しているアプリケーションの開発時に問題となるのは、どのようにテストを実施するかという問題が発生します。 この時の選択肢は次の通りとなります。 単体テスト時にAWSのモックを作成してテストを行う AWS上にテスト用の環境を用意してテスト時に接続してテストを行う LocalStackを使用してローカルにAWSサービスのエミュレーターを動かしてテストする 単体テスト時にAWSのモックを作成してテストを行う 単体テスト時にモックアップする方法はテストに都合のいいデータを返せるため容易にテストが行えます。 モックの作成に手間がかかりますし、思い込みでモックを作成してバグを作成する場合もありますが、Motoなどを用いることでこれらの問題は軽減できるでしょう。 ただし、あくまで単体テストでしか使用できません。例えば複数プロセスを連携するようなテス
この記事では Pi-hole を使って以下のような感じで自宅のネットワークの状態を確認できるようにします。うん、カッコいい！しかも実用性もちゃんとあります。 Pi-holeとは？ Pi-hole は広告ブロック機能がついた DNS サーバ兼 DHCP サーバです。自宅ネットワークのルータ等についている既存の DNS サーバや DHCP サーバを置き換える形で設置することで、ネットワーク内のすべての端末に広告ブロック効果をもたらしてくれます。端末ごとに広告ブロッカーを入れなくてもよいわけです。また上の画像ように項目が豊富でイカした管理画面がついており、状況を確認したり設定を変更したりなどの作業が簡単に行えます。 注意 この記事では最初の導入方法しか扱いません。それ以上のことは別の記事を見たり、管理画面からいじってみたりしてください。 ネットワークの構成を変えることによってネットに繋がらない等
GitHub、Dependabotの基本コンポーネントdependabot-coreをOSSとして利用可能に GitHubは2024年5月13日、リポジトリ内の依存関係を監視しチェックするツールDependabotの基本コンポーネントdependabot-coreを、MITライセンスにもとづくオープンソースとして利用可能にしたことを発表した。 dependabot-core is now open source with an MIT license -The Github Blog 📣 Dependabot is now open source!https://t.co/RXpQG38AiD — GitHub (@github) May 14, 2024 Dependabotは、リポジトリ内の依存関係のアップデートの有無を検知して、自動でプルリクエストを発行したり、アラートの通知を
はじめに AWS Lambdaを使ってデプロイするときに、 Dockerイメージを使って、デプロイしたいケースがありました。 すでに、動いているLambdaをLambda Dockerへ変更する際に、 つまずきポイントがあったので、備忘録として、残しておきます Lambdaでコンテナイメージを利用とは？ Lambdaには、通常のLambda(ソースコードのみを記述するタイプ)と Dockerイメージを利用するパターンが存在する ※Dockerイメージは、ECRから参照し、Lambda上で実行が出来る なぜDockerイメージを使うのか？ 通常のLambdaとLambda Dockerには、仕様の一部に違う部分が存在している 今回、Lambda Dockerを利用したいと考えたのは、 通常のLambdaよりも、大きいパッケージを展開できる為 ●Lambda 50 MB (圧縮、直接アップロー
株式会社クラフトマンソフトウェアでは、Kubernetesに力を入れており、11名ほどのKubernetesエンジニアが働いています。社内のKubernetesエンジニアに「これは知らないともったいないツールを教えて！」と聞いて回ったので、そのまとめをこの記事にしました。ちなみにこの記事は、私個人による執筆ではなく、チームのメンバーで協力して執筆したものです。 Lens Kubernetesクラスタの管理と監視を簡単に行うためのオープンソースのデスクトップアプリケーションです。 k9s Kubernetesクラスタを操作するためのターミナルベースのUIです。このプロジェクトの目的は、デプロイされたアプリケーションのナビゲート、観察、管理をより簡単にすることです。K9sはKubernetesの変更を継続的に監視し、観察されたリソースと対話するためのコマンドを提供します。 Kubernetes
概要 最近の記事を見ると、Zero-Shotで時系列予測ができるTimesFMと呼ばれるものが公開されていました。 Githubのリポジトリはこちら： 時系列予測というとベイズなどを用いて泥臭いことをやったりしないとですが、こちらはtransformerのデコーダ部分のみを用いてGoogle TrendsやWikipedia Pageviewなどの膨大なデータ(100 billion time point)で学習を実施したものを公開されています。パラメータも200Mで、GPT-3やLLama-2などと比較すると軽量なモデルであり、チューニングすることなく高度な予測をすることが可能であると書かれています。 時系列予測と言われるとベイズなどが浮かんできますが、面倒臭いのでサクッと予測できるのは比較対象としても悪くない気もしています。今回は、国内企業物価指数] 総平均（前年比）の2000年から2
対象者 Docker使いたいけどよくわからない Docker使い始めたけどコマンド言われるがままに打っていてよくわかってない コマンドと動作を図示で理解したい こんな人の理解の一助になれば幸いです。 (前提条件: docker version 26.0.2) Dockerコマンドを可視化してみた 勝手にローカルのPCをmacにしているのはご愛嬌です ※2024/5/16 9時訂正版の画像に差し替え コメントで間違いを指摘していただきありがとうございます🙇 細かいオプションなどは一旦無視してライフサイクルの部分を抜き出してみました。 Docker imageの操作 dockerの肝となるコンテナは、imageから生成します。 そのimageは、 docker hubからpullしてくる dockerfileからbuildする この2択で生成します。 コマンドは、 など、 docker i
どうも GitHub Actions 上で Docker ビルドを行うと時間がかかるなぁと感じていました。 かなり軽量の Go の Web アプリケーションを Docker イメージにしてプッシュするプロセスなのですが、全体で 3 分ほどかかっています。 今回はその速度改善を行ったので、得た知見を記事にしたいと思います。 最終的に、ケース次第では以下のような結果を出すことができました。 ※ケース = go のソースコードのほんの一部を変更してワークフローを実行する。 go.mod など依存関係に変化はない。 go build: 60秒 → 1秒 docker/build-push-action ステップ: 2分30秒 → 30秒 ワークフロー: 3分 → 1分 前提 go build は Dockerfile のステップで行っており、イメージとして以下のような内容になっています。 FROM
Causal Discovery Toolboxで簡単にデータの因果関係を解析してみよう - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR この記事では，Causal Discovery Toolbox（cdt）を用いて観測データから因果関係を簡単に解析する方法を紹介します．cdtは，Pythonで利用可能なツールで複数の因果分析モデルとアルゴリズムを提供しデータから因果関係を推定し視覚化することができます．特に，PCアルゴリズム，GES，LiNGAMなどの主要なアルゴリズムを使用した因果探索の手順とサンプルコードを提供し，それぞれの性能評価も行います． TL;DR はじめに 因果探索とは Causal Discovery Toolbox(cdt) 環境構築 利用できるアルゴリズム 1.PCアルゴリズム (PC) 2.CAM (Causal addtive model) 3.CGNN (Causal Generative Neural Networks) 4.GES (Greedy Equivalence Sear
GKE CronJobとcloud-sdk-goでElasticCloudのスケーリングを自動化しコスト削減した - 10X Product Blog
はじめに 前提 背景と課題 対応方針 StailerのElasticsearchに関する特性 要件 スケールイン・アウトではなくスケールアップ・ダウン リソース負荷トリガーではなくスケジュールトリガー 設計 cloud-sdk-goでの処理 モニタリング おわりに はじめに こんにちは、検索エンジニアの安達(id:kotaroooo0)です。 10Xで検索基盤・検索機能の開発運用をしています。 最近は推薦システムの開発もちょっとやり始めました。 負荷に合わせてElasticsearch(ElasticCloud)をスケーリングする機能を作りコスト削減したので、その取り組みについて経緯と内容を紹介します。 前提 背景と課題 10Xでは小売チェーン向けECプラットフォームStailerにおいて、検索機能の開発運用にElasticsearchを利用してしています。 Elasticsearchクラ
インターネットからの野良リクエストがどれぐらい AWS WAF のマネージドルールに一致するのか確かめてみた - 電通総研 テックブログ
こんにちは。コーポレート本部 サイバーセキュリティ推進部の耿です。 Web サービスへの攻撃を防ぐために WAF を使いましょうというのはよく聞きます。 ではインターネットに公開した Web サービスに送信される悪意のあるリクエストがどれぐらい WAF によって防御され得るのでしょうか？ お手軽に使える AWS WAF のマネージドルールを対象に確かめてみました。 この記事の概要 実験用に固定レスポンスを返すだけの HTTP エンドポイントを作成し、約半年間インターネットからアクセス可能な状態で放置した AWS WAF のマネージドルールをアタッチしており、それぞれのルールに一致したリクエスト数を集計し、ランキング形式にまとめた 一致したリクエスト数が多いマネージドルールそれぞれに対して、どのようなリクエストが多かったのか集計し、ランキング形式にまとめた 実験用システムの構成 基本的なデー
関連キーワード XML | データ データセンターを効率的に管理するには、「XML」（Extensible Markup Language）や「YAML」（YAML Ain't Markup Language）といった「データシリアライズ言語」が鍵になる。データシリアライズ言語は、さまざまな形式のデータを、機械が理解できる形式に変換（シリアライズ）するための言語だ。データシリアライズ言語を活用することで、IT管理者はデータの自動処理や構造化に関するメリットを享受できる。 XMLとYAMLの違いを知ることは、システム設定作業に適したツール選択の近道になるはずだ。本連載はXMLとYAMLの違いや用例を解説し、アプリケーション開発における自動化の可能性を広げる。 XMLとYAMLの違い 実はあれにも使われている「XML」とは 併せて読みたいお薦め記事 システム管理を支える技術 ソフトウェア部品表
このブログ記事では、Cognitoを使ってLaravelでシンプルな認証機能を実装する方法を紹介します。 目的 クラスメソッドタイランドの清水です。 本記事では Cognito を使って Laravel で簡単な認証機能を実装します。 認証のシーケンスは以下のようになります。 また、全体の流れを理解するために Laravel のロジックは非常に簡潔になっているので、本番環境で注意が必要な部分は ⚠️ でコメントを書いています。 前提条件・知識 AWS アカウントを作成済み IAM Role, Policy, Cloud9 の環境を作成できる権限がある 使いたいAWS アカウントのリージョンで cdk bootstrap コマンドを実行済み ローカル PC に docker, docker-compose をインストール済み 手順 まずは CDK を実行するための環境を Cloud9 で準備
DockerでLaravel 11のローカル開発環境を構築していきます。 DB確認用に、phpmyadminもインストールします。 コンテナは以下のような構成です。本番環境に応用できるように、あえてSailは使いません。 アプリコンテナ PHP:8.3をインストールして、Laravel 11をインストールする Nginxコンテナ 最新のNginxをインストール DBコンテナ MySQL:8.0.36をインストール phpmyadminコンテナ 最新のphpmyadminをインストール(現時点の最新バージョン5.2.1をインストール) では実際にローカル開発環境を構築していきます。 各コマンドをコピペで環境構築できます！ Laravelのローカル開発環境構築 まずは、完成系のディレクトリ構成から記載します。 ディレクトリ構成 以下のような構成となります。 ├── docker │ ├──
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能 Dockerコンテナで使われるコンテナイメージは、そもそもOSのカーネルなどが含まれていないためそれ単体で実行することはできず、コンテナに対応したOSの上にデプロイすることで実行されます。 このコンテナイメージのフォーマットは業界標準の「OCIコンテナ」（Open Container Initiativeコンテナ）として標準化されていますが、このOCIコンテナのフォーマットを守りつつ、ベアメタルサーバ上でブート可能な「ブータブルコンテナイメージ」の開発が進められています。 ブータブルコンテナイメージとは？ ブータブルコンテナイメージは、カーネルやデーモンなどの単独で実行可能なOSとしての
最近にわかに話題のLLMツール「Dify」を僕も使ってみた。 いいところと「?」となったところがあったので纏めておく Difyとは、GUIでワークフローを組むことができるLLM-OPSツールだ。 ComfyUIのようにワークフローが組めたり、GPTsのように自分専用のアシスタントを作れたりできる。 特に、OpenAIのGPTシリーズとAnthropicのClaude-3、そしてCohereのCommand-R+なんかを組み合わせて色々できるところは良いところだと思う。また、ローカルLLMにも対応しているので、企業内でのチャットボットを作るんだったらGPTsよりこっちの方がいいだろう。 元々色々なテンプレートが用意されているが、テンプレだけ使うとGPTsっぽいものを作れる(それだってすごいことだが)。テンプレを改造するだけでも欲しいものが作れる人はいるし、ここはノーコード環境と言える テンプ
pytest でテストケース毎に DB を自動的に初期化して、テスト開発体験を向上させる - SalesNow Tech Blog
概要 Web バックエンドのテストコードを書く場合、その多くは DB に依存していることが多いです。 DB 関連のテストは、テストデータの準備やテストケース毎の DB 処理化を適切に行うことが重要ですが、手間がかかる場合あるため、Mock で擬似的にテストしてしまうことも多いかと思います。 ただ、Mock を使ったテストは本質的な問題を検知できない意味のないテストになってしまう可能性があり、可能な限り DB の Mock を行わずに、実際の DB を使用してテストすることが望ましいと考えています。 本記事では、pytest、sqlalchemy、PostgreSQL を使った場合に、テストケース毎に DB を簡単に初期化しつつ、テストケース毎の前提データ登録も簡単うことでテスト開発体験を向上させる方法を紹介します。 前提環境 本記事では、以下の環境を前提として説明いたします。 python
概要 最近話題の Dify を利用し、RAG の機能を持ったチャットボットを作る。 Qiita CLI の README をRAGに登録し、Qiita CLI に関する知識を持ったチャットボットをノーコードで作成する。 最終的に作成される画面は以下のイメージ。 Difyを利用することで、ノーコードで簡単にRAGの機能を持ったチャットボットを作成できる RAGの参照もととなるQiita Cli のリポジトリは以下の通り。 Dify とは Dify は最近注目されているオープンソースの LLM アプリケーション開発プラットフォーム。 「ワークフロー」を利用して GUI ベースで簡単にLLMアプリケーションを作成し、公開やアプリケーションへの組み込みまで簡単にできる。 日本語で書かれた README もあるので日本人にとっても使いやすい。 RAG の機能を持ったチャットボットの作成 利用するライ
Difyを試してみました Difyが話題だったので、少し試してみました。一言でいうとOSS版の高機能ChatGPTのカスタムGPT（GPTs）でしょうか。より詳しくはnpaka先生の記事を参考にしてください。 ChatGPTの有料版でできること以上のことができます。機能も多機能で、少し触った感じでは完成度も高いように感じました。 クラウド版を使うこともできますし、ローカルで自前でサーバーを立てることもできます。GPTsに比べた分かりやすいメリットある使い道は、容量制限なく手軽にローカルでRAGをクラウドにデータをアップロードできる点でしょうか。 それ以外には、GPT4以外のClaude 3 OpusなどのLLMも使えたり、細かい設定を切り替えたりできるので、手軽に色々できそうです。ただ、結構できること多いので少し詳しい人向けかもしれません。 Difyのローカルセットアップ方法 クラウド版は
Difyは、GPT-4やClaude 3、Llamaなどの大規模言語モデル（LLM）を組み込んだアプリケーションを開発するためのオープンソースプラットフォームだ。 プログラミングの知識がなくても、非常に分かりやすいテンプレートや、ドラッグ&ドロップのフロー図を使って、直感的にアプリケーションを開発できるのが最大の魅力だ。 OpenAIやAnthropicのAPIキーを使えば、Dify上で、まるでChatGPTのような高度な機能を備えたチャットアプリを、30分もあれば誰でも自作できてしまう。 本当に革命的なノーコードLLMアプリ開発ツールなので、ぜひ一度は触ってみてほしい。 エンジニアが本番レベルの生成AIアプリケーションを素早く構築できるのはもちろん、非エンジニアであっても、テンプレートやコンポーネントを活用しながら、非常に複雑な機能を持つAIエージェントやAIアプリケーションの設計が可能
はじめに 革新的な連携: ノーコードプラットフォームDifyとAIツールOllamaの連携により、開発プロセスが劇的に変革されます。 探求: この記事では、両ツールの統合手順と開発者にとっての利点を詳しく探ります。Difyの直感的なインターフェースを通じて、OllamaのAIモデルを効果的に活用する方法を紹介します。 Ollamaとは Ollamaは、LLama3やLLava、vicunaやPhiなどのオープンに公開されているモデルを手元のPCやサーバーで動かすことの出来るツールです。 difyとは DifyはオープンソースのLLMアプリ開発プラットフォームです。 RAGエンジンを使用して、エージェントから複雑なAIワークフローまでLLMアプリを編成します。 前提の環境の説明 OS: Windows 11 ollamaはWinodowsのインストーラを使用する difyはDocker De
ローカル環境を汚さずにMySQLの動作検証をサクッとしたかったので、Dockerを使うことにしました。 やりたい検証は単純なものだったので「わざわざDockerfileを準備しなくても、ベースイメージから直接コンテナを起動すればいいか」と思い、以下のコマンドを実行しコンテナを起動→MySQLに接続しました。 $ docker run --name mysql_container -e MYSQL_ALLOW_EMPTY_PASSWORD=true -d mysql:8.0.36 $ docker exec -it mysql_container bash bash-4.4# mysql mysql> ここまでは、何の問題もありませんでしたが、日本語を含んだSELECT文を実行する際に、問題が発生しました。 以下のように「あ」を入力中、確定するためにEnterを押すと「あ」が消えてしまうので
なぜ、クラウドに構築するのか？今回はOSS版のDifyをGoogleCloud上、つまりクラウドサービス上に構築します。しかし、DifyにはOSS版のだけでなくクラウド版も提供されています。 ではなぜ、わざわざOSS版のをクラウドに構築するのでしょうか？ OSS版をクラウド上に構築することのメリットしては一般的なクラウドサービスが受けるメリットだけでなく、自分が作ったワークフローやナレッジとして格納したデータを自身の管理下のクラウド上にて管理できるため、より柔軟に周辺環境（認証機能など）の拡張することがしやすくなります。 自分たちがやりたいことに対してDifyを柔軟に利用できるようにするために今回はDifyをGoogleCloudに構築することを試していきます。 実行環境クラウド ・ Google Cloud : Google Compute Engine（GCE） ローカル ・Widow
今時のアプリ開発において、コンテナは避けて通れないものになっています。そして数多くあるコンテナ実行環境の中でも、デファクトスタンダードと言えるのがDockerです。そんなDockerのイメージですが、皆さんは正しくビルドできていますか? そのコンテナは無駄に太っていませんか? 効率よく最短時間でビルドできていますか? セキュリティは大丈夫ですか? 今回はDockerfileの書き方をテーマに、「今さら聞けない」Docker入門をお届けします。
Self-hosted GitHub Actions runners in AWS CodeBuild を試す
CodeBuild プロジェクトを使用して Webhook を設定し、GitHub ACtions ワークフローの yaml を更新して CodeBuild マシン上でホストされているセルフホストランナーを使用できる GitHub への認証は PAT か OAuth App を使う まとめというかわかったこと ※間違ってることや、こうすればいいよなどがあったらコメントください。 良かった点 セットアップは楽 ephemeral である 起動時間は EC2、Lambda 共に 1 分程度だった 個人的には十分速い マネージドイメージに加えて Docker カスタムイメージを指定可能 jobs.<job_id>.runs-on に -<image>-<image-version>-<instance-size> を追記すると、設定不要で様々なアーキテクチャのイメージを使える jobs.<job
今回は、最近話題の「Dify」というオープンソースのLLMアプリ開発プラットフォームを使って、簡単にAIアプリを作る方法をご紹介します。 Difyとは何か？Difyは、生成AIツールの開発プラットフォームです。 単一のモデルを使うのではなく、複数のAIモデルやツールを組み合わせることで、特定のタスクに特化した高性能なAIアプリケーションを簡単に作ることができます。 その最大の特徴は、RAG（Retrieval-Augmented Generation）エンジンを搭載していることです。RAGとは、関連する情報を検索・取得し、それを基に高品質な回答を生成する技術です。Difyではこの強力なRAGエンジンにより、幅広い分野でのAI活用が可能となっています。 圧倒的に使いやすいインターフェースDifyのもう一つの大きな魅力は、その使いやすさです。プログラミングの知識がなくても、直感的なGUIでドラ
Difyで選択できるLLMモデルDifyは特定のモデルに縛られることなく様々なモデルを利用することが出来ます。新しいモデルにもすぐに対応してくれるのも嬉しいポイントです。 新しいモデルもすぐに使えるようになる今回はOpenAIやGoogleなどのモデルではなく、ローカルで利用なLLMをDifyで使えるようにする手順をご紹介します。 LMStudioを準備しよう！実行環境Windows11（RAM 32GB） WSL2 ubuntu Dify:0.6.5（Docker） LMStudio:0.2.21 cursor LMStudioとは？LM Studioは、大規模言語モデル(LLM)を手軽に試せるツールです。プログラミングの知識がなくても、GUIベースの操作でLLMを使った文章生成や会話ができます。（by Perplexity） LMStudioの嬉しい点としては、GPUが無くてもローカル
Difyで生成AIアプリケーション入門 後編：自作プログラムで機能追加して生成AIの指向性と精度を高める | フューチャー技術ブログ
概要前回に引き続き Dify と Anthropic Claude （OpenAI でも OpenRouter 経由の何かでもOK）を使って簡単に生成AIアプリケーションを構築する方法をご紹介します。 チュートリアル3：セルフレビュー機能付きのSQL生成AIチャットbot前編のチュートリアル1で作ったSQL生成チャットbotをベースに、セルフレビュー機能を追加し、間違ったSQL文や存在しないテーブルやカラムを使用しようとした時に自動でやり直すように改修します。 DB用意SQLの実行環境が必要になりますが、ちょうど Dify が使用している DB（Postgresql） サービスがあるので、これにホストOSからアクセスできるようにします。別でDBを用意できる場合はそちらでもOKです。 docker-compose.yml で以下の行をアンコメントしてください。 docker-compoese
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
JFrogは4月30日(米国時間)、「Nearly 20% of Docker Hub Repositories Spread Malware & Phishing Scams」において、コンテナイメージ共有サービスの「Docker Hub」を悪用する3つのサイバー攻撃のキャンペーンを発見したと伝えた。Docker Hubにホストされる1,500万件を超えるリポジトリーのうち、約20%にあたる約280万件のリポジトリーが悪意のあるコンテンツをホストしていたという。 Nearly 20% of Docker Hub Repositories Spread Malware & Phishing Scams Docker Hubの悪用 Docker Hubはコンテナイメージをホストおよび配布するクラウドベースのレジストリーサービス。リポジトリとしての機能を持ち、コンテナイメージ、テキストの説明、
みなさん、お久しぶりです。A7です。ここ数か月いろいろと忙しくてなかなか記事を書けてませんでした。 松尾研LLM講座の記事もそのうちだすのでお待ちください そして今もまだ忙しいので、今回の記事もまたぱっとまとめます。笑 自己紹介 データサイエンティストを目指して日々勉強している、慶應義塾大学大学院理工学研究科1年生（2024.05.01時点） 取得資格、コンペ優勝経験など、リアルタイムの情報は👇👇👇をみてね X: @A7_data←普段はXで活動しています。ありがたいことに、フォロワーは6500人を超えました😌 プロフィールページ👇👇👇 X👇👇👇 背景 Kaggleやりたい！ってなってた。 Kaggleはデータサイエンティストなら知らない人はいない、世界一のデータサイエンスコンペティションプラットフォーム。 世界の第一線で働くデータサイエンティストの方も多く参加されてお
Dokploy DokployはVercelやNetlify、Herokuなどの代替として開発されたオープンソースのPaaS（Platform as a Service）です。セルフホスト可能で、DockerとTraefikを使用してアプリとデータベースのデプロイ及び管理を簡素化してくれる、というものだそうです。 Node.js、PHP、Python、Go、Rubyなど様々なアプリを簡単にデプロイしたり、様々なDBのサポート及び作成・管理が可能、Docker管理、Traefikとの統合、CPUやメモリやストレージ、ネットワークなどのリアルタイム監視、データベースの自動バックアップなどを担ってくれます。 効率とセキュリティの強化を重視した設計となっており、アプリの任意のVPSへのデプロイに貢献してくれるとの事です。Vercel、Netlify、Herokuのいずれも使い続ける事に迷いがある開
ラズパイでLLM 普通にローカル動きました。Raspberry Pi 5です。DockerでOllamaを動かしています。簡単にメモします。 ラズパイのセットアップ 以下でラズパイの基本的なセットアップをします。 Dockerをセットアップします。 Ollamaセットアップ 続いてOllamaをセットアップします。ラズパイでDockerを使えば、以下コマンドを実行するだけでOllamaをインストールできます。 $ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Difyって何？ LLMOpsプラットフォームを試してみよう！（構築・アップデート編）｜marumarumaru
クラウド？ローカル？Difyはオープンソースがありますので、この記事ではそちらを使用して構築します。 Difyはクラウドでもサービスを提供されており、常に最新のバージョンが利用可能です。ローカルでのバージョンアップの手順は本記事の下に書いていますのでそちらをご覧ください。 オープンソースは商用利用も可能ですが、規約には必ず従ってください。 ローカルで構築する場合はDockerが必須となります。 筆者はWindow11のWSL2でUbuntu環境にて構築しています。 またエディターはcursorを利用しており、記載しているコマンドはすべてcursorのターミナル上で実行しています。 Difyのインストール手順（cursorのターミナル上で実行）1.Difyのソースコードをクローンし、difyフォルダに移動git clone https://github.com/langgenius/dify
はじめに JCEXで実践しているAPIテストについて 単体テスト 負荷テスト なぜAPIの単体テストを行っているのか API単体テストで使用するパッケージ 実例によるAPI単体テストの環境構築 前提 ステップ１: テストしたいAPIの定義 ステップ２: テストの作成 ステップ３: APIの実装 ステップ４: DBを使ったテスト ステップ５: ヘルパー関数化 ステップ６: テーブル駆動テストに変える ステップ７: フィクスチャを使ったテスト まとめ おわりに はじめに こんにちは、enechainのGXデスクでエンジニアをしている@ejiです。 GXデスクは、『日本気候取引所 - Japan Climate Exchange』 (以下 JCEX) のサービス開発を担当しており、 私は主にBFFとバックエンドのAPIをGoで開発しています。バックエンドのAPIは gRPC を使用しています。
こんにちは、クラウド事業部の中根です。 未経験からKubernetesに入門して約１か月が経ったので、振り返りたいと思います！ 実務に入る前の予習なので、実務を通した実践的な学習はしていない点はご了承ください。 学習の動機 入門前のレベル感 学習プロセス 入門0～7時間 入門7～32時間 入門32～60時間目 入門60～71時間目 入門71～132時間目 +α できるようになったこと 次のステップ これから入門する方へ おわりに お知らせ 学習の動機 私は中途入社で、案件は決まったのですが、参画まで1か月半ほど待機期間となりました。 クラウドネイティブな案件ということで、この期間を活かしてKubernetesのキャッチアップをすることになりました。 入門前のレベル感 IT業界経験が3年と1か月です。 以下、関係する領域の詳細です。 Kubernetes ほぼ未経験。 OpenShiftをち
ローカルLLMを手軽に楽しむ ローカルLLMを手軽に動かせる方法を知ったので紹介します。今まではLLMやPC環境（GPUの有無）に合わせてDocker環境を構築して動かしていました。 それが、OllamaとOpen WebUIというソフトを組み合わせることで、ChatGPTのように手軽にローカルでLLMを動かすことができます。参考にしたサイトなどは本記事の末尾で紹介します。特にもりしーさんの動画はきっかけになりました（感謝です）。 動かす方法として以下2つを紹介します。 Ollama単体で動かす方法（初心者向け） Ollama + Open WebUIでGUI付きで動かす方法（Dockerが分かる人向け） 初心者でとりあえずLLMを動かすのにチャレンジしたいという人は、1つ目のOllama単体で動かす方法にトライするのがおすすめです。 Dockerとか普段から使っているという人は、1をとば
はてなブログ独自の集計による人気記事のランキング。4月21日（日）から4月27日（土）〔2024年4月第4週〕のトップ30です*1。 # タイトル／著者とブックマーク 1 差別語の三相を見つめて適切に距離を取る - やしお by id:Yashio 2 江崎グリコの基幹システム移行トラブルについてまとめてみた - piyolog by id:piyokango 3 エンジニアが鬼怒川温泉でワーケーションしてきたよ - ひらめの日常 by id:thescript1210 4 雰囲気でDocker Composeを触っている状態から脱するために調べたこと（2023） - Activ8 Tech Blog by id:Synamon 5 日報を自分のために書いてみよう - KAKEHASHI Tech Blog by id:kakehashi_dev 6 スクラム開発がエンジニアから成長機会を
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
Dockerのコンテナイメージを1/10以上軽量化してみた - Qiita
折角自宅サーバーがあるのでハッカーっぽい雰囲気を出す【Pi-hole】 - Qiita
GitHub、Dependabotの基本コンポーネントdependabot-coreをOSSとして利用可能に | gihyo.jp
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
これを知らないともったいない！Kubernetes関連の便利ツール20選 - Qiita
Google ColabでTimesFMを動かして予測してみた - Qiita
Dockerコマンドの挙動を図解にして覚えやすくしてみた - Qiita
GitHub Actions 上での Go の Docker ビルドを高速化する
「XML」と「YAML」の違いとは？ 意外と身近なデータシリアライズ言語
Cognito で Laravel の認証を実装する | DevelopersIO
DockerでLaravel 11のローカル開発環境を構築する。ついでにphpmyadminも入れてみる。
噂のノーコードAIシステム開発環境Difyを使ってツールを作ってみた。使った感想｜shi3z
Dockerで構築したDifyを利用しノーコードでRAGのチャットボットを作る - Qiita
Difyをローカルで動かしてRAGまで試してみる
ノーコードLLMアプリ開発ツール「Dify」完全ガイド：Mac上でRAG対応のChatGPTを自作する
ノーコードLLM統合アプリのdifyでollamaと連携してみた - Qiita
DockerのMySQLで日本語入力ができなかった話 - Qiita
Difyをクラウドで構築しよう！（Google Cloud編）｜marumarumaru
今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
ノーコードで、高機能AIチャットbotを作ろう。「Dify」を徹底解説｜ChatGPT研究所
DifyでローカルLLMを使ってみよう！｜marumarumaru
Docker Hubのリポジトリ280万件以上がフィッシング攻撃に悪用、注意を
自前GPUを使ったKaggle環境をローカルのVSCode（Cursor）に作るのに手こずった話 - Qiita
VercelやNetlify、Herokuなどの代替として開発されたオープンソースのPaaS・「Dokploy」
Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす
GoでgRPCのAPIテスト環境を構築する - enechain Tech Blog
【Kubernetes】未経験から1か月経ったので振り返る - APC 技術ブログ
Ollama + Open WebUI でローカルLLMを手軽に楽しむ
今週のはてなブログランキング〔2024年4月第4週〕 - 週刊はてなブログ