最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
M1MacでOllamaを試したら爆速で驚いた
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
Windows 11、デフォルトでTarファイルの作成が可能に。これでWindowsはTarファイルの解凍と作成の両方に対応へ
Windows 11、デフォルトでTarファイルの作成が可能に。これでWindowsはTarファイルの解凍と作成の両方に対応へ 次のWindows 11の大型アップデートで、Tarファイルの作成にデフォルトで対応予定であることが明らかになりました。 現在開発中のWindows 11β版で、ファイルエクスプローラーのコンテキストメニューにTarファイルに圧縮するメニューが追加されると、同社のブログ「Announcing Windows 11 Insider Preview Build 22635.3640 (Beta Channel)」で発表されました。 Tarファイルは複数のファイルを1つにまとめることができるファイル形式です。Tarという名称は磁気テープにデータを保存する「テープアーカイブ」（Tape Archive）から由来することからも分かるとおり、古くからUNIXでよく使われてきま
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
GIMPで画像生成AIを使えるようにしてNPUでの処理も可能にするOpenVINOプラグイン「OpenVINO AI Plugins for GIMP」レビュー
Intel製CPU搭載を搭載したPCでGPUなしでもStable Diffusionを用いた画像生成を可能にするGIMP用プラグイン「OpenVINO AI Plugins for GIMP」がGitHubに公開されています。特徴的なのは、AIの演算処理に特化したプロセッサ「NPU」に対応しており、NPUを使った画像生成が可能だという点。ちょうどNPUを搭載したXPS 13とXPS 14をDellから借りていたので、導入から実際に使うところまでをまとめてみました。 GitHub - intel/openvino-ai-plugins-gimp: GIMP AI plugins with OpenVINO Backend https://github.com/intel/openvino-ai-plugins-gimp/tree/main ◆目次 1：導入方法 2：使い方 ◆1：導入方法 使
php-fpm の挙動を確認するために発行されるシステムコールを簡単に確認できる Docker Compose 環境を作りました。 github.com システムコール strace-php-fpm strace オプション php-fpm が発行するシステムコール例 ini ファイルの探索 nginx からの FastCGI リクエスト PHP ファイルの読み込み さいごに 参考 システムコール システムコールは、php-fpm のようなユーザプログラムが、ファイル操作やネットワーク通信、プロセス制御のようなカーネルが提供する機能を利用する仕組みです。PHP コードは PHP（ここでは php-fpm）で実行する必要があるので、php-fpm が発行するシステムコールを確認することで php-fpm や PHP コードがどのように動作しているかを知る手掛かりになります。 システムコールを
Ubuntu Weekly Recipe 第814回1500円以下で買えるRaspberry Pi PicoサイズのRISC-VボードなMilk-V DuoでUbuntuを動かす Ubuntu 24.04 LTSではRISC-Vボードのひとつである「Milk-V Mars」をサポートしました。これは中国のRISC-V製品のベンダーであるMilk-Vが作っているRaspberry Piライクなシングルボードコンピューターです[1]。ただしこのMarsはなかなか入手できない状況が続いています。Milk-Vでは他にも64コア搭載されたPCライクなPioneer、10GbEのネットワークスイッチとして使えるVegaなどもリリースしています。今回はRaspberry Pi Picoサイズの小さなボードで、比較的安価で入手性が高いMilk-V Duoシリーズに、Ubuntuをインストールしてみましょう
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 本記事の要点 「RebornOS」は「Arch Linux」ベースの美しくユーザーフレンドリーなディストリビューション。現在無料で入手してインストールできる。 ほぼすべてのタイプのユーザーに適したデスクトップ環境を提供（インストール時に選択）。 プリインストールされたアプリストアが正常に機能せず、別のストアへの交換が必要。 「RebornOS」を構築した開発者、アーティスト、その他の個人で構成されるチームには、ある重要な目標があった。それは、「Arch Linux」を可能な限りユーザーフレンドリーにすることだ。 その目標は達成されたと断言していい。RebornOSによってArch Linuxが使いやすくなり、適切なデスクトップと組み合わ
Motivation Introduction User input strace Printing non-printable stty raw -echo -isig UTF-8 Conclusion Motivation This blog series explains how modern terminals and command-line tools work. The primary goal here is to learn by experimenting. I’ll provide Linux tools to debug every component mentioned in the discussion. Our focus is to discover how things work. For the explanation of why things wor
RubyKaigi 2024に参加してきました。 今回参加までに紆余曲折あったので、一時は参加を諦めていたんですが、何とか無事参加することが出来ました。 2011年に初参加して以来休まず参加していたので、ついに連続参加が途絶えるのかと思ってましたが、無事連続参加を達成できて嬉しい限りです。 今回はそういう事情もあってか、コミュニティとの繋がりを強く感じることができたRubyKaigiでした。 色々思いが溢れてしまって、技術的に楽しかったこと、自分が嬉しかったこと、参加前の事情とか全部書いてたらえらい分量になってしまいました。気が向いたら目に付いたところだけ読んでくださいw 参加前 そもそも何があったかというと、大体去年の12月ぐらいから咳が止まらなくなり、更に年明けぐらいに高熱が出た上で咳が出続けている状態でした。 余りに咳が酷かったので、喉に傷が付いた後胃酸が逆流したりして声帯の近くに潰
Announcing the AI Toolkit for Visual Studio Code
We are excited to introduce the AI Toolkit for Visual Studio Code, a powerful VS Code extension available today in the Visual Studio Marketplace. AI Toolkit enables developers to explore, try, fine-tune, and integrate state-of-the-art models from Azure AI Studio and HuggingFace into applications. The AI Toolkit is an evolution of the Windows AI Studio extension that was released in November 2023.
Unlock a new era of innovation with Windows Copilot Runtime and Copilot+ PCs
I am excited to be back at Build with the developer community this year. Over the last year, we have worked on reimagining Windows PCs and yesterday, we introduced the world to a new category of Windows PCs called Copilot+ PCs. Copilot+ PCs are the fastest, most intelligent Windows PCs ever with AI infused at every layer, starting with the world’s most powerful PC Neural Processing Units (NPUs) c
AI企業がオープンソースという言葉を都合よく利用する「オープンウォッシング」の問題をNew York Timesも取り上げる - YAMDAS現更新履歴
www.nytimes.com 一部の AI 企業が「オープンソース」の看板をユルユルに使っていることに対する批判を取り上げた記事だが、まさにワタシが WirelessWire News 連載やこのブログで以前に取り上げた問題ですね。 オープンソース AI の支持者たちは、その方が社会にとってより公平で安全だと言うが、一方で反対者たちは悪意をもって悪用される可能性が高いと言う。この議論にはひとつ大きな問題がある。オープンソース AI が正味のところ何なのか合意された定義が存在しないのだ。それに AI 企業を――「オープンソース」という言葉を使って自分たちを不誠実にもよく見せようとする――「オープンウォッシング（openwashing）」と非難する声もある（オープンウォッシングという非難は、オープンソースの看板をあまりにも緩く使ったコーディングプロジェクトに向けられたことがある）。 ようやく
デジタルペンテスト部でペネトレーションテストを担当している小松奈央です。 ペネトレーションテストを実施する中で、ほぼ必ずと言ってよいほど検出される問題に「パスワードの強度に関する指摘事項」があります。 これは一言で言えば弱いパスワードが使用されているという問題であり、ペンテスター（攻撃者）の観点からすれば非常に悪用が容易、かつシナリオの達成（攻撃目的の達成）に直結することも多いことから真っ先に狙う脆弱性です。 しかし、ペネトレーションテストの中でパスワードの強度を確認する際には、気をつけなければならないことがあります。 それは、アカウントロックです。 これは、本番環境で実施することが多いペネトレーションテストにおいて、アカウントロックを発生させてしまうと、テスト対象組織の実業務に影響を及ぼしてしまう可能性があるためです。 アカウントロックは、一定の回数認証に失敗するとアカウントがロックされ
マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、同社の独自Armプロセッサ「Azure Cobalt 100」を用いた仮想マシンをAzureでプレビュー公開すると発表しました。 マイクロソフトは昨年（2023年）11月に、クラウド向けに最適化したArmベースの独自設計プロセッサとして「Azure Cobalt 100」を発表していました。 参考：［速報］マイクロソフト、Armベースのクラウド向け独自プロセッサ「Microsoft Azure Cobalt」発表。高い電力効率を提供。Ignite 2023 Azure Cobalt 100ベースの仮想マシンは、以下の3つのシリーズが提供されます。 Dpsv6シリーズ：最大96 vCPUs／384 GiBsメモリ(4:1 memory-to-vCPU ratio) Dplsv6シリーズ
GitHub - leukipp/cortile: Linux auto tiling manager with hot corner support for Openbox, Fluxbox, IceWM, Xfwm, KWin, Marco, Muffin, Mutter and other EWMH compliant window managers using the X11 window system. Therefore, this project provides dynamic tilin
Linux auto tiling manager with hot corner support for Openbox, Fluxbox, IceWM, Xfwm, KWin, Marco, Muffin, Mutter and other EWMH compliant window managers using the X11 window system. Therefore, this project provides dynamic tiling for XFCE, LXDE, LXQt, KDE and GNOME (Mate, Deepin, Cinnamon, Budgie) based desktop environments. License
AWS 運用におけるベストプラクティスが学べる【Cloud Operations on AWS】を受講してみた | DevelopersIO
こんにちは、AWS事業本部オペレーション部の清水です。 AWS Certified SysOps Administrator - Associate 認定を取得するべく、「Cloud Operations on AWS」を受講してきました。 今回のトレーニングはドライランになり、試験的にまず社内向けに実施されました。今後は一般の皆様向けにご提供されるコースになります。 本コースの受講をお考え中の方へ、お役に立てば幸いです。 AWS認定トレーニングとは？ 以下のブログに、弊社AWS認定トレーニング講師の平野のほうで執筆した各トレーニングの詳細が記載されています。 私が今回受講したのは、まだドライランのためこちらの図には載っておりません。（多分、今後掲載されるはずです） 前提条件 AWS Technical Essentials コースの修了 ソフトウェア開発またはシステム管理の経験 コマンド
Systems managerで取得した内容をCloud watchで表示してみた - APC 技術ブログ
◆記事概要 AWSのSystem Manegar（以下SSM）でCloudWatchをインストール、メトリクスの取得を行ってみました。 やったことは、 ①EC2インスタンス（Amazon Linux2）の作成 ②IAMロールの作成・アタッチ ③SSMでEC2インスタンスへのCloudWatchAgentインストール ④EC2インスタンスでのCloudWatchAgentインストール ⑤CloudWatchメトリクスでの確認 になります。 ◆記事概要 ◆筆者情報・取得資格 ◆本文 ★EC2インスタンス（Amazon Linux2）の作成 ★IAMロールの作成・アタッチ ★SSMでEC2インスタンスへのCloudWatchAgentインストール ★EC2インスタンスでのCloudWatchAgentインストール ★CloudWatchメトリクスでの確認 ◆まとめ・最後に ◆筆者情報・取得資格
Oracle、「Oracle Database 23ai」を発表 AIベクトル検索に対応、SQLでBoolean型を追加
Oracleは2024年5月4日（米国時間）、コンバージドデータベースの最新バージョン「Oracle Database 23ai」（旧称：Oracle Database 23c）を発表した。Oracle Database 23aiでは、AI（人工知能）に焦点を当て、製品名を23cから23aiに変更したとしている。 Oracle Database 23aiは「Oracle Exadata Cloud@Customer」「OCI Exadata Database Service」「OCI Base Database Service」「Azure Oracle Database Service」で利用できる。自律型データベース「Oracle Autonomous Database」を無料で提供する「Always Free」版でも同バージョンを利用可能で、「Autonomous Database
はじめに 私は普段、検証用のLinux環境として、個人のWindows PC上に導入した仮想化ソフトウェア(VMWare Workstation Pro)内にゲストOSとしてインストールしたLinuxを使用しています。 一方、仕事用のWindows PCの場合は、基本的に社内で承認されたソフトウェアのみ利用可能であるため、簡単に社外のサイトから仮想化ソフトウェアを導入し、その中にLinuxをインストールするということができません。ただ、Linux環境があると、Linuxでしか対応してないコマンド等があるので、何かと便利です。 そこで、仕事用のPCに限り、今回WSL(Windows Subsystem Linux)を導入してLinux環境を作成しました。 ただ、仮想化ソフトウェア上にLinuxをインストールする場合と違い、色々つまずきポイントがありましたので、WSLを導入・使用する上で、よく
関連キーワード Windows Server | Microsoft（マイクロソフト） | サーバ | サーバ仮想化 MicrosoftのサーバOS「Windows Server」の次期バージョン「Windows Server 2025」には、従来にはなかった目新しい機能や特徴が加わる。Windows Server 2025の一般提供は2024年の後半には開始になるとみられる。 Windows Serverを使用してきたIT管理者であれば、Windows Server 2025を違和感なく扱えるはずだ。それでも一部は大幅に変わる可能性があるので、特に目立った変更になりそうな3つのポイントを確認しておこう。 「Windows Server 2025」の“3大変更点” 併せて読みたいお薦め記事 その他OSで人気の話題 Linuxを守る「SELinux」と「AppArmor」は何が違うのか？ C
グーグルは5月23日（現地時間）、デスクトップ版「Google Chrome」に対し、セキュリティー修正を伴うアップデート配信を開始した。 今回のアップデートで修正されたのは、「CVE-2024-5274（Type Confusion in V8）」と呼ばれる脆弱性。重大度（危険性）は上から2番目の高で、グーグルはすでに本脆弱性を突いた攻撃の発生を確認している。 対策済みのバージョンはWindowsおよびmacOS版がバージョン125.0.6422.112／.113以降、Linux版が125.0.6422.112以降。アップデートは自動で配信されるが、ブラウザーの設定から「このChromeについて」を選択し、手動で適用することも可能だ。
「日立ベーシックマスターが帰ってきた」に書いたように、私が人生で初めて使ったコンピュータであるベーシックマスター MB6881 が手元に戻ってきたのが2018年のことだ。一緒にテープが少々戻ってきたので、そのうち読み込んでおこうと思っていたら 6年も経ってしまった。小学生が卒業してしまう。 さすがにそろそろ手をつけておこうと思って作業しているのだが、意外に楽しい。テープは読めなかったり欠落してたりするのだけど、再移植なりなんなりすれば良いわけで、当時に戻った気持ちで作業している。 とはいえ、いまさら8bit環境でポチポチするのは辛いので、クロス開発できる環境を作って、主な作業はMacOSでやることにした。実に快適である。昔の100倍ぐらいの効率で開発できそうな気がする。頭の回転が1/10になっていても、10倍だ。すごい。 現在入手できるエミュレーターは多数あるいつの間にか増えてます。CH3
ESETは5月14日(現地時間)、「Ebury is alive but unseen: 400k Linux servers compromised for cryptotheft and financial gain」において、Linuxサーバを標的とするマルウェア「Ebury」について分析結果を伝えた。Eburyは過去に実行犯が逮捕されているが、それでも侵害は止まらず開発も継続しており、クレジットカードや暗号資産の窃取を行うように進化したという。 Ebury is alive but unseen: 400k Linux servers compromised for cryptotheft and financial gain Eburyの進化 ESETはマルウェアの新しいサンプルと手法を入手するために、ハニーポットを設置している。しかしながら、Eburyを使用する攻撃者はその一歩
未経験から IT エンジニアを安心して目指すには？現実の壁と成功へのロードマップ 7 ステップ | 安定志向のITキャリア入門
YouTube で見る 未経験からでも IT エンジニアになれる？ それって本当に現実的なの？ 未経験から IT 業界への転職は、様々な情報が錯綜していて心配かもしれませんね。わたし自身も IT エンジニアになる際は先行きの不透明さから不安でした。 しかし、その不安や心配は大切なサインです。わたしの 20 年の IT エンジニア経験を鑑みても、安心して IT キャリアを歩むためには押さえておいた方が良い大事なポイントがあります。 この記事ではまず、未経験の方が不安に感じる理由の候補 7 つを明らかにします。その上で、それらの不安を安心に変え、現実の壁を乗り越えるロードマップをお伝えします。 この記事を読むことで、あなたは IT キャリアへの不安を払拭する術を知ることができます。安心して次へのアクションを始められるようになりますよ！ この記事を書いた人 りもじい YouTube X Inst
【初心者向け】AWS CloudFormationでWeb3層構造のWordPress環境を構築（Session Manager接続可） - APC 技術ブログ
目次 目次 はじめに 構成図 テンプレート スタック作成 動作確認 スタック削除 まとめ お知らせ はじめに こんにちは。クラウド事業部の西川です。 タイトルの通り、AWS CloudFormationでSession Managerによる接続が可能なWeb3層構造のWordPress環境を構築しようと思います。 構成図 テンプレート AWSTemplateFormatVersion: '2010-09-09' Description: Single-AZ WordPress Blog Site Parameters: DatabaseMasterName: Description: Database Master User Name Type : String Default: admin DatabaseMasterPassword: Description: Database Mas
米Microsoftは5月21日（日本時間）、「AI Toolkit for Visual Studio Code」を発表した。「Visual Studio Marketplace」から無償でダウンロードできる。 【画像】ローカルで実行できるように最適化された「Azure AI Studio」モデルのカタログ 「AI Toolkit」は「Visual Studio Code」に対応する拡張機能で、2023年11月にリリースされた「Windows AI Studio」拡張機能の進化版と位置付けられている。アプリで新しいAIモデルを実験するプロセスをプラットフォームを問わずシンプルにしてほしいという「Windows AI Studio」ユーザーの要望に応え、「Azure AI Studio」と「Hugging Face」の最先端のモデルを探索・試用・微調整し、アプリへ統合できるように再構築した
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
Docker Compose で php-fpm が発行するシステムコールを見る - Shin x Blog
第814回 1500円以下で買えるRaspberry Pi PicoサイズのRISC-VボードなMilk-V DuoでUbuntuを動かす | gihyo.jp
「Arch Linux」ベースでもシンプルな使用感--デスクトップ環境が豊富な「RebornOS」
How terminal works. Part 1: Xterm, user input
RubyKaigi 2024に参加できて本当に良かった - joker1007’s diary
アカウントロックにご用心！Windowsにおける認証の罠 - ラック・セキュリティごった煮ブログ
［速報］マイクロソフト、独自Armプロセッサ「Cobalt」を用いた仮想マシンをAzureでプレビュー公開開始
WSLの導入・使用関連で陥りやすいポイント - Qiita
新サーバOS「Windows Server 2025」に加わる“3大変更点”はこれだ
グーグル「Chrome」に緊急アップデート すぐ更新を
いまさらベーシックマスターの開発環境を作ってみる(1) | ず＠沖縄
Linuxサーバ狙うマルウェア「Ebury」、認証情報や暗号資産を窃取
Microsoft、「AI Toolkit for VS Code」を発表（窓の杜） - Yahoo!ニュース