コードの脆弱性をAIが自動で発見、解説と修正提案する機能をGitHubが発表。JavaScript、TypeScript、Java、Python対応 | テクノエッジ TechnoEdge
ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 GitHubは、脆弱性のあるコードをAIボットが自動的に発見、修正したコードとその解説をプルリクエストしてくれる「code scanning autofix」（コードスキャン自動修正機能）を発表しました。 下記がそのコードスキャン自動修正機能の説明です。「Found means fixed: Introducing code scanning autofix, powered by GitHub Copilot and CodeQL」から引用します。 Powered by GitHub Copilot and CodeQL, code scanning autofix covers more than 90% of alert types
ウォンテッドリーのバックエンド領域を支える言語の歴史を読み解く | Wantedly Engineer Blog
こんにちは、ウォンテッドリー株式会社でインフラエンジニアをやっている @fohte です。 筆者はウォンテッドリーに join して 1 年が経過しようとしており、ようやくウォンテッドリーが採用しているアーキテクチャについて全貌が掴めてきました。そこで改めてウォンテッドリーの技術スタックを考え直してみると、ウォンテッドリーのバックエンド領域において利用している言語はなぜ採用されているのかが気になりました。今回はそれを読み解くべく、過去から現在までに利用されている言語の比率から、その背景と歴史を追っていきます。 ウォンテッドリーで採用している言語とアーキテクチャの歴史まずはじめに、ウォンテッドリーでは下図の技術およびアーキテクチャを選定しています。 (参考: 技術とアーキテクチャ - Wantedly Engineering Handbook) 本記事では、この図での "The System
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
本記事について 2023年10月にSpotifyが新たな近似最近傍探索ライブラリとして「Voyager」を発表した[1]。本記事ではVoyagerについて調べたことや、単語の類似検索をユースケースとした実装サンプル、Annoyとの性能比較の結果を備忘としてメモしておく。 近似最近傍探索とは Voyagerの話に入る前に、近似最近傍探索について説明する。 最近傍探索 (Nearest Neighbor Search)とは、あるベクトルのクエリが与えられたときに、そのクエリと「最も似ているベクトル」をベクトルの集合から見つける技術である。 ナイーブな方法としては、クエリのベクトルと、集合の一つ一つのベクトルとの距離をコサイン類似度などで計算し、最も距離が近いものを抽出する線形探索が考えられる。しかし、このアプローチではO(N)（Nは集合のサイズ）で探索に時間がかかるため、データセットが膨大にな
1. はじめに ついに ChatGPT-4V が使えるようになりました！ これまでGUIを作成するときには、ChatGPT に 「まず左上にテキストボックスがあって、その右にボタンがあって...」 とちまちま指示する必要があったのですが、GPT-4V により画像を渡せるようになります。 この記事では、ChatGPT-4V を使うと GUI 作成がどのくらい楽になるのかを検証してみたいと思います！ 作成するGUIはこちらのものです。 2. GPT-4V の読み取り精度の確認 2.1. 日本語のポンチ絵 まず、元の記事で使用した日本語のポンチ絵を渡して、どのように読み取れるのかを確認します。 GUIの各要素の位置はなんとなく読み取れている感じがしますが、日本語の読み取り精度はあまり高くないようです。 2.2. 英語のポンチ絵 先ほどのポンチ絵を英語に変換してみます（左下だけ詳しく書き直しました
February 05, 2024 · 26 mins · 4728 words Discussion on HackerNews. Last September I hopped on board with Wallapop as a Search Data Scientist and since then part of my work has been working with Solr, an open source search engine based on Lucene. I’ve got the basics of how a search engine works, but I had this itch to understand it even better. So, I rolled up my sleeves and decided to build one fr
「Llama.cpp」で「Llama 2」を試したので、まとめました。 ・macOS 13.4.1 ・Windows 11 前回 1. Llama.cpp「Llama.cpp」はC言語で記述されたLLMのランタイムです。「Llama.cpp」の主な目標は、MacBookで4bit量子化を使用してLLAMAモデルを実行することです。 特徴は、次のとおりです。 ・依存関係のないプレーンなC/C++実装 ・Appleシリコンファースト (ARM NEON、Accelerate、Metalを介して最適化) ・x86アーキテクチャのAVX、AVX2、AVX512のサポート ・Mixed F16/F32精度 ・4bit、5bit、8bit量子化サポート ・BLASでOpenBLAS/Apple BLAS/ARM Performance Lib/ATLAS/BLIS/Intel MKL/NVHPC/AC
Memray公式サイトのキャプチャ インストール方法は以下のとおりです。 $ pip install memray Memrayの基本的な使い方 Memrayがインストールされていると、memrayコマンドが使えるようになります。 プロファイリング対象のスクリプトをmemrayから実行すると、スクリプトを実行した同じフォルダに実行時のプロファイリング結果がバイナリ形式でファイルに保存されます。 プロファイルの実行 サンプルのPythonスクリプトとしてsample.pyを準備します。以下のコードでは、状態表示をわかりやすくするために1秒間の待ちを入れています。実行内容は、リスト内包表記で要素数が約1億個のリストを生成しています。 sample.py - リスト内包表記でリストを作る import time time.sleep(1) # 状態表示をわかりやすくするために1秒待つ resul
LaTeX と Python で作る 1 ポイントたりとも表示崩れしない最強の帳票印刷ソリューション - Qiita
元ネタ 元ネタはこちらです（以下「Figma と PHP」で略します）。 読んでなるほどと思いました。このように、誰かが苦労したおかげで後続が楽になるので感謝です。何が問題点として生じるのか、どんな解決方法が考えられるのか、が予め判明しているだけでもだいぶ楽になります。 反面、$\LaTeX$ の方が実装は簡易ではないかと思ったので、それを実践してみました。 条件と問題点 Figma と PHP の 44 ページに以下のような条件があります 改めて、満たしたい条件 ミリ単位で細かく帳票をデザインしたい。 帳票デザインの保守性を維持するためにはビジュアルデザイン必須 印刷時に見た目が一切崩れない さらに、次のような障害を次々とクリアしていってます。 文字参照の問題 枠からのはみ出しの問題 右寄せの問題 自動折り返しの問題 連票の問題（簡易な解説のみ） これらを $\LaTeX$ と Pyth
Magika
株式会社ディー・エヌ・エーに AI スペシャリストとして新卒で入社した @634kami です。 CNNなどディープなニューラルネットワークの台頭により一躍世界中の関心を集めるようになった機械学習分野ですが、最近の生成AIブームによりますます関心が高まっています。機械学習については、画像や自然言語といった馴染み深いデータを対象に扱うものについてはよく知られていますが、グラフと呼ばれるデータを扱うグラフニューラルネットワーク(GNN) については研究における注目度の割に、世間からの知名度がありません。 この記事では、グラフについて知らない方でも分かるように、最初にGNNが何に使えるのかの話を中心に解説した後、実際の仕組みを知りたい方向けにモデルの紹介や様々なトピックについて網羅的に解説します！また、最後に PyTorch Geometric(PyG) を利用した実装方法についても触れます。
なぜ今、大人もプログラミングを学ぶべきか？〜Pythonを用いたブロックプログラミング体験 - paiza times
＜この記事の著者＞ 上田茂雄（ueponx） - Tech Team Journal IoTと電子工作に情熱を持ち、プログラミングと最新のガジェットを好む。新しい技術を学びながら実践的なプロジェクトに取り組んでいる。技術を磨き、常に新たな挑戦。 この記事ではこれまでプログラミングの学習を行ったことのない初心者に向け、非常にハードルの低いブロックプログラミングの体験を通してプログラミングの初歩を体験する内容となります。 【目次】 なぜ今、大人もプログラミングを学ぶべきか？ 1. テクノロジーに対する理解が深まる 2. 問題解決スキルの向上 3. コミュニケーションスキルの向上 4. 職業の選択肢が広がる EduBlocksとPython：初心者に易しい最初の一歩 EduBlocksの概要：ブロックベースのプログラミングとは？ 初めてのEduBlocksプログラム：シンプルな例で理解する 実践
こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI
今回も導入方法などは説明しないので、まだ環境が用意できていない方は本家リポジトリのREADMEを参考にしてください。 オプション下記のコードを実行することで設定ファイルを開きます。これから説明するオプションは、このファイルかpythonコードに記載してください。 interpreter --config# config.yaml system_message: | You are Open Interpreter, a world-class programmer that can complete any goal by executing code. First, write a plan. **Always recap the plan between each code block** (you have extreme short-term memory loss, so you
【Python】__〇〇__ メソッドの正体
__〇〇__メソッドの正体 is「特殊メソッド」 Python で開発する際、__init__ をはじめとする __ (アンダースコア*2) で囲まれたメソッドを目にする機会があると思います。 これらのメソッドは「特殊メソッド」と呼ばれ、Python では以下のように定義されています。 special method (特殊メソッド) ある型に特定の操作、例えば加算をするために Python から暗黙に呼び出されるメソッド。この種類のメソッドは、メソッド名の最初と最後にアンダースコア2つがついています。 つまり、独自で定義したクラス内でこれら特殊メソッドをオーバーライドすることで、特定の操作の振る舞いを変更できるようになります。特殊メソッドはそれを直接呼び出すというよりは、既存の演算子などの振る舞いを変更するというイメージです。 例えば、インスタンス同士の加算処理を実装したい時、新たに ad
ゼロからはじめるPython(115) 簡単GUIライブラリ「PySimpleGUI 5」の有償化と互換ライブラリについて
先日、手軽に使えるGUIライブラリ「PySimpeGUI」のバージョン5がリリースされ、それに伴って商用利用が有償化された。個人利用はこれまで通り無償だがライセンス登録が必要になる。そこで、本稿ではPySimpleGUIを使い続ける方法と、互換ライブラリ「TkEasyGUI」に乗り換える方法の二つを紹介する。 「PySimpleGUI」と互換ライブラリの「TkEasyGUI」を紹介する 簡単GUIライブラリ「PySimpleGUI」について 本連載の109回目でPySimpleGUIの使い方を紹介した。PySimpleGUIは独自のイベントモデルを採用し、二次元リストを使って手軽にGUIを構築できるライブラリだ。 PySimpleGUIのWebサイト - https://www.pysimplegui.com PythonでGUIを持つデスクトップアプリを開発するには、TkinterやPy
野球AIチャットが作りたくなったのでひとまず, バックエンドから作ってみた - FastAPIからOpenAIをいい感じに使う何か - Lean Baseball
※このエントリーは「OpenAIをいい感じに使うバックエンドをFastAPIで実装したぜ！」というエントリーです（サンプルコードはこちら）, 「OpenAIで何かを作った・人工知能を産んだ」訳では無いのでそっち方面を期待している方はそっ閉じしたほうが良いかもしれません（Web API開発に興味ある人はそのまま読んで）. 趣味は野球観戦と見せかけて, 「休日にダラダラ野球見ながら趣味のコードを書く」のが最も好きな人です. 100敗待ったなしの贔屓チームがいきなり7連勝したり*1, 昨年まで扇風機状態だった贔屓チームのフィジカルモンスターが突然覚醒して4番ライトに定着*2したりと理解が追いつかない野球を見るのはこれぐらい（コード書きながらみる）ぐらいがちょうどいいと思ってます, だってプレーオフ行けるか怪しいですもの*3. 時は遡り2020年, 私はセイバーメトリクスといくつかの機械学習の知見
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 の藤井(@okoge_kaz)です。 大規模モデルへの注目の高さを肌で感じる今日このごろですが、事前学習の知見については依然として十分に共有されているとは言い難いと個人的に感じています。 Turing株式会社では、次世代の自動運転技術を支える技術の1つとして大規模言語モデルに注目しており、独自に研究開発を行っています。今回は大規模言語モデルを学習する際、用いるライブラリ候補の１つに上がるであろうGPT-NeoXについて解説します。 以下で環境構築方法、学習を行う方法などについて詳しく解説します。 GPT-NeoXとは EleutherAIが管理しているNIDIA/Megatron-LM ベースの大規模言語モデル(Large Language Model: LLM)を学習するためのライブラリです。 Mi
A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
NECは2023年10月19日、Pythonによるデータ解析処理を高速化するソフトウェア「FireDucks」を無償提供すると発表した。これは新エネルギー・産業技術総合開発機構（NEDO）の支援を受けて開発したもので、NECは「データサイエンティストの業務時間を短縮するだけでなく、省電力化やCO2削減など、環境課題解決にも貢献する」としている。 import文を1行書き換えるだけで利用可能 FireDucksは、テーブルデータの分析で標準的なライブラリ「pandas」を使って作成されたプログラムを高速化する。高速化の度合いについてNECは「平均で約5倍、最大16倍高速化する」としている。高速化実現のポイントは「全コアの並列活用」と「処理の最小化」だ。 関連記事 無料で「実践的なデータサイエンス」を学べるオンライン演習を開講 総務省 総務省は、データサイエンスのオンライン講座「社会人のための
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米ジョージア工科大学に所属する研究者らが発表した論文「ManimML: Communicating Machine Learning Architectures with Animation」は、機械学習（ML）アーキテクチャの概念をアニメーションやビジュアライゼーションに変換できるPythonライブラリを提案した研究報告である。 アニメーションは、学習者の興味を効果的に高めることが示されており、システムの状態間の遷移を示すのに特に有用である。このため、複雑な関係を持つ多くの相互作用するコンポーネントを含むことが多いMLアルゴリズムを伝達す
気象庁は観測結果をもとに、各地点について「〇〇年に一度の降水量」を算出し、発表しています。 ある期間内に1回起こると考えられる降水量のことを確率降水量といいます。気象庁の解説ページでは、確率降水量の推定方法が解説されていますので、これに基づいて「〇〇年に一度の大雨」の値を計算してみたいと思います。 大まかには次のような流れになっています。 年最大日降水量のヒストグラムを作成する 分布関数を当てはめる 分布関数の当てはまり具合を確認する 当てはめた分布関数から確率降水量を算出する 今回は、上記3. をとばして、4.の「当てはめた分布関数から確率降水量を算出する」を実際にやってみましょう！ 再現年と確率降水量 気象庁の解説ページにもあるように、再現年 $T$ は $$ T = \frac{1}{1 – F(x; \theta)} $$ で与えられます。ここで、$F(x; \theta)$ は確
はじめに 隔週で開催される社内勉強会で、Python の基本的な言語仕様を紹介するために Ruby 公式の「PythonからRubyへ」というドキュメントを用いた回が意外に盛り上がったので記事にします。 Ruby コミュニティのメンバーによって運営されている Ruby 公式サイトに掲載されているドキュメントで、Python 使いが Ruby と Python の言語仕様の違いを理解するのにぴったりな内容となっています。 今回、こちらのドキュメントの「Python との違い」の章を一部「Ruby との違い」に読み替えて、Ruby 使いに向けた Python との言語仕様の比較を行いたいと思います。 Rubyと違って、Pythonは… Pythonと違って、Rubyは… 引用: PythonからRubyへ 文字列は不変です。 文字列は可変です。 引用: PythonからRubyへ Python
プログラミング入門にピッタリなビジュアル言語「Pickcode」が登場、PythonやJavaScriptなどのより高度なプログラミング言語への移行を促進
プログラミングを始めるための最良の選択肢となることを目指して作成されたビジュアルプログラミング言語が「Pickcode」です。チャットボットやアニメーション、ゲームなどを作成しながらプログラミングについて学べ、PythonやJavaScriptなどのより高度なプログラミング言語への移行を促進することができるようになっています。 Pickcode | Make cool stuff with code https://pickcode.io/ 実際にPickcodeでプログラミングについて学んでみます。上記ページにアクセスして「Try a lesson」をクリック。 すると「最初に作りたいのは何？」という画面が表示され、選択肢として「A chatbot that says a few things(いくつかのことを話すチャットボット)」と「An animated drawing of a r
Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第47回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ GPU上でネイティブ動作する並列処理が可能な新プログラミング言語「Bend」とランタイムシステム「HVM2」 2D画像から3Dコンテンツを生成する「CAT3D」をGoogleが開発 大規模言語モデルは追加学習や新知識で幻覚生成が増加。Googleなどが調査 画像とテキストを使った長文生成が得意なAIモデル「Chameleon」をMetaが開発 Transformerを超える「Mamba」は視覚認識タスクに必要か？ 開発した「MambaOut」モデルで検証 GPU上でネイティブ動作する並列
それぞれのツールに関する詳しい説明は本記事では行いません。詳しく知りたい方は、ツール名のリンクから公式ドキュメント等を参照してみてください。 上記の表に挙げたツール群にはそれぞれに特徴があります。pyenv、venv、pipのように単一機能に特化したものから、Condaのようにデータサイエンスや機械学習プロジェクトで使用される複雑なパッケージの依存関係や環境管理をサポートするツール、PoetryのようにPythonパッケージインデックス（PyPI）への公開をサポートするツールなど、開発シーンに合わせて選択することができます。 uvとは uvは2024年の2月中旬に発表されたばかりの新しいパッケージ管理ツールです。Rustで書かれており、ここ最近で飛躍的に使用されるようになったRust製のPythonリンター＆フォーマッター「Ruff」を開発しているAstral社によって提供されています[1
Python仮想環境 Python3の標準ライブラリであるvenvを用いて仮想環境を構築します。 仮想環境はプロジェクトによってバージョン、ライブラリを使い分けるために使用します。 venvで仮想環境を作成する 以下のコマンドを実行して仮想環境を作ります
ChatGPTを筆頭にした「大規模言語モデル(LLM)」と呼ばれるAIが話題に上らない日はない。このAIが得意なタスクには「プログラムの自動生成」が挙げられるが、Metaからプログラム生成に特化したCodeLlamaが商用利用可能なオープンなライセンスでリリースされた。そこで実際に使ってみよう。 CodeLlamaで素数判定のプログラムを自動生成させたところ プログラミングは大規模言語モデルが得意とするタスク リリースからわずか2ヶ月で1億ユーザーを達成した「ChatGPT」の公開から本稿執筆時点で8ヶ月が過ぎた。筆者も業務でChatGPTをはじめ、Github Copilotなど、大規模言語モデル(LLM)関連サービスを使わない日はないくらいだ。 特に「プログラミング」は、間違いなく大規模言語モデルが得意とするタスクであり、GitHub Copilotを利用している多くの人がその利便性を
2023/11/13追記以下の記事は､Llama2が公開されて数日後に書いた内容です｡ 公開から数ヶ月経った23年11月時点では､諸々の洗練された方法が出てきていますので､そちらも参照されることをおすすめします｡ (以下､元記事です) 話題のLamma2をファインチューニングします｡ QLoRAライブラリを使うパターンと､公式推奨の2つを試しました｡前者が個人的にはオススメです｡ 前提Hugging faceで配布されている公式のモデルが必要です｡以下を参考に､ダウンロードしておきます｡ データセット作成 (7/20 15:20追記 設定ミスってたので修正しました) test.jsonを適当に作ります｡ [ { "input": "", "output": "### Human: 富士山といえば?### Assistant: なすび" }, { "input": "", "output":
Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャート - Qiita
Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャートPythonarray初心者tupleset はじめに みずほリサーチ＆テクノロジーズの @fujine です。 Pythonのリストってとても便利ですよね。可変長で任意のオブジェクトを保存できるため、シーケンシャルなデータなら何でもリストで実装したくなる気持ち、分かります。 でもちょっと待ってください！リスト以外にも便利なコレクション型があること、ご存知でしょうか？コレクション型を適切に使い分けることで、 プログラムの意図を（ドキュメントに頼らなくても）読み手に的確に伝えられる パフォーマンスが向上する などの効果が期待できます。 そこで本記事では、Pythonの組み込み型や標準ライブラリを対象に、リストと似たコレクション型をどのように使い分けるか？の案をフローチャー
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
[python / pandas] DataFrame を扱う人が覚えておきたい、ちょっとレアな便利技16選 - Qiita
[python / pandas] DataFrame を扱う人が覚えておきたい、ちょっとレアな便利技16選PythonpandasDataFrame 概要 そこまでメジャーではない（？） けど、覚えておくと実装時間やコードの行数を大幅削減できる！ という便利な技をご紹介します！ 「そういえばpandasってあんなこともできたような気がするな。」 「自力で実装する前に調べてみようかな？」 と気付けると、時短 & コード量削減できる可能性が生まれます。 ではでは、お楽しみください！！ Environment 以下の環境で動作確認を行いました。 項目 version など
![[python / pandas] DataFrame を扱う人が覚えておきたい、ちょっとレアな便利技16選 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/1fdf771264922ff21df2543db554416b1717fb24/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCcHl0aG9uJTIwJTJGJTIwcGFuZGFzJTVEJTIwRGF0YUZyYW1lJTIwJUUzJTgyJTkyJUU2JTg5JUIxJUUzJTgxJTg2JUU0JUJBJUJBJUUzJTgxJThDJUU4JUE2JTlBJUUzJTgxJTg4JUUzJTgxJUE2JUUzJTgxJThBJUUzJTgxJThEJUUzJTgxJTlGJUUzJTgxJTg0JUUzJTgwJTgxJUUzJTgxJUExJUUzJTgyJTg3JUUzJTgxJUEzJUUzJTgxJUE4JUUzJTgzJUFDJUUzJTgyJUEyJUUzJTgxJUFBJUU0JUJFJUJGJUU1JTg4JUE5JUU2JThBJTgwMTYlRTklODElQjgmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWRmZjBhYmUyNGZlOGY3NjM2MDM4ZjJiMjM1ZGE0MzFl%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc2lydWt1NiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MjJiNDE3MWNjYzU2ZWZjNjAwYjdlMjU2ZmYyNTk4YmU%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D9829ac14a83925da26bda63a442ed415)
非同期処理は、データ解析、APIリクエスト、ベクター化など多様なタスクにおいてパフォーマンスを向上させる鍵となる技術です。特に、待ち時間が発生しやすい多数のリクエストや処理を一度に効率よく処理したい場合、この技術は不可欠です。 非同期処理と並列処理の違い非同期処理と並列処理は、よく一緒に取り上げられることが多いですが、実はそれぞれ異なる目的と特性を持っています。 非同期処理非同期処理は、I/O待ち（ディスクへの読み書きやネットワーク通信など）といった待機時間を有効に使いながら、他のタスクを進める技術です。この方法で、全体のプログラムがスムーズに動作します。 並列処理一方で、並列処理は複数の処理を物理的に同時に行う技術です。簡単な例でいえば動画です。動画の再生と音声の再生を遅延が無いよう同時に行っています。 並列処理により、大量のデータ処理や高度な計算を高速に行えます。 まとめ簡単に言えば、
CPUだけでも使える1ファイル版フリーの量子化省メモリローカルLLMのllamafileを入れてJava,PythonプログラムをAIに書かせてみた。Win,Mac,Linux,*BSDサポート。Dockerより簡単。ジャンクノートPCでおけ。LLM禁止職場に最適。
Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224 1ファイルでインストール不要で実行出来る生成AI推論のLLamafileをコマンドラインからVirtualBox＋NetBSD10RCで動作確認。すげーなこれ。*BSDでもLinuxでも完璧。 SSE3必須だからQemuとかはエラーが出るから注意。 だれかPkgsrc-WIPに入れて下さい・・・ pic.twitter.com/kstDUa2IQK 2023-12-10 08:18:43 Kapper@Linuxガジェヲタ＆異世界小説家＆電子工作大好き @kapper1224 llamafileはここからダウンロードして実行するだけ chmod +x mistral-7b-instruct-v0.1-Q4_K_M-main.llamafile ./mistral-7b-instruct-v0.1-Q4
概要 先日、PydanticV2に対応したFastAPI 0.100.0が正式にリリースされました。 PydanticV2は大部分をRustで書き直したことで高速化を実現している他 使い勝手向上のためにAPIが多少変更になっているので、移行作業が必要になる場合があります。 本記事では、V1->V2への移行のポイントについて紹介します。 速度向上について Rust化による速度向上も重要なポイントです。 参考までに、私がPydantic部分のみで試した際は、5~6倍高速化されていました。 以下のクラウドカメラのSafie社のブログで、FastAPIで使用した場合の速度向上について実験されています。 参考リポジトリ FastAPI 0.100.0に対応したFastAPIのサンプルリポジトリを公開しています。 他にもパッケージ管理のRyeやLinterのRuff、SQLAlchemy v2などの最
コードレビューが怖かった私の、レビューへの向き合い方が変わった話 ソニックガーデンジムに参加してコードに対する向き合い方が変わった話 登川氏の自己紹介 登川仁至氏：じゃあ始めていきたいと思います。「ソニックガーデンジムに参加してコードに対する向き合い方が変わった話」という長めなタイトルなんですが、そのまんまの感じになります。 まず自己紹介から言っていきます。ソニックガーデンジム7期生。前期ですね。プログラマー歴も2、3年ぐらいですね。今はWebアプリケーション開発をしています。沖縄に住んでいて今日はすごく暑くて半袖でもぜんぜんいけました。すごく暖かいです。「白くま」が横なのは、あんまり気にしないでください（笑）。ちなみに名前は「ノボ」です。よろしくお願いします。 本セッションで話すこと 今回何を話すのかです。タイトルどおり、「ソニックガーデンジムに参加してコードに対する向き合い方が変わった
プログラミング言語「Python」には何種類かの開発環境があるが、代表的なものの1つが「Anaconda」だ。Anacondaの導入方法や使い方、管理方法などを解説する。 AI開発から子どものプログラミング教育まで、幅広く利用されているPython。需要も人気も、今最も高いプログラミング言語でしょう。 Pythonの開発環境は何種類かありますが、その代表が「Anaconda」（アナコンダ）です。本稿ではAnacondaの導入方法や使い方、管理方法などを解説します。 Anacondaには無料版と有料版があります。学術や趣味の用途の個人ユーザーなら無料版を使えます。本稿では無料版を解説します。 なお、本稿におけるAnacondaの構成や機能、画面構成などは本稿執筆時点（2023年8月末）のものとします。環境はWindows 10 64bitとします。Windows 11でも同様に使えます。 A
uvとRye - methaneのブログ
先週にRuffを開発しているAstralがuvを発表しました。 astral.sh uvは現在のところはvenv, pip, pip-toolsの基本的な機能を提供していますが、将来は"Cargo for Python"になることを目標にしています。 一見すると乱立しているPythonのパッケージ管理ツールにもう一つ加わったように見えますが、Ryeの開発者のArminとuvの開発チームは連携していて、同時に次のような発表をしています。 uv: Python packaging in Rust Rye Grows With UV | Armin Ronacher's Thoughts and Writings Ryeはもともとより良いパッケージツールがどうあるべきかの実証のために作られていて、中身は既存のツールのツギハギだった Ryeがpip-toolsやvirtualenvの代わりにuvを
はじめに OpanAI社の音声文字認識エンジンのWhisperを使って、音声文字起こしするプログラムを作成しました。 プログラムはPythonからAPIでWhisperを使って、音声文字認識する形式です。 約2分の音声を試したところは、Whisperの音声文字認識の精度は99%とAmiVoiceCloudPlatform(96%)以上の精度でした。 2分の動画を約9秒で変換できるなど、非常に使い勝手の良いAPIです。 価格は1分あたり0.9円（0.006ドル）です。 ただし、Whisperのインプットの音声ファイルの容量は25Mバイトですので、それ以上のファイルは分割する必要があります。 環境 Windows10 Python3.8.8 VSCode 使用ライブラリー openai pydub tkinter openpyxl pandas 処理の流れ: 今回作成した処理は、音声ファイルを
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【作って学ぶPython】ゲームを開発してみよう！タイトル、マップ画面の実装編
近似最近傍探索ライブラリVoyagerで類似単語検索を試す
画像入力で楽々！ChatGPT-4V と Python GUI 開発 - Qiita
A search engine in 80 lines of Python
Llama.cpp で Llama 2 を試す｜npaka
メモリプロファイラ「Memray」の解説 | gihyo.jp
グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
【開発者向け】Open Interpreterの使い方をコード付きで説明する（ターミナル編）｜ニケちゃん
好きな部分を軽量ウィンドウに切り離し ～「Visual Studio Code」2023年11月更新／プロファイル機能の追加アイコンやJavaScript/Python向けの便利機能なども
大規模言語モデル(LLM)の作り方 GPT-NeoX編 Part 1
Writing a C compiler in 500 lines of Python
「Pythonのデータ解析処理を最大16倍高速化するソフトウェア」をNECが無償で提供
AIの仕組みをアニメーション化できるPythonライブラリ「ManimML」 米研究者らが開発
【気象データ】「〇〇年に一度の大雨」の算出 (確率降水量の算出)【統計解析】 - LabCode
Ruby公式「Pythonとの違い」から学ぶ、Pythonの「Rubyとの違い」
Rust製のPythonパッケージ管理ツール「uv」を使ってみよう | gihyo.jp
VS CodeでPythonの仮想環境を構築する(windows) - Qiita
ゼロからはじめるPython(106) プログラム生成AIのCodeLlamaを手元のPCでも動かしてみよう
llama2のファインチューニング(QLORA)のメモ｜Kan Hatakeyama
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
【Python】ChatGPT効率化の為に非同期処理を実装｜Clirea
FastAPIがPydantic v2対応したので、V2移行のポイントを紹介する(意外と簡単)
コードレビューが怖かった私の、レビューへの向き合い方が変わった話
Python開発の定番ツール、「Anaconda」を使うと何がうれしいのか
【Python】OpenAIのWhisperで音声文字起こしアプリを作成！ - Qiita