GitHub - ashvardanian/StringZilla: Up to 10x faster strings for C, C++, Python, Rust, and Swift, leveraging SWAR and SIMD on Arm Neon and x86 AVX2 & AVX-512-capable chips to accelerate search, sort, edit distances, alignment scores, etc 🦖
The world wastes a minimum of $100M annually due to inefficient string operations. A typical codebase processes strings character by character, resulting in too many branches and data-dependencies, neglecting 90% of modern CPU's potential. LibC is different. It attempts to leverage SIMD instructions to boost some operations, and is often used by higher-level languages, runtimes, and databases. But
GitHub - mathialo/bython: Python with braces. Because python is awesome, but whitespace is awful.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けてきた結果として、全体として非常に巨大で複雑なライブラリになっています。そのため、独自に機能拡張を行いたいユーザーにとっては扱いづらく、性能的にもオーバーヘッドを感じさせることがあります。 そこで新たに出てきたのが「JAX」とその関連ライブラリの組み合わせになります。2019年に登場して以降、特に海外の開発者に支持されてきました。近年注目されている大規模言語モデル（LLM）の分野においても、JAXによるモデルが公開されていることは珍しくなくなりつつあります。 PyTorch（
As a reminder: Ruff is an extremely fast Python linter, written in Rust. Ruff can be used to replace Flake8 (plus dozens of plugins), isort, pydocstyle, pyupgrade, and more, all while executing tens or hundreds of times faster than any individual tool. Ruff is used in production by tens of thousands of open source projects and major enterprises. In the last year, we've been working to expand Ruff'
Lately I’ve been messing around with Python 3.12, discovering new features around typing and pattern matching. Combined with dataclasses, they provide support for a style of programming that I’ve employed in Kotlin and Typescript at work. That style in turn is based on what I’d do in OCaml or Haskell, like modelling data with algebraic data types. However, the more advanced concepts from Haskell —
要約: Flake8 + Black + isort はもうすべて Ruff だけで置き換えられる。 PythonのLinterとして、すでに Ruff を使われている方は多いと思います。Ruffは Rust で実装された高速なPython用Linterで、従来よく使われていた Flake8 に比べて数十倍短い時間で処理が終わります。 その圧倒的な性能によって成功が約束されている（？）ためか、Ruff の知名度がまだ低いころから GitHub Actions公式のPythonチュートリアルは即座に Flake8 を Ruff に置き換えています。 そして、2023年10月末にリリースされた v0.1.2 あたりから、ついにLintだけでなく、コードフォーマット（コード整形）の機能も正式に搭載されました。公式のブログ記事はこちら： Pythonのコード整形といえば今まで Black が主流で
高度なSQLをまとめてみる - Qiita
業務でSQL Alchemyを使うことになり、 今まで「SQLはGPTに書かせればいいだろう」と思い、 selectやwhereくらいしか覚えていなかったが今大変。 SQL Alchemy の前提 SQL Alchemyはデータベースとのやり取りを セッションで管理する Lv.1 全取得
GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to p
Dify Cloud · Self-hosting · Documentation · Enterprise inquiry Dify is an open-source LLM app development platform. Its intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production. Here's a list of the core features: 1. Workflow: Build and test powerful AI workflows on a visual ca
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
こんにちは、森田です。 最近周りの人から Python でアプリ開発のできる Flet について教えてもらい、面白そうなのでチュートリアルをやってみました。 よかったら参考にしてみてください。 Flet とは Flet は、フロントエンド開発の経験がなくても、簡単に Web、デスクトップ、モバイル アプリケーションを開発できるフレームワークです。 開発はPythonで行うことができ、内部的には、Flutter を利用しているようです。 標準でウィジェットが用意されているため、フロントの開発を行うことなく、少ない労力で、アプリとして動作させることができます。 Python で複雑すぎないアプリを作りたい場合にピッタリのフレームワークとなります。 やってみた 本記事では、チュートリアルに従って、電卓アプリを作ってみます。 なお、本記事では、Mac Python 3.8.13にて行います。 ライ
連載概要 本連載はPythonについての知識を既にある程度は身に付けている方を対象として、Pythonでデータ処理を行う上で必須ともいえるNumPyやpandas、Matplotlibなどの各種ライブラリの基本的な使い方を学んでいくものです。そして、それらの使い方をある程度覚えた上で、それらを活用してデータ処理を行うための第一歩を踏み出すことを目的としています。 前回はある行列の逆行列、行列式、固有値と固有ベクトルを求めるお話をしました。今回は多数のデータがどんな特徴を持っているのかを調べるのに役立つ基本統計量をNumPyで取り扱う方法を見ていきます。 基本統計量とは 基本統計量とは、何らかのデータセットがあったとき、それらにはどのような特徴があるかを示す値のことです。というと分かりにくいのですが、平均値、最大値、最小値、標準偏差と分散などの値を用いることで、データがどのように分布している
【LLM × レコメンド】パーソナライズLLMレコメンドシステムの実装と学びについて - ABEJA Tech Blog
こんにちは！競馬愛が止まらず、昨年テックブログで競争馬に関する記事を公開してしまった、データサイエンティストの安倍（あんばい）と申します。社内では馬ニキと呼ばれています。 tech-blog.abeja.asia 世はまさに大LLM時代。このウェーブに少し乗り遅れたなと思いつつ、専門であるレコメンドシステムと、LLMで何かできないだろうかと思い、執筆したのが本記事になります。本記事では主に以下の2点についてご紹介します。 既存のパーソナライズレコメンドモデルとLLMの統合についての設計、実装及び評価 LLMを用いたレコメンドシステムのメリット、デメリット、実運用面での課題点 オープンデータを用いた、アニメレコメンドシステムを実装し、LLMに統合する過程で感じた、LLMならではの素晴らしさや、難しさや、課題感をお伝えすることができたらと思います。 目次 目次 概要 事前知識 協調フィルタリン
かつてないほどリードを拡大するPython、JavaScriptも伸長 プログラミング言語ランキング
ソフトウェア品質の評価と追跡を手掛けるTIOBE Softwareは、2024年3月版の「TIOBEプログラミングコミュニティーインデックス」（通称「TIOBEインデックス」）を発表した。TIOBEインデックスはプログラミング言語の人気度を示すランキングで、同社が毎月更新している。 TIOBEインデックスは、世界の熟練エンジニアや学習講座、サードパーティーベンダーの数に基づいて算出されている。レーティングの計算には、人気のあるGoogle、Amazon.com、Wikipedia、Bingや、他の20以上のWebサイトが使われている。 なお、TIOBEインデックスは「どのプログラミング言語が優れているか」「どの言語で書かれたコードの行数が多いか」を示すものではないと、TIOBE Softwareは説明している。 同社はTIOBEインデックスの使い方として、「自分のプログラミングスキルが時流
2024東大理系数学第3問 連立漸化式を行列表示する (1)で答える，とりうる点を反時計回りに点$\mathrm{C}_0, \mathrm{C}_1, \ldots, \mathrm{C}_7$とおきます。 そして，$n$秒後に点$\mathrm{P}$ が $C_k$ にいる確率を $p_{n,k}$ とおくと，$n$秒後から$n+1$秒後への推移は次の行列で表されます。 \begin{pmatrix} p_{n+1,0}\\ p_{n+1,1}\\ p_{n+1,2}\\ p_{n+1,3}\\ p_{n+1,4}\\ p_{n+1,5}\\ p_{n+1,6}\\ p_{n+1,7} \end{pmatrix} =\frac{1}{6} \left( \begin{array}{cccccccc} 0 & 1 & 0 & 2 & 0 & 1 & 0 & 2 \\ 1 & 0 & 2
GitHub - beeware/briefcase: Tools to support converting a Python project into a standalone native application.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
急傾斜地の崩壊土砂から人家などを守る待ち受け擁壁が、滑動や転倒に対する安全性を確保できていなかった。「擁壁工指針」に対する理解不足や図面作成時の勘違いなど、原因は基本的な誤りにあった。 福島県と青森県がそれぞれ整備した待ち受け擁壁で、会計検査院から基本的な設計ミスの指摘があった。 福島県の待ち受け擁壁は2018～19年度に、いわき市に建設した（資料1）。設計は、県が委託した建設コンサルタント会社が担当した。 この擁壁は、高さが異なる複数の無筋コンクリート製擁壁で構成する。総延長72.2mのうち、問題が判明したのは高さ3m、延長18.7mの擁壁だ。 検査院の調査官は実地検査でまず、滑動に対する抵抗力の算定プロセスで誤りがあると気づいた。 県が設計の基準とした「道路土工─擁壁工指針」（日本道路協会）では、「滑動に対する抵抗力は、擁壁の底面と地盤との間の付着力に、擁壁底面の有効載荷幅を乗じて算出
Python互換言語「Mojo」、Appleシリコンにネイティブ対応したMac版が公開。Pythonの9万倍、C言語に比肩する高速性 | テクノエッジ TechnoEdge
ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 ModularはPythonの高速なスーパーセットと同社が位置づける開発中の新言語「Mojo」の、Appleシリコンにネイティブ対応したMac版をリリースしました。 Mojoは9月に初めてローカル環境でコンパイルなどを実行可能なLinux対応のツール群を公開しています。今回のAppleシリコンにネイティブ対応したMac版のリリースは、このLinux版のリリースに続いて登場しました。 ちなみに現時点でWindowsでのMojoの利用はWindows Subsystem for Linux（WSL）を用いてLinux版を使う方法が示されており、Windows版のリリース時期はまだ明らかにされていないようです。 MojoはPythonより高速にA
Pythonの高速なスーパーセットをうたうAI向け新言語「Mojo」、開発ツール公開 | テクノエッジ TechnoEdge
ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 Modularは、Pythonの高速なスーパーセットだと同社が位置づける新言語「Mojo」をローカル環境で実行可能にする、コンパイラなどのツール群を公開しました。 Modularは、コンパイラ基盤として広く使われているLLVM、Swift言語、GoogleがAI処理のために設計したCloud TPUなどの開発に関わってきたChris Lattner氏が共同創業者兼CEOを務める企業です。 その同社が5月に初めてMojoを発表した際に、MojoはAI処理を高速に実行するための言語だと説明しました。 下記はMojoの動画「Product Launch 2023 Keynote」から。画面右がChris Lattner氏。 MojoはPython
以下の記事が面白かったので、かるくまとめました。 ・Fine-tune Llama 2 with DPO 1. はじめに「RLHF」は「GPT-4」「Claude」などのLLMの事実上の最後の学習ステップとなっており、LLM出力の饒舌さや安全さが人間の期待と一致していることを確認します。ただし、RLの複雑さが持ち込まれます。適切な報酬関数を設定し、状態を推定するようにモデルを学習する必要があります。同時に、元のモデルから離れすぎないよう注意する必要があります。このようなプロセスは非常に複雑で、正しく行うのは容易ではありません。 Rafailov、Sharma、Mitchellらによる最近の論文「Direct Preference Optimization」では、既存の手法で使用されているRLベースの目標を、単純なバイナリクロスエントロピー損失を介して直接最適化できる目標に切り替えることを提
想定読者 Pythonの基本文法は、なんとなく分かっている人（入門者以上、初心者未満くらい） MacBookユーザー（サンプルコードの動作確認をしたい人） Fletとは？ Fletは、Pythonを使ってウェブアプリやデスクトップアプリを作成できるフレームワークです。 フレームワークとは、よく使われる機能があらかじめ用意されたツールです。 Fletを利用することで、 Python以外の知識が乏しくても、アプリを開発できます。 本来、画面を作るにはHTML, CSS, JavaScriptなどの言語を学ぶ必要があります。 Pythonと合わせ、それらの言語を学び実際に開発まで漕ぎ着けるのは、初学者にとって大きなハードルでしょう。 Fletを使うことで、HTMLなどの画面作成に使う言語知識が乏しくても、簡単にカッコいいデザインのウェブアプリを作成することができます。 Fletを学ぶメリット F
『Pythonによるデータ分析入門 第3版 ―pandas、NumPy、Jupyterを使ったデータ処理』 Wes McKinney 著、瀬戸山 雅人、小林 儀匡 訳 2023年8月12日発売予定 624ページ（予定） ISBN978-4-8144-0019-5 定価4,400円（税込） NumPy、SciPy、pandas、Matplotlib、Jupyterをはじめ、高機能で使いやすい数学・科学計算用ライブラリが充実しているPythonは、科学計算、統計解析、機械学習のみならず、金融や経済分野でも広く利用されています。本書はPythonの代表的なデータ分析ツール、pandasの開発者Wes McKinneyによる、データ分析を行うための基本を網羅しています。すべてのサンプルコードはダウンロード可能で、Jupyter Notebookで対話的に試し、実際に手を動かしながら知識を確実なもの
概要 Unityが発表したAIツール群。その中にあるSeintsは、Barracudaをリプレイスすることを目標に作られているもののようです。現在はまだβプログラムで、全員が利用できるわけではありませんが、運良く参加できたので早速試してみました。 が、今回の内容はほぼBarracudaでも同じような内容になります。ONNXモデルを利用したフローを自分が理解したかったのでちょっとやってみた、という内容の記事ですｗ 今回は利用方法というより、全体の構造を把握、理解することを目的としています。Barracudaでもそうでしたが、SentisでもONNX（Open Neural Network Exchange）を利用してAIを構築します。 そこでONNXを自作し、それをSentis上で扱うまでを解説しながら使い方や使うイメージを掴んでもらえればと思います。 PyTorchでモデルを作成する ON
PEP 686 – Make UTF-8 mode default Author: Inada Naoki <songofacandy at gmail.com> Discussions-To: Discourse thread Status: Accepted Type: Standards Track Created: 18-Mar-2022 Python-Version: 3.15 Post-History: 18-Mar-2022, 31-Mar-2022 Resolution: Discourse message Table of Contents Abstract Motivation Specification Enable UTF-8 mode by default locale.getencoding() Fixing encoding="locale" option B
結論 GPU版PytorchのようなPyPIに存在しないパッケージにおいて、Poetry1.5.1からインストールがより簡単になりました🎉 例えば自分の環境では下記の2行でインストールできます。 poetry source add torch_cu118 --priority=explicit https://download.pytorch.org/whl/cu118 poetry add torch torchvision torchaudio --source torch_cu118
import json def filter_json(data): if isinstance(data, dict): filtered_data = {} for key, value in data.items(): if key == "legacy": filtered_data[key] = value elif isinstance(value, (dict, list)): filtered_value = filter_json(value) if filtered_value: filtered_data[key] = filtered_value return filtered_data elif isinstance(data, list): filtered_data = [] for item in data: filtered_item = filter_j
データサイエンティストの書くコードは汚い あなたはデータサイエンティストでしょうか？この記事ではデータサイエンティストが学んでおくべきソフトウェア開発技法のうち、筆者が特に重要と考えることについて実践的に学んでいきます。 あなたがデータサイエンティストという肩書きで働いている場合、あなたが書いているコードは汚い可能性が高いでしょう。どう汚いかというと、ソフトウェアエンジニアにコードをそのまま渡し、ソフトウェアやシステムに組み込んでくれと頼んだ場合、まず間違いなく嫌な顔をされます。ソフトウェアエンジニアからデータサイエンティストに転向した人は大丈夫でしょう。この記事で学ぶことはありません。 データサイエンティストという職業は、Pythonをゴリゴリと書くエンジニアっぽい人もいれば、BIツール等を駆使するコンサルタントっぽい人もいると思います。この記事では、前者のエンジニアっぽいデータサイエン
Rye: A Vision Continued
Rye: A Vision Continued written on Sunday, February 4, 2024 In April of last year I released Rye to the public. Rye, both then and now, represents my very personal vision of what an improved Python packaging and project management solution can look like. Essentially, it's a comprehensive user experience, designed so that the only tool a Python programmer would need to interface with is Rye itself
Rye Grows With UV
Rye Grows With UV written on Thursday, February 15, 2024 Two weeks ago I asked the question again about What Rye should be. There has been one thing that I have not publicly shared before and that is that ever since Rye exists I have also been talking to Charlie Marsh about Python packaging and Python tooling. It turns out that we had some shared ideas of what an ideal Python tooling landscape wou
画像処理の入門 - Qiita
最近、弊社で画像処理の案件が増えているらしく、学生時代に研究でかじっていた私にドンピシャな案件がやってきています。 そこで、画像処理を少しでも知ってもらうように、今回は画像処理の基本であるOpenCVのライブラリを使って簡単な画像処理を実施していきたいと思います。 準備 今回はPythonを使用して、画像処理を行います。Pythonが使用できる環境を用意してください。 ライブラリはOpenCVを使用します。Pythonがインストール出来たら下記のコマンドでライブラリをインストールしてください。
Assistants API Overview (Python SDK) | OpenAI Cookbook
The new Assistants API is a stateful evolution of our Chat Completions API meant to simplify the creation of assistant-like experiences, and enable developer access to powerful tools like Code Interpreter and Retrieval. Chat Completions API vs Assistants API The primitives of the Chat Completions API are Messages, on which you perform a Completion with a Model (gpt-3.5-turbo, gpt-4, etc). It is li
RAGは非常に有用なツールですが、PDFの論文などを扱う際には、表データを正しく読み取れない場合があります。 表の構造を適切に処理することは難しく、いくつかの改善策が提案されています。 例えば、RAGを構築するのに使われるライブラリであるLlamaIndexのドキュメントに以下のような情報があります。 このドキュメントでは表を含むデータを扱う方法として、PDFを一旦すべて画像データに変換し、画像として表の形式を保持したままGPT-4Vでデータを解析することを提案しています。 ただ、PDF1ページ分の画像をそのままGPT-4Vに解析させても精度はあまり良くないようで、後述するTable Transformerを使って表部分の画像のみ抽出してから解析を行うことで、より良い結果が得られたのことでした。 本記事では、この方法を用いてPDF内の表の解析を試してみます。 手順としては 1. PDFの全
Version 1.88 is now available! Read about the new features and fixes from March. August 2023 (version 1.82) Update 1.82.1: The update addresses this security issue. Update 1.82.2: The update addresses these issues. Update 1.82.3: The update addresses this security issue. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the August 2023 releas
Mesop
Home Home Getting Started Guides Components API FAQ Demo Gallery 🔗 Blog Contributing
LangChainプロジェクトは2024年1月8日（米国時間）、大規模言語モデル（LLM）を活用した生成AI（人工知能）アプリケーションを開発するためのオープンソースフレームワーク「LangChain」の安定版（v0.1.0）を公開した。 LangChainは、LLMを活用した生成アプリケーション開発を支援するオープンソースのフレームワークだ。LLMとコンテキスト（データソース）の統合を支援する複数の機能を提供している。開発者はLangChainを利用することで、LLMを利用した生成AIアプリを構築できる。 LangChai社は「完全な下位互換性があり、PythonとJavaScriptの両方で利用可能だ」と述べている。 LangChain v0.1.0の主な変更点 関連記事 生成AI入門：議事録を答えるチャットAI（RAGアプリ）を作ってみよう【プログラミング不要】 生成系AIの導入が急
Bringing Python to Workers using Pyodide and WebAssembly
Bringing Python to Workers using Pyodide and WebAssembly04/02/2024 Starting today, in open beta, you can now write Cloudflare Workers in Python. This new support for Python is different from how Workers have historically supported languages beyond JavaScript — in this case, we have directly integrated a Python implementation into workerd, the open-source Workers runtime. All bindings, including bi
PythonのData Appsフレームワーク Streamlit, Dash, Panel を比較(With ChatGPT) - Qiita
PythonのData Appsフレームワーク Streamlit, Dash, Panel を比較(With ChatGPT)PythonDashPanelStreamlitChatGPT 皆さん、こんにちは！Python Advent Calender2023の6日目担当の小川英幸(X: ogawahideyuki)です。 データから洞察を得る過程で、その発見を他の人と共有し、さらなるインサイトを得ることは非常に価値があります。そのような役割を検討した際に、既存のツールでは物足りない一方、「アプリを一から作るのは大変だな…」と感じたことはありませんか？ ここで登場するのがData Appsです。Pythonだけで手軽にデータアプリを作成できるこれらのツールは、データ分析者にとって強力な味方。特にStreamlit、Dash、Panelを、簡単に使えるフレームワークとして、私は注目し、活
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
『Pythonによる地理空間データ分析 ―例題で学ぶロケーションインテリジェンス』 Bonny P. McClain 著、廣川 類 訳 2023年9月20日発売予定 272ページ（予定） ISBN978-4-8144-0032-4 定価3,740円（税込） 地理空間データ分析は、地図や道路などのオープンな情報を分析することで、渋滞予測やナビゲーションなどの有用な情報を得る強力な手段です。さらに、衛星に搭載された各種のセンサーによる画像や国勢調査の情報などを組み合わせることにより、森林破壊や人種差別問題などの社会的課題に対する知見を得る「ロケーションインテリジェンス」として活用することができます。本書は、地理空間データ分析に必要な基本的な知識―GIS、データの種類、空間統計学、可視化技術などを紹介し、公開データとJupyter Notebookで提供されているさまざまな社会課題に関するサンプ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今こそはじめるJAX/Flax入門 Part 1
Ruff v0.1.0
Statically Typed Functional Programming with Python 3.12
Pythonの Ruff (linter) でコード整形もできるようになりました - Qiita
【作って学ぶPython】基本の文法を学んでコードを読み解けるようになろう！
Python でアプリ開発できる Flet を触ってみた | DevelopersIO
［NumPy超入門］平均／中央値／最頻値や分散／標準偏差を求めてみよう
2024東大理系数学第3問をsympyで解く - Qiita
指針への理解不足がミス招く、待ち受け擁壁の設計で勘違い連発
NEC、Pythonを用いたデータ分析を高速化するソフト「FireDucks」の無償提供を開始
DPO による Llama 2 のファインチューニング｜npaka
【Flet入門】Fletとは？ローカルでFlet開発を始める - Qiita
8月新刊情報『Pythonによるデータ分析入門 第3版』
Unity Sentis入門 - PyTorchからONNXを自作して使うまで
PEP 686 – Make UTF-8 mode default | peps.python.org
Poetry1.5.1からGPU版のPytorchのインストールが簡単になりました
【Python】JSONの特定のキーだけ残して不要部分は削除する - Qiita
データサイエンティストはテストコードを書いてコーディング規約を守ろう - Qiita
Table TransformerとGPT-4Vを用いたPDF内の表の解析｜QunaSys
Visual Studio Code August 2023
生成AIアプリ開発フレームワーク「LangChain」、安定版（v0.1.0）を公開
v1.0.0 Beta · openai/openai-python · Discussion #631
9月新刊情報『Pythonによる地理空間データ分析』
「Python」にセキュリティ更新 ～v3.11.5、v3.10.13、v3.9.18、v3.8.18が公開／次期バージョン「Python 3.12」の開発は順調
