大規模言語モデルを自作しよう！(Transformers+DeepSpeed+torch.compile+flash_attn2）
本記事は、LLM Advent Calendar 2023 13日目の記事です。 はじめに 🤗 Transformersは、自然言語処理、マルチモーダル、音声処理、コンピュータビジョン分野の事前学習済モデルを簡単にダウンロードしトレーニングすることが可能なpythonライブラリです。このライブラリを使用し、大規模言語モデル（LLM）の事前学習済モデルをローカルPC上にダウンロードし、それを使用した言語生成や、要約・翻訳・質問応答などの個別のタスクへのファインチューニング、チャットAIへの組み込みなどが盛んに行われています。 LLMの事前学習方法に関する情報としては、GPT-NeoXやMegatron-LM、TinyLlama、lit-llamaなど、他のpythonライブラリを使用したものが増えてきています。一方で、Transformersライブラリを使用したLLMの事前学習に関する情報
A woman with a pixie haircut looking at a computer in an office environment, waiting for her code to compile. If you're looking for a talented Rust developer, or a good senior software engineer, please reach out. I'm looking for a full time role doing something neat, and am available for contract gigs. Contact info is in the footer. Thank you! There's now a Part 2, where I cover a couple more opti
With simple and easy-to-understand examples in F# and Haskell. Eve Ragins recently published an article called Why you should use truth tables in your job. It's a good article. You should read it. In it, she outlines how creating a Truth Table can help you smoke out edge cases or unclear requirements. I agree, and it also beautifully explains why I find algebraic data types so useful. With languag
JSer.info #691 - Bun v1.1.5がリリースされました。 Bun v1.1.5 | Bun Blog bun build --compileがクロスコンパイルに対応し、Windows/Linux/macOSに対応したSingle Executable Binaryを出力できるようになっています。 また、package.jsonの末尾カンマを許可するようになる変更やbun.reportが追加されています。 その他には、Import Attributesで任意ファイルをtext/json/toml/fileとしてインポートできるようになるといった変更があります。 React v18.3.0がリリースされました。 Release 18.3.0 (April 25, 2024) · facebook/react React 19 Betaもリリースされていますが、React 1
Deno’s goal is to simplify programming in as many environments as possible. In this 1.41 release, we’re excited to announce improvements that broaden how and where Deno can be used: we’ve roughly halved the size of deno compile binaries, as well as added an official Linux ARM 64 build. Additionally, we’ve continued to improve Node.js compatibility, the LSP to include better auto-completion, and De
Pythonのcompile()関数: 動的なコード生成と実行の新たな次元 - Python転職初心者向けエンジニアリングブログ
Pythonは柔軟性に富み、実行時にコードを生成し実行する能力があります。その中でも、compile()関数は動的なコード生成と実行を支える重要なツールの一つです。この記事では、compile()関数の詳細な解説と、具体的なコード例を通じてその使い方を探求します。 compile()関数とは？ compile()関数は、Pythonコードをコンパイルしてコードオブジェクトを生成します。生成されたコードオブジェクトは後でexec()関数やeval()関数を介して実行できます。compile()関数の基本構文は以下の通りです。 code_object = compile(source, filename, mode, flags=0, dont_inherit=False, optimize=-1) ここで、各引数の意味を簡単に説明します。 source: コンパイルするコードを含む文字列、ま
GitHub - jstrieb/just.sh: Compile Justfiles to portable shell scripts
just.sh transpiles Justfiles to portable, POSIX-compatible shell scripts. Run Justfile recipes without installing just Run just commands in constrained environments (such as CI pipelines and Docker containers) Use a justfile as a starting point for a shell script just.sh is built as a drop-in replacement for just. It can parse any valid justfile, and generated scripts behave identically to just. I
Pythonの`compile()`関数: 動的なコード実行を可能にする力強いツール - Python転職初心者向けエンジニアリングブログ
Pythonのcompile()関数: 動的なコード実行を可能にする力強いツール Pythonのcompile()関数は、文字列として与えられたコードをコンパイルし、実行可能なコードオブジェクトに変換します。この強力なツールは、動的なコード生成や実行を可能にし、柔軟性と拡張性を提供します。この記事では、compile()関数の基本的な使い方から、具体的な応用例までをコードを交えて詳しく解説します。 compile()関数の基本 compile()関数は以下のように定義されています。 compile(source, filename, mode, flags=0, dont_inherit=False, optimize=-1) source: コンパイルするコードを表す文字列またはAST（抽象構文木）オブジェクト。 filename: コードのソースを識別するためのファイル名。 mode:
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How I Improved My Rust Compile Times by 75%
Compile-time type-checked truth tables
2024-05-03のJS: Bun v1.1.5(cross compile)、React 18.3.0、Svelte 5 RC
Deno 1.41: smaller deno compile binaries