PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる
AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のクリーンなコードで行えています。 GitHub - karpathy/llm.c: LLM training in simple, raw C/CUDA https://github.com/karpathy/llm.c 作者のアンドレイ・カルパシー氏はOpenAIの創設グループの一員で、テスラのAIディレクターだった事もある人物です。 llm.cを使用することで、245MBの容量を持つPyTorchや107MBの容量を持つcPythonを使用せずに大規模言語モデル
ホワイトハウスが開発者に対しC++やC言語からRustやJavaなどのメモリ安全性に優れたプログラミング言語への移行を勧める
アメリカ・ホワイトハウスの国家サイバー局長室(ONCD)が、開発者に対し、C++やC言語といったプログラミング言語からRustやC#などのメモリ安全性が確保されたプログラミング言語への移行を勧めています。 BACK TO THE BUILDING BLOCKS:A PATH TOWARD SECURE AND MEASURABLE SOFTWARE (PDFファイル)https://www.whitehouse.gov/wp-content/uploads/2024/02/Final-ONCD-Technical-Report.pdf White House urges developers to dump C and C++ | InfoWorld https://www.infoworld.com/article/3713203/white-house-urges-developers
熱帯の海賊からの贈り物 -メールとマルウェアに隠された新しい危険な武器- - ITOCHU Cyber & Intelligence Inc.
この記事について 標的型攻撃メール 添付ファイル マルウェアの感染フロー ショートカットファイルの起動 マルウェア解析と動作の説明 Installerの動作 Loaderの動作 攻撃者のミス？ アクター 防御策 IoCs Cobalt Strike Beaconの通信先 (C2 サーバ) 各ファイル詳細 This post is also available in: English この記事について この記事は、当社分析チームが観測した Tropic Trooper（別称： Pirate Panda, KeyBoy）と呼ばれるサイバー攻撃者によるものと目される標的型攻撃メールを使った攻撃手法と、使用されたマルウェアについての分析レポートです。 標的型攻撃メール 攻撃者が標的の組織に対しマルウェアへの感染やアカウント窃取を狙った電子メールを送信してくることはよく知られています。我々が分析した
Goが循環インポートをエラーにする理由
循環インポートの問題点 現代のプログラミング言語の多くは１パスでプログラムコードを解釈します。インタプリタ型は当然としてC/C++も例外ではありません。つまり「コンパイル・実行」されるまでにソースコードを２度パースすることはありません。 さらにプログラム言語の多くは多重定義はバグの元なのでエラー扱いになります。なので対策の無いヘッダーファイルをincludeした時、再度同じヘッダーファイルが参照された場合に「多重定義」になってしまいます。 C/C++ではそのような「多重定義」を回避するために「インクルードガード」という対策をヘッダーファイルに施します。C/C++ではプリプロセッサという仕掛けに依存していてコンパイラは重複する定義がそれぞれどこのファイルを読み込んだ結果かを判別できません。なので「インクルードガード」という対策がヘッダーに必要なのです。 しかし、「インクルードガード」は方針が
VSCode の標準のC++インテリセンスでは、簡単なコード補完などや、構文が間違ってるなどのエラー表示はリアルタイムに出来ますが、警告などはリアルタイム表示出来なかったり、その他コーディング時に行ってほしい賢い機能が不足しがちです。 例えば以下のコードは、セミコロン忘れなどのエラーは表示してくれますが、未初期化変数の f などはコンパイル時に警告がちょろっと出るだけで、見落としてしまいます。 #include <iostream> using namespace std; int main(){ int f; cout << f << endl; cout << "semicolon" << endl return 0 } MS 標準の C++ インテリセンスはそこまで賢くないからというのが理由なのですが、ここで変わりに clangd を使うことで、賢いリアルタイムインテリセンスを使える
C++でジョブシステムを作ってみる（2）
はじめに この記事ではC++でジョブを並列に実行するためのジョブシステムを実装していきます。 前回 は下記のステップ1まで実装しました。 ジョブを並列実行する機能 ジョブ間の依存関係を設定する機能 大きなジョブを分割して並列化する機能 前回の記事はこちら ↓ 今回はステップ2とステップ3を実装してみます。前回と同様、この記事の全てのコードはパブリックドメインとします。 2. ジョブ間の依存関係を設定する機能 ステップ2ではジョブ間の依存関係を設定する機能を実装します。 例えば、ゲームエンジンであれば、物理演算をしている途中でレンダリングを始めてはいけません。また、スケルタルアニメーションを計算している途中にコリジョン判定をしてはいけません。このような場合には、ジョブ間に依存関係を設定する機能が必要になります。 今回の実装では、下のようにハンドルを介してジョブ間の依存関係を表現することにしま
InferでLinuxカーネルのメモリ関連エラーを検出してみる - VA Linux エンジニアブログ
1. 静的コード解析 2. Infer 3. 調査環境 4. Inferのビルド 5. Inferで解析できるようにLinuxカーネルソースコードに少し修正を加える 6. LinuxカーネルソースコードをInferで検証 7. 解析結果に対する精査の一例 7.1. 真のバグの例 7.2. フォールスポジティブの例 7.3. 真のバグか判断に困るものの例 8. 結論とこれから 執筆者 : 岡部 究 1. 静的コード解析 普段の開発で品質向上させるためにどのような手法を採用されているでしょうか。おそらくユニットテストや結合テストを代表するテストを使っているのではないでしょうか。 このテスト手法は現実的ですがざっと挙げるだけでも以下の課題があります: 入力と出力をテストケースと呼ばれる例として与えるので全ての場合を網羅することは不可能 テストの網羅率を上げるにはユニットテストのような小さい単位で
アルメニア出身で米サンフランシスコ在住の開発者であるAsh Vardanian氏は、Python/C/C++向けライブラリ「StringZilla」のバージョン1.1.3を8月31日（現地時間）に公開した。StringZillaはApache 2.0ライセンスと3条項BSDライセンスで公開しているオープンソース・ソフトウェア。ユーザーはどちらかのライセンスを選んで利用できる。 StringZillaは、大規模な文字列データを単語ごとに区切ったり、区切った単語をソートするなどの機能を提供している。StringZillaの最初のバージョンであるバージョン1.0.0が公開されたのは2023年7月13日。それに先立ってVardanian氏が公開したブログポストでは、StringZillaの基本的な考え方を解説している。 StringZillaは、長い文字列が対象であっても最初の4文字が合致していれ
最近寒いですね。そんなときはパソコンこと「計算もできる暖房」をつけましょう。ポチッ！温風が出てきますね。あったまる～！ ところで、実際のところパソコンってどれくらい暖房としての能力があるんでしょうか…？調べてみましょう。 ↑これはCPUのCore i9-13900Kです。今日は暖房として働いてもらいます。 実験装置を作る 暖房能力を調べるために、パソコンによって何かの温度が上昇する様子を測定したいので、熱量計を使います。普通、熱量計は発泡スチロールで水を覆って断熱しつつ水の温度を計測するようなものですが、パソコンを水没させるわけにはいきません。 今回は大きな箱の中でパソコンを動かし、空気を温めることにしました。でもそんな都合の良い箱なんてない……(？) おや、ここに逸般の誤家庭には大量に在庫があることでおなじみの(？)MDF板があります。 養生テープで適当に貼り付けて箱にしました(ロボット
MSX-C に関する情報 - Qiita
はじめに 『MSX-C』関連の情報を集めてみました。 MSX-C 『MSX-C』は ASCII が発売した MSX 用の C コンパイラです。元々は エル・エス・アイ・ジャパン株式会社 の『LSI C-80』の OEM だったようです。 『MSX-C』はアセンブラソースを吐くタイプのコンパイラですので、実行形式ファイルを生成するにはアセンブラとリンカが必要です。 See also: ASCII MSX-C (MSX Resource Center) LSI C-86 (Wikipedia) 準拠している C 言語の規格 ANSI C (1989) よりも前に発売された製品なので、後に制定された規格には準拠しておらず、K&R のサブセット的な実装となっています。例えば、MSX-C で利用可能なデータ型は次の 4 (3) 種類のみです。 型 長さ 範囲
メモとして残します。 MJPEGを入力してJPEGに切り出すプログラム ChatGPT-4 に作らせました。 USBカメラから入力された生のmjpegの映像データを標準入力から受けて、jpegの静止画に切り出してファイルに保存するプログラムをC言語で書いてください。書き出すファイル名はout%03d.jpg という感じでフレーム番号を含めてください。ソースコード内のコメントは英語で書いてください。 最初のものはffmpegやらたくさん外部のライブラリに依存するコードを出してきたので、もっとシンプルなやつにしてくれとお願いしました。できたものはこれ。[1] #include <stdio.h> #include <fcntl.h> #include <unistd.h> #define BUF_SIZE 1024 #define OUTPUT_FILENAME_PATTERN "out%03
GitHub - tidwall/neco: Concurrency library for C (coroutines)
Coroutines: starting, sleeping, suspending, resuming, yielding, and joining. Synchronization: channels, generators, mutexes, condition variables, and waitgroups. Support for deadlines and cancelation. Posix friendly interface using file descriptors. Additional APIs for networking, signals, random data, streams, and buffered I/O. Lightweight runtime with a fair and deterministic scheduler. Fast use
どのプログラミング言語を利用するのかは開発者にとって大きな悩みだ。プログラミング言語「C」やその派生言語である「C++」は、業務アプリケーションや組み込みシステムなど幅広い用途で利用されている。処理速度や制御のしやすさといった観点で、C／C++と他のプログラミング言語を比較することは珍しくない。 「Java」はC／C++の比較相手としてしばしば名前が挙がる。JavaとC／C++はプログラムを実行する仕組みが異なり、その違いのために従来「Javaは遅い」と評する開発者もいた。この意見は正しいのだろうか。他方でC／C++に代わるプログラミング言語として台頭しつつある「Rust」はどのような特性を持ち、なぜ支持を集めているのか。本資料は、そうした疑問に対する答えを提示する。C／C++以外の選択肢に目を向けるためのきっかけとして参考にしてほしい。
In software, it is common to represent time as a time-stamp string. It is usually specified by a time format string. Some standards use the format %Y%m%d%H%M%S meaning that we print the year, the month, the day, the hours, the minutes and the seconds. The current time as I write this blog post would be 20230701205436 as a time stamp in this format. It is convenient because it is short, easy to rea
Simply Parse in C
by Chloe Kudryavtsev People are terrified of parsers and parsing. To the point of using magical libraries with custom syntaxes to learn just to get started. In the hopes of completely shattering this preconception, I will write a parser for the “ini” file format in about 150 lines of pure and readable ISO C99. Furthermore, this parser will be something that's nice to use and has error correcting f
Sometimes humans can spot optimization opportunities that a compiler can’t doesn’t. In this post, we start with a loop generated from C code by clang, and tweak it in various ways, measuring the speedup. 📢 This post was on the front page of HN. You can join in the discussion there. Disclaimer: I’m not an optimization expert, by any means, in fact my expertise is in high-level, purely-functional l
ソフトウェアバグ -Segmentation Fault- - 株式会社Ninjastars 技術系ブログ
株式会社Ninjastars取締役の齊藤です。 皆様もC言語やC++で開発しているときなどに一度はこの実行時エラーを見たことがあるのではないでしょうか？ 今回はSegmentation Fault（以下セグフォ）がどのようにして発生するのかを詳細に書いていこうと思います。 １.セグフォとは 割り当てられた仮想メモリ領域（セグメント）に読み込み(r)または書き込み(w)、実行の権限(x)がない状態でアクセスしたときに起こるエラーのことを指します。 では、なぜセグフォが必要なのでしょうか? それはメモリに展開されているプロセスを保護し、OS全体に影響を及ぼさないためです。 ２．セグフォの原因を探す手順 プログラムを用意したのでそれを例に原因を探していきましょう。 まず今回のプログラムは標準入力で10byteのbufferに文字データを格納するものです。 標準入力する際、gets関数を使っている
Join our community of software engineering leaders and aspirational developers. Always stay in-the-know by getting the most important news and exclusive content delivered fresh to your inbox to learn more about at-scale software development.
This week I found myself digging through the code of c4, an implementation of C “in four functions”, by Robert Swierczek. I remember coming across c4 when it was released ten years ago. It got me excited: hey, C in four functions, that means it’s easy to understand right? That excitement turned into “oh, I see” as soon as I scrolled through the code. c4 is dense, barely commented, and, frankly, st
GitHub - karpathy/llama2.c: Inference Llama 2 in one file of pure C
Have you ever wanted to inference a baby Llama 2 model in pure C? No? Well, now you can! Train the Llama 2 LLM architecture in PyTorch then inference it with one simple 700-line C file (run.c). You might think that you need many billion parameter LLMs to do anything useful, but in fact very small LLMs can have surprisingly strong performance if you make the domain narrow enough (ref: TinyStories p
Tine is a simple text/code editor initially designed as a main work tool just for me, so I did only things I needed, but after some time it turned out it might be useful and helpful for others. The main goal of this editor is to keep the focus on the text editing and not be distracted too much by buttons, tabs, menus, and animations. So there is almost no UI. Text navigation and the editor interac
A 100x speedup with unsafe Python
We're going to speed up some numpy code by 100x using "unsafe Python." Which is not quite the same as unsafe Rust, but it's a bit similar, and I'm not sure what else to call it... you'll see. It's not something you'd use in most Python code, but it's handy on occasion, and I think it shows "the nature of Python” from an interesting angle. So let's say you use pygame to write a simple game in Pytho
Opening windows in linux with sockets, bare hands and 200 lines of C | Hereket
Opening windows in linux with sockets, bare hands and 200 lines of C Intro In this post I want to create a single file C file program to open a windows inside Linux without using xlib or any similar libraries. The idea is to explore X11 protocol and see how it is used to interact with X server to create windows. Before I had strong association that X11 was some magic thing to manipulate windows an
Modern C++入門一覧
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
Exchange Online to introduce External Recipient Rate Limit
Today, we are announcing that, beginning in January 2025, Exchange Online will begin enforcing an external recipient rate limit of 2,000 recipients in 24 hours. Exchange Online does not support bulk or high-volume transactional email. We have not enforced limiting of bulk email until now, but we plan on doing so with the introduction of an External Recipient Rate (ERR) limit. The ERR limit is per
This book I got in a pile of FM TOWNS books turns out to be a lot more interesting that I was expecting an '80s C compiler manual to be. For as long as C and its relatives have been in mainstream use, it has been necessary to use vendor language extensions to actually get anything done with it, though in today's GCC/Clang/MSVC oligopoly those extensions tend to be focused on the yak-shaving detail
GitHub - karpathy/llm.c: LLM training in simple, raw C/CUDA
LLM training in simple, pure C/CUDA. There is no need for 245MB of PyTorch or 107MB of cPython. For example, training GPT-2 (CPU, fp32) is ~1,000 lines of clean code in a single file. It compiles and runs instantly, and exactly matches the PyTorch reference implementation. I chose GPT-2 as the first working example because it is the grand-daddy of LLMs, the first time the modern stack was put toge
GitHub - jart/morton
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
OpenAIとMicrosoft Graph Search APIでM365の組織内データを検索するRAGアプリを作る
共著者：@maruryupro / @kazuyan 社内ナレッジを検索するRAGアプリを作ろうとする場合、さまざまな文献でAzure AI Search(旧称Cognitive Search)を使うケースを多く目にします。Azure AI Searchは非常に高機能で組織専用の検索エンジンを作ることができる一方、データの前処理やインデクサーのカスタマイズなど様々なテクニックが必要になり、実現したいこととコストのトレードオフが発生するケースが多いように感じます。 この記事では、M365テナント内の情報をWeb API経由で検索できる「Microsoft Search Graph API」を使って、専用のインデックスを作成する必要なく社内の情報を検索してOpenAIを通したチャット形式で返答するRAGアプリの実装アプローチについて紹介します。 TL;DR サンプルアプリのリポジトリ とりあえ
GitHub - 0x0mer/doom-htop: The classic DOOM game over htop, the text-based process viewer
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Microsoft、C#言語の新版「C# 12」を公開
米Microsoftは、プログラミング言語C#の新版となる「C# 12」を11月14日に公開した。C# 12を使用するには、最新のVisual Studioか、Visual Studio CodeのC#開発キット、そして.NET 8が必要になる。 C# 12では、より直感的にコードを記述できるようになることを狙って、新しい構文をいくつか導入した。まず、配列などのコレクションの記述を簡単にするコレクション式を導入した。従来はコレクションを作成するには、コレクションの型や名前を宣言した後、＝（等号）の後に「new[]」などと記述する必要があったが、コレクション式では、等号の後に[]で囲んだデータの並びを記述するだけで済むようになった。 さらに、従来はrecord型のみで使用可能だったプライマリ・コンストラクターが、すべてのクラスと構造体でも使えるようになった。さらに、ラムダ式のパラメーターに既
Back in July of 1995, Adam Moscowitz posed this question to Dennis Ritchie: I teach C programming classes, and I'm often asked why C has a bitwise exclusive-OR operator but not a logical one. Is this simply an historical accident, or was there a specific reason it was omitted? Also, is there any reason why the C9x committee shouldn't consider adding it to the standard? Dennis replied: I've often b
システムプログラミング講座
本記事では、プログラミング初心者～中級者向けにPOSIXについて解説します。 POSIXとは POSIX (Portable Operating System Interface) は、UNIX系OS間での移植性と互換性を高めるために開発さ...
GitHub - travisdoor/bl: Simple imperative programming language created for fun.
The Biscuit Language (BL) is a simple imperative programming language using LLVM backend and compiler implemented in C. Language syntax and all its features are still in development. Biscuit is designed to be simple, fast, and explicit. Project homepage: biscuitlang.org Contact email: biscuitlang@gmail.com Language design and some core principles are based on the hard work of Jonathan Blow, who, o
Mini-post: Digraphs and Trigraphs | ENOSUCHBLOG C alternative tokens - Wikipedia Why are there digraphs in C and C++? - Stack Overflow Purpose of Trigraph sequences in C++? Designated initializer # These allow you to specify which elements of an object (array, structure, union) are to be initialized by the values following. The order does not matter! struct Foo { int x, y; const char *bar; }; void
GitHub - augustss/MicroHs: Haskell implemented with combinators
This repository contains an implementation of an extended subset of Haskell. It uses combinators for the runtime execution. The runtime system has minimal dependencies, and can be compiled even for micro-controllers. The boards/ directory contains some samples, e.g., some sample code for an STM32F407G-DISC1 board. The compiler can compile itself. There are two different ways to compile MicroHs: Us
前回までのあらすじ 環境構築をした。 C言語の基本的な構文を学んだ。 Hello Worldの出力ができた。 初回 前回 今回のテーマ 変数、型とはなにか 型の種類 変数の値を表示する方法 型の変換について 記憶域クラスについて 型修飾子について 変数、型とはなにか 変数とはデータを格納しておく領域のこと。変数は通常メモリ上に確保され、値を代入したり参照したりすることができる。 それぞれの領域を区別するために変数名を付けて宣言をする。 型とは、数字や文字などのデータをメモリ上に確保する領域やバイト長、確保した領域の扱い方などを指定するもの。 変数の宣言 変数の宣言は以下のように行う。
Leo Robinovitch @ The Leo Zone
I implemented a simple hash table in C when solving a problem in CS Primer. Solving it helped me gain better intuition around hash functions, pointers, and memory segments like the stack and the heap. BasicsYou have probably encountered a hash table in the wild, like a dict in Python, map in Go, or Map in JavaScript. Hash tables associate a key with a value. Setting, looking up, and deleting value
Tumble Forth
Hello, my name is Virgil Dupras, author of Collapse OS and Dusk OS and I'm starting a series of articles that aims to hand-hold my former self, a regular web developer, into the rabbit hole leading to the wonderful world of low level programming. Hopefully, I can hand-hold you too. The general goal is to broaden your perspectives on the subject of computing. I intend do to that through story arcs
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VSCode で clangd を使って、賢いC++インテリセンス環境を整える - Qiita
Python/C/C++向けライブラリ「StringZilla」が登場、SIMD命令を利用して文字列操作を高速化
パソコン暖房の性能を実験で測定する！ - Qiita
CからZigに書き直して激遅になったと思ったら最適化オプションの変更で改善した話
イント ナンバー……カタカナ言葉でC++コーディングするのがごく一部の界隈で流行中？／一見呪文のようだが、ちゃんとコンパイル可能【やじうまの杜】
「Java」「Rust」がC／C++の代替になるこれだけの根拠
Parsing time stamps faster with SIMD instructions – Daniel Lemire's blog
{n} times faster than C - part one
Bjarne Stroustrup's Plan for Bringing Safety to C++
Exploring the c4... compiler?
GitHub - travisdoor/tine: Text editor.
The lost language extensions of MetaWare's High C Compiler
dmr on XOR
Few lesser known tricks, quirks and features of C
初心者Ｃ言語 第3回 「変数とデータ型について」 - Qiita