Fugaku-LLM利用規約\n この利用規約（以下「本規約」といいます）は、富士通株式会社、国立研究開発法人理化学研究所、国立大学法人東京工業大学、国立大学法人東北大学、株式会社サイバーエージェント、国立大学法人東海国立大学機構、及び株式会社Kotoba Technologies Japan (以下「開発者」といいます)による、スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発の成果物として公開する大規模言語モデル（以下「Fugaku-LLM」といいます）の利用に関する条件を定めるものです。Fugaku-LLMの利用者（以下「利用者」といいます）は、本規約に同意した上でFugaku-LLMを利用するものとします。 \n\n第１条（利用許諾） Fugaku-LLMの利用者は、本規約に従い、Fugaku-LLMを商用または非商用目的を問わず利用することができ
The API database architecture - Stop writing HTTP-GET endpoints
The API database architecture - Stop writing HTTP-GET endpoints Table of contents Introduction Data retrieval via PostgREST, data modification in the existing backend Compatibility with REST, CQRS and GraphQL Strategies for adapting existing architectures Adapting a monolithic system with a single backend Adapting (domain-driven) microservices with one or more databases Benefits of the API databas
About Me My name is Marc Brooker. I've been writing code, reading code, and living vicariously through computers for as long as I can remember. I like to build things that work. I also dabble in machining, welding, cooking and skiing. I'm currently an engineer at Amazon Web Services (AWS) in Seattle, where I work on databases, serverless, and serverless databases. Before that, I worked on EC2 and
Temporal Python 1.0.0 – A Durable, Distributed Asyncio Event Loop
We are excited about the GA release of the Temporal Python SDK. Python is now a fully-supported workflow language in Temporal, and our use of native asyncio constructs makes it a perfect fit for Python developers looking to write durable workflows. Here are some links to read more about Temporal Python: Repository Application Development Guide Code Samples API Documentation Like essentially all of
Rust through the ages
How has Rust changed over the years? It's been nine years since 1.0 was released (well, next week, technically). In that time, there have been 78 major releases and two editions, with a third due later this year. Quite a lot has changed! Those changes have been fairly incremental, so if you've been using Rust all that time, it probably doesn't feel like a lot. But comparing the 1.0 flavour of Rust
Sidekiqで実現するRuby on Railsでの分散プログラミング - Techouse Developers Blog
初めまして、株式会社Techouseでバックエンドエンジニアをしている本澤(mottei)と申します。本日は私の携わっているプロダクトであるクラウドハウス労務で利用されている分散プログラミングの技術について紹介します。 クラウドハウス労務について 分散プログラミングについて紹介する前に、私が開発しているクラウドハウス労務について、なぜ分散プログラミングが必要かの説明も兼ねて紹介します。 クラウドハウス労務は労務業務の電子化を推進するためのクラウドサービスです。人事労務担当と従業員との手続き機能・年末調整などの法定業務など様々な機能を持っており、企業の人事労務担当者と従業員とのやりとりを簡単に行うことができます。 これらのたくさんの手続きによって集められた大量の従業員データは、クラウドハウス労務のデータベースに格納されています。クラウドハウス労務は大企業が持つ基幹システムなどの別システムとの
Thom Yorke - Four Ways In Time
Taken from the Confidenza official soundtrack, out now on XL Recordings. Listen and buy vinyl here: https://thomyorke.x-l.co/confidenza-ost Confidenza (Trust), a film by Daniele Luchetti, is produced by Indiana Production and Vision Distribution, and distributed by Vision Distribution, in collaboration with Sky and Netflix. Theatrical release in Italy 24 April. Credits: Starring Elio Germa
AIにフォーカスしたRDB「Oracle Database 23ai」正式リリース。AI用のベクトルサーチなど可能に
AIにフォーカスしたRDB「Oracle Database 23ai」正式リリース。AI用のベクトルサーチなど可能に オラクルはAIにフォーカスしたデータベース「Oracle Database 23ai」の正式リリースを発表しました。 Oracle Database 23aiは、昨年（2023年）9月にリリースされた「Oracle Database 23c」にAI関連をはじめとする新機能を追加した上で、「23c」の名前を変更したものだと説明されています。 参考：［速報］Oracle Database 23cが正式リリース。JavaScriptストアドプロシージャ、DBに自然言語で問い合わせなど新機能。Oracle CloudWorld 2023開幕 Bring #AI algorithms to where your data lives with Oracle Database 23ai
はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して
The economic advantages of portability are very great. In many segments of the computer industry, the dominant cost is development and maintenance of software. Dennis Ritchie and Stephen Johnson 1978 … many insist that C is the programming language and that it will last forever. Byte Magazine 1983 The August 1983 issue of Byte Magazine devoted its cover, and a large part of its editorial content,
The Rust team is happy to announce a new version of Rust, 1.78.0. Rust is a programming language empowering everyone to build reliable and efficient software. If you have a previous version of Rust installed via rustup, you can get 1.78.0 with: $ rustup update stable If you don't have it already, you can get rustup from the appropriate page on our website, and check out the detailed release notes
The Go Blog Evolving the Go Standard Library with math/rand/v2 Russ Cox 1 May 2024 Since Go 1 was released in March 2012, changes to the standard library have been constrained by Go’s compatibility promise. Overall, compatibility has been a boon for Go users, providing a stable base for production systems, documentation, tutorials, books, and more. Over time, however, we’ve realized mistakes in th
Amazon MemoryDB for Redisの論文がSIGMOD 2024で採択されたので読んでみた | DevelopersIO
Amazon MemoryDBではトランザクションログサービスへの耐久性のオフロード、スナップショット用にephemeralクラスタを作成、形式手法(TLA+)で一貫性の検証などが活躍しています Amazon MemoryDB for RedisはAWSが2021年から提供するRedis互換でありながら高速なパフォーマンスと耐久性を兼ね備えたエンタープライズなインメモリデータベースです。このAmazon MemoryDBの仕組みについて説明した論文が、2024年6月にチリ・サンティアゴで開催される国際的なデータベース学会の「SIGMOD/PODS 2024」で採択されました。 The 2024 ACM SIGMOD/PODS Conference: Santiago, Chile - Welcome Amazon MemoryDB: A fast and durable memory-fi
BlueskyはTwitter(現X)の代替SNSとして人気を博し、公開からの2年間で550万ユーザーを獲得するなど多くの人に利用されています。そんなBlueskyは14～15人のエンジニアによって構築されているのですが、「これまでどのように構築されてきたのか」という内容についてエンジニア向けのニュースレターである「The Pragmatic Engineer」が掲載しました。 Building Bluesky: a Distributed Social Network (Real-World Engineering Challenges) https://newsletter.pragmaticengineer.com/p/bluesky Twitterの代替SNSとしてMastodonやThreadsなど多数のSNSが登場しましたが、その中でもBlueskyは誰もが独自のサーバーを実行
GitHub - microsoft/go: The Microsoft build of the Go toolset
Go is an open source programming language that makes it easy to build simple, reliable, and efficient software. This repository, microsoft/go, contains the infrastructure Microsoft uses to build Go. The submodule named go contains the Go source code. By default, the submodule's remote URL is the official GitHub mirror of Go, golang/go. The canonical Git repository for Go source code is located at
Introducing TypeSpec: A New Language for API-Centric Development | TypeSpec
Over last few years, we've been hard at work on https://typespec.io/, a modern API definition language. This language is designed to meet the evolving needs of API developers, architects, and managers in an environment where the delivery of consistently high-quality APIs and related experiences is becoming increasingly complex and critical. TypeSpec is more than just a new language; it's a platfor
Dive deep into security management: The Data on EKS Platform | Amazon Web Services
AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In
Why reading whitepapers takes your career to the next level (and how to do it)
Hi everyone 👋, Jordan here. I’m excited to feature , L6 Staff Engineer and Tech Lead at Google, and author of , a blog with recurring deep dives on technical topics. Micah attributes a large part of his growth to reading technical whitepapers. In today’s guest post, he will share the value he’s experienced and how you can see similar results. Hi everyone 👋, Micah here. As a tech lead at Google,
週刊Railsウォッチ: Prismの歴史と現況を振り返る、Steepの"narrowing"実装の内部ドキュメントほか（20240426後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） お知らせ: 来週および再来週の週刊Railsウォッチはお休みをいただき、通常記事を公開します。 🔗Ruby 🔗 Steepの"narrowing"実装の内
About Me My name is Marc Brooker. I've been writing code, reading code, and living vicariously through computers for as long as I can remember. I like to build things that work. I also dabble in machining, welding, cooking and skiing. I'm currently an engineer at Amazon Web Services (AWS) in Seattle, where I work on databases, serverless, and serverless databases. Before that, I worked on EC2 and
「ボーダーランズ3」のミニゲームが，腸内細菌の謎解明に貢献。プレイヤー450万人が「Nature Biotechnology」の共著者に
「ボーダーランズ3」のミニゲームが，腸内細菌の謎解明に貢献。プレイヤー450万人が「Nature Biotechnology」の共著者に 編集部：huan 2020年に「ボーダーランズ3」（PC / PS4 / Xbox One / PS5 / Xbox Series X）に実装された，「ボーダーランズ・サイエンス」というミニゲームを覚えているだろうか。プレイヤーは4種類のタイルをルールに従って並べていくというパズルゲームを遊ぶことで，人体に棲む腸内細菌の進化的な類縁関係を推定することに貢献する……というものだ。 関連記事 「ボーダーランズ3」に，プレイすればするほど科学に貢献できるゲーム内ゲーム「ボーダーランズ・サイエンス」が登場 2KとGearbox Softwareは本日，「ボーダーランズ3」のゲーム内ゲームとなる「ボーダーランズ・サイエンス」を実装したと発表し，内容を紹介するトレイ
ビル・商業施設向け 屋内インフラシェアリング提供開始 ～ 建物内に届きにくい５G通信、シェアリングDASで快適に ～ 2024年4月24日 株式会社オプテージ 株式会社オプテージ（大阪市中央区）は、2024年4月25日（木）より、5G通信を中心としたビル・商業施設向け屋内インフラシェアリングサービス（シェアリングDAS※１）を提供開始し、建物内の良好なモバイル通信環境の実現を支援いたします。 近年、動画視聴などの大容量通信を必要とするユースケースが増加し、モバイル通信トラフィックは５Gサービス開始（2020年３月）から約３年間で約1.8倍※２となり、今後も増え続けることが予想されます。携帯キャリア各社は、ビル屋上、電柱や鉄塔等に5G基地局を追加してその対応を行っていますが、5Gは電波特性上、建物内に電波が届きにくいため、屋内にも基地局を設置し、通信環境を改善する対策が必要となってきています
SRE の田中 @kenzo0107 です。 メドピアグループでは主に AWS をプラットフォームとし、監視は Datadog で実施しています。 監視対象や課金対象のサービスの増加で徐々にコストが増加していたので、 利用状況を分析し、削減できる項目を調査しまとめました。 Datadog 子組織・サービス毎の利用料金の確認の仕方 親組織にある Usage & Cost > Individual Organizations *1 の Cost タブで各 org 毎の利用料金を確認できます。*2 事前に利用する量をコミット www.datadoghq.com 事前に利用する量をコミットすることで 2~3割程、コスト削減できます。 ANNUALLY (年間でコミットを決定) の方がコスト削減率は高いですが、 MONTH-TO-MONTH (月毎にコミットを決定) を採用しています。 月毎に監視対
Thom Yorke – Knife Edge (Official Video – taken from Confidenza official soundtrack)
Taken from the forthcoming Confidenza official soundtrack, out 26 April on XL Recordings. Listen and Pre-order vinyl here: https://thomyorke.x-l.co/confidenza-ost Confidenza (Trust), a film by Daniele Luchetti, is produced by Indiana Production and Vision Distribution, and distributed by Vision Distribution, in collaboration with Sky and Netflix. Theatrical release in Italy 24 April. Credits
Sex offender banned from using AI tools in landmark UK case
A sex offender convicted of making more than 1,000 indecent images of children has been banned from using any “AI creating tools” for the next five years in the first known case of its kind. Anthony Dover, 48, was ordered by a UK court “not to use, visit or access” artificial intelligence generation tools without the prior permission of police as a condition of a sexual harm prevention order impos
"},"dump":{"kind":"string","value":"CC-MAIN-2013-20"},"url":{"kind":"string","value":"http://%20jwashington@ap.org/Content/Press-Release/2012/How-AP-reported-in-all-formats-from-tornado-stricken-regions"},"date":{"kind":"string","value":"2013-05-18T05:48:54Z"},"file_path":{"kind":"string","value":"s3://commoncrawl/crawl-data/CC-MAIN-2013-20/segments/1368696381249/warc/CC-MAIN-20130516092621-00000-
GitHub - pytorch/torchtune: A Native-PyTorch Library for LLM Fine-tuning
torchtune is a PyTorch-native library for easily authoring, fine-tuning and experimenting with LLMs. We're excited to announce our alpha release! torchtune provides: Native-PyTorch implementations of popular LLMs using composable and modular building blocks Easy-to-use and hackable training recipes for popular fine-tuning techniques (LoRA, QLoRA) - no trainers, no frameworks, just PyTorch! YAML co
Go のコードで文字列の変換をする関数があり、これが Google スプレッドシート上の関数としても利用できれば検証[1]に便利かもしれないと思いました。 Google スプレッドシートでは Apps Script の関数をセル上で実行できるので、Go のコードを Wasm にビルドして JavaScript から呼び出すことができれば良いのではないかと考え、実際に試してみることにしました。 動作環境 Go 1.22.2 Apps Script の設定 Chrome V8 ランタイムを有効にする その他 macOS の pbcopy コマンド[2]を利用した手順を記載していますが、Linux 環境でも pbcopy を他の手段に置き換えることで同様に動作しました。 事前調査 Go を Wasm にビルドして GAS で動かす事例は見当たりませんでしたが、Rust を Wasm にビルドして
Supabase Storage is now officially an S3-Compatible Storage Provider. This is one of the most-requested features and is available today in public alpha. Resumable Uploads are also transitioning from Beta to Generally Available. The Supabase Storage Engine is fully open source and is one of the few storage solutions that offer 3 interoperable protocols to manage your files: Standard uploads: simple
Cheaper, Better, Faster, Stronger
Cheaper, Better, Faster, StrongerContinuing to push the frontier of AI and making it accessible to all. Mixtral 8x22B is our latest open model. It sets a new standard for performance and efficiency within the AI community. It is a sparse Mixture-of-Experts (SMoE) model that uses only 39B active parameters out of 141B, offering unparalleled cost efficiency for its size. Mixtral 8x22B comes with the
by Team PyTorch We’re pleased to announce the alpha release of torchtune, a PyTorch-native library for easily fine-tuning large language models. Staying true to PyTorch’s design principles, torchtune provides composable and modular building blocks along with easy-to-extend training recipes to fine-tune popular LLMs on a variety of consumer-grade and professional GPUs. torchtune supports the full f
5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
CeleryのMessage Priorities機能を利用した処理遅延の低減 - Nealle Developer's Blog
こんにちは、SREチームの宮後(@miya10kei)です。 バイクに乗っていて気持ちが良い季節になってきましたね🌸 メッセージキューを利用した非同期タスクを扱っていて、誰しも優先度順にタスクを処理したいなと思ったことがあるのではないでしょうか？ 今回はCeleryの機能を利用して実現することができたので紹介したいと思います。 Celeryってなに？ Celeryは分散メッセージキュー機能を提供するPythonベースのOSSです。 メッセージキューのBrokerとしてRedisやRabbitMQ、Amazon SQSなどを使用でき、分散環境での非同期タスクの実行を実現しています。 公式サイトを引用すると次の説明になりますね。 Celery is a simple, flexible, and reliable distributed system to process vast amou
Node.js — Trip report: Node.js collaboration summit (2024 London)
About twice per year, Node.js contributors and community members get together in an unconference called the Node.js collaboration summit. At the summit, we share knowledge about the project and the ecosystem, brainstorm solutions to technical and non-technical issues, make progress in decision-making discussions, and push forward new initiatives. The first collaboration summit of 2024 was held on
Amplified exposure: How AWS flaws made Amplify IAM roles vulnerable to takeover | Datadog Security Labs
research Amplified exposure: How AWS flaws made Amplify IAM roles vulnerable to takeover April 15, 2024 aws vulnerability disclosure Key Points We identified two variants of a vulnerability in AWS Amplify that exposed identity and access management (IAM) roles associated with Amplify projects, allowing them to become assumable by anyone in the world. If the authentication component was removed fro
LattePanda Mu, a Micro x86 Compute Module with Intel N100 Processor which can run Windows and Linux.
NAS Carrier Freely allocate the interfaces and form factors you need in the carrier board design. Design an ultra-energy-saving NAS, or a high-performance NAS equipped with a 10GbE network. The IBECC-supported LattePanda Mu can run stably for a long time like a real server. Router Carrier With the excellent processing and encryption/decryption performance of the N100 processor, you can expand mult
Google Cloud Next '24 in Las Vegas 速報レポート（キーノート・1日目） - G-gen Tech Blog
G-gen の杉村です。当記事では、Google Cloud Next '24 in Las Vegas のキーノート（1日目）に関する速報レポートをお届けします。セッションレポートなど、Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 Google Cloud Next '24 in Las Vegas 概要 AI Hypercomputer Google Axion Gemini 1.5 Pro 等の生成 AI モデル Vertex AI でのグラウンディング「Enterprise Truth」 Vertex AI Agent Builder プロンプト開発と精度計測の補助 生成 AI による開発補助 生成 AI によるデータ活用 生成 AI とセキュリティ Google Workspace
Dr Hilary Cass has submitted her final report and recommendations to NHS England in her role as Chair of the Independent Review of gender identity services for children and young people. The Review was commissioned by NHS England to make recommendations on how to improve NHS gender identity services, and ensure that children and young people who are questioning their gender identity or experiencin
現地時間の2024年4月6日(土)、アメリカ・イリノイ州のシカゴにあるApple Storeでデモ活動が行われ、店舗が早めに閉店せざるを得ない状況に追い込まれました。デモの原因は、当該店舗で働いていたパレスチナ人従業員が不当に解雇されたことだそうです。 Chicago Apple Store closes early amid labor and ethnic disputes https://appleinsider.com/articles/24/04/07/protesters-close-chicago-apple-store-over-palestinian-employee-firing デモ活動を行ったのは、Appleの従業員や元従業員から構成されているという約300人規模の抗議団体である「Apples4Ceasefire」です。4月6日、団体メンバーが当該店舗を訪れてデモを
The declarative paradigm is becoming ubiquitous in data engineering, to the point we sometimes feel we became YAML developers. Yet, I’ll argue it’s a good thing! Let’s take a step back and look at what it means to be declarative, and how it impacts the data systems we build. Data & logicFundamentally, a data platform is made of 2 pieces: Data. On the frontend, we find the actual files, tables, das
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fugaku-LLM/Fugaku-LLM-13B · Hugging Face
It's always TCP_NODELAY. Every damn time. - Marc's Blog
もう一度読むObservability Engineering - じゃあ、おうちで学べる
Freedom and Portability
Announcing Rust 1.78.0 | Rust Blog
Evolving the Go Standard Library with math/rand/v2 - The Go Programming Language
公開から2年で550万ユーザー規模へと成長したBlueskyはどのようにして構築されてきたのか？
MemoryDB: Speed, Durability, and Composition. - Marc's Blog
オプテージ｜プレスリリース｜ビル・商業施設向け 屋内インフラシェアリング提供開始
監視にかかるコストを見直し半額にした話 - メドピア開発者ブログ
HuggingFaceFW/fineweb · Datasets at Hugging Face
Go を Wasm にビルドして Google Apps Script で動かす
Supabase Storage: now supports the S3 protocol
torchtune: Easily fine-tune LLMs using PyTorch
Final Report – Cass Review
Apple Storeでパレスチナ人従業員が不当に解雇されたとデモが発生
YAML developers and the declarative data platforms