Amazon EC2 Inf2 instances, optimized for generative AI, now available globally
Starting today, the Amazon Elastic Compute Cloud (Amazon EC2) Inf2 instances are generally available in the Asia Pacific (Mumbai), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Ireland), and Europe (Frankfurt) regions. These instances deliver high performance at the lowest cost in Amazon EC2 for generative AI models. You can use Inf2 instances to run popular applications such as text sum
by Team PyTorch We’re pleased to announce the alpha release of torchtune, a PyTorch-native library for easily fine-tuning large language models. Staying true to PyTorch’s design principles, torchtune provides composable and modular building blocks along with easy-to-extend training recipes to fine-tune popular LLMs on a variety of consumer-grade and professional GPUs. torchtune supports the full f
Node.js — Trip report: Node.js collaboration summit (2024 London)
About twice per year, Node.js contributors and community members get together in an unconference called the Node.js collaboration summit. At the summit, we share knowledge about the project and the ecosystem, brainstorm solutions to technical and non-technical issues, make progress in decision-making discussions, and push forward new initiatives. The first collaboration summit of 2024 was held on
Systems Manager Patch Managerの高速セットアップでデプロイされる、8つのState Managerの関連付けの各機能を解説 | DevelopersIO
Systems Manager Patch Managerの高速セットアップでデプロイされる、8つのState Managerの関連付けの各機能を解説 はじめに Patch Managerの高速セットアップを利用すると、CloudFormationスタックが作成され、Patch Managerの詳細画面から、下記の画像の通り8つのステートマネージャーの関連付けが確認できます（スキャンのみの場合は7つ）。 ステートマネージャー は、インスタンスを定義（=関連付け）した状態に保つ機能です。 関連付けは、主に以下の4つ設定をします。 関連付け名 実行するSSMドキュメント 対象のインスタンス 実行頻度 各関連付けがどのような役割を果たしているのか、ドキュメントにも詳細が記載されていなかったため、本記事にまとめます。 各関連付けは、設定したSSMドキュメントを実行しますので、8つの関連付けで設定さ
Map showing Israel and the Palestinian Territories as outlined by the Oslo Accords. The Jordan River is on the right, and the Mediterranean Sea is on the left. "From the river to the sea" (Arabic: من النهر إلى البحر, romanized: min an-nahr ʾilā l-baḥr; Palestinian Arabic: من المية للمية, romanized: min il-ṃayye la-l-ṃayye, lit. 'from the water to the water')[1][2] is a political phrase that refers
Microsoftはこのほど、「Microsoft Response to Layer 7 Distributed Denial of Service (DDoS) Attacks｜MSRC Blog｜Microsoft Security Response Center」において、2023年6月上旬に一部のMicrosoftサービスで発生した可用性の低下の原因を発表した。脅威者によって引き起こされた分散型サービス拒否攻撃(DDoS: Distributed Denial of Service attack)によるものと報告されている。 Microsoft Response to Layer 7 Distributed Denial of Service (DDoS) Attacks｜MSRC Blog｜Microsoft Security Response Center 「Storm-13
Yahoo! JapanThere’s clearly a LOT of activity in the Bay Area, California when it comes to vector databases! Also, there’s a large amount of variation in funding and valuations, and it’s clear that there exists no correlation between the capabilities of a database and the amount it’s funded for. Choice of programming language#Fast, responsive and scalable databases are typically written these days
GitHub - ArroyoSystems/arroyo: Distributed stream processing engine in Rust
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
The Go Blog Evolving the Go Standard Library with math/rand/v2 Russ Cox 1 May 2024 Since Go 1 was released in March 2012, changes to the standard library have been constrained by Go’s compatibility promise. Overall, compatibility has been a boon for Go users, providing a stable base for production systems, documentation, tutorials, books, and more. Over time, however, we’ve realized mistakes in th
GitHub - winglang/wing: A TypeScript dialect for the cloud ☁️ A unified programming model, combining infrastructure and runtime code into one language ⚡
Take a Tour ▪︎ Getting Started ▪︎ Join Slack ▪︎ FAQ ▪︎ Roadmap ▪︎ Issues ▪︎ Discussions ▪︎ Contribute Winglang is a new open-source programming language designed for the cloud (aka "cloud-oriented"). Wing enables developers to build distributed systems that leverage cloud services as first-class citizens by combining infrastructure and application code in a safe and unified programming model (aka
深層学習と新しい心理学（明治学院大学 研究員：池田功毅、九州大学准教授：山田祐樹、慶応義塾大学教授：平石界） ｜「こころ」のための専門メディア 金子書房
深層学習と新しい心理学（明治学院大学 研究員：池田功毅、九州大学准教授：山田祐樹、慶応義塾大学教授：平石界） 近年の深層学習（ディープラーニング）の発展には目を見張るものがあります。この発展の前で心理学は、何ができるのでしょうか？ 深層学習技術が発展した世界における新しい心理学の可能性について、お三方の先生にご執筆いただきました。 科学的な心理学の目標は、心を科学的に理解・予測し、その成果を社会に役立てていくことだと言われます (e.g. 鹿取 et al., 2020)[1]。しかしこの記事の著者である私たちは、当の心理学者であるにもかかわらず、ここのところ再現可能性危機やらエビデンスレベルやらと、心理学の科学性やその社会的役割について疑問を呈し、不安を感じさせるような議論ばかり行ってきました (池田 & 平石, 2016; 平石, 2022; 平石 & 中村, 2022; 山田, 20
bitFlyer.com Founder: Yuzo Kano Established: 2014 bitFlyer is the biggest crypto exchange in Japan and one of the largest Bitcoin brokers globally. Users can buy/sell cryptocurrency with each other or directly with bitFlyer. Initially focused on Bitcoin, the company later added futures contracts, Bitcoin derivatives, and other crypto currencies to the exchange. In the news: Japanese Crypto Exchang
Cirkoban: Sokoban meets cellular automata written in Scheme -- Spritely Institute
Last week, we released a small puzzle game called Cirkoban. Cirkoban is the very first publicly accessible application developed by Spritely that features the Goblins distributed programming library running in web browsers. We bet big on Hoot, our Scheme-to-WebAssembly compiler, a little over a year ago in order to bring Goblins to the web. That bet is starting to pay off! In this post, we’ll talk
目次 はじめに DALL·E 3とGPT-4Vにまかせる 実装 実験結果 定量評価 その他 さいごに はじめに この記事はABEJA Advent Calendar 2023の2日目の記事です。 こんにちは。データサイエンティストの小林です。12月に入り、クリスマスももうすぐですね。 私は一年中、Spotifyの"Christmas Hits!"を聞くくらいにクリスマスソングが大好きです！ アドベントカレンダー用にクリスマスっぽいサムネを作ろうかなと思い、早速ChatGPTに作ってもらっていたのですが、画像生成のプロンプト調整結構難しいですよね。。 ネットで流れてくる他の人の作った画像、どんなプロンプトで作ったんだろう？とが気になることが結構あります。 そこで今回は、先月公開されたGPT-4 with Vision（GPT-4V）のAPIを用いて、DALL·E 3への画像生成プロンプトを自
In the previous post, I’ve introduced two key problems that Cell-based Architecture solves: Scalability Availability However, these are very common problems in any cloud system and there are tons of solutions/design addressing them already. Why do we need to solve them again? In this second episode of “Cell-based Architecture 101“, I’d like to talk about the limitations of the existing solutions/d
How To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model | Outerbounds
BlogHow To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model This article outlines ten stages of operational maturity for deploying ML/AI systems to production. Which stage are you at? Every production-oriented ML/AI team grapples with the same challenge: how to work with data, code, and models effectively so that projects are readily deployable to production. The challenge
SSMセッションマネージャーのセッションログの出力先をS3バケットにすると、ログが出力されないことがあるかも え! セッションログがS3バケットに出力されていない! こんにちは、のんピ(@non____97)です。 皆さんはSSMセッションマネージャーのセッションログがS3バケットに出力されていないと経験をしたことはありますか? 私はあります。 SSMセッションマネージャーのセッションログはS3バケットやCloudWatch Logsに出力することが可能です。具体的な出力方法は以下記事をご覧ください。 CloudWatch Logsにログ出力をすると、以下のようにJSON形式のログが出力されます。 { "eventVersion": "1.0", "eventTime": "2023-07-18T10:24:19Z", "awsRegion": "us-east-1", "target":
Horizontally scaling the Rails backend of Shop app with Vitess
Opens in a new windowOpens an external siteOpens an external site in a new window Good problems We experienced hockey stick growth after we launched the Shop app. We were glued to our dashboards and saw millions of users onboard onto the app. This was gratifying, but we were becoming more nervous as our backend was pushed closer to its limit. We wrote the backend in Ruby on Rails, and used a MySQL
NGINXモジュールがRustで書けるようになった
原文リンク(2023-10-25) NGINXは、NGINXモジュールを Rustで記述できるngx-rustプロジェクトを発表 した。Rustプログラミング言語は、その安定性、セキュリティ機能、豊富なエコシステム、コミュニティの強力なサポートにより、強力で人気のある選択肢として浮上している。 NGINXは高性能なオープンソースのウェブサーバーとリバースプロキシサーバーソフトウェアで、インターネットのウェブサイトの大部分を支えている。2002年にIgor Sysoevによって開発されたNGINXは、その後進化を遂げ、ウェブホスティング、コンテンツ配信、アプリケーションデプロイメントにおいて広く人気を集めている。NGINXはそのパフォーマンス、スケーラビリティ、多用途性で知られ、ウェブコンテンツを提供し、インターネットトラフィックを効率的に管理するための重要なコンポーネントとなっている。 N
LiteFS及びFly.io最新情報
LiteFS+SQLiteでフルスタックNext.jsアプリケーションを作るから1年弱経過して、現在も1.0未満ですがいくつかの重要なアップデートがあったので共有します。 LiteFS Cloudの提供 2022年時点ではデプロイのタイミングなどでデータベースが吹き飛ばないようVolumeをアタッチして開発者が管理する必要がありましたが、Fly.ioによってLiteFS Cloudが提供されるようになり、バックアップ/リストアが自動化されました。 環境変数にLITEFS_CLOUD_TOKENをセットするだけで、LiteFSはFly.ioの外でセルフホストしつつバックアップにLiteFS Cloudを使うということも可能なようです。 内蔵HTTPプロキシ LiteFSは単一のプライマリノードのファイルシステムですべての更新操作を行うので、通常は複数ノードで動作する分散構成の場合はロードバラ
OneDrive has come a long way since it first launched as a cloud storage provider. OneDrive is now the center of your files experience in Microsoft 365. It goes beyond storing and protecting files. It also powers sharing, collaboration and file security, and it’s used by people and organizations big and small around the world. OneDrive hosts trillions of files, with nearly 2 billion more files adde
Turn your existing regional database into a globally distributed database. Hyperdrive is a service that accelerates queries you make to existing databases, making it faster to access your data from across the globe, irrespective of your users’ location. Hyperdrive supports any Postgres database, including those hosted on AWS, Google Cloud and Neon, as well as Postgres-compatible databases like Coc
Fugaku-LLM利用規約\n この利用規約（以下「本規約」といいます）は、富士通株式会社、国立研究開発法人理化学研究所、国立大学法人東京工業大学、国立大学法人東北大学、株式会社サイバーエージェント、国立大学法人東海国立大学機構、及び株式会社Kotoba Technologies Japan (以下「開発者」といいます)による、スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発の成果物として公開する大規模言語モデル（以下「Fugaku-LLM」といいます）の利用に関する条件を定めるものです。Fugaku-LLMの利用者（以下「利用者」といいます）は、本規約に同意した上でFugaku-LLMを利用するものとします。 \n\n第１条（利用許諾） Fugaku-LLMの利用者は、本規約に従い、Fugaku-LLMを商用または非商用目的を問わず利用することができ
A protocol for peer-to-peer data stores. The best parts? Fine-grained permissions, a keen approach to privacy, destructive edits, and a dainty bandwidth and memory footprint. Data storage which never goes offline. You get always-available storage for arbitrary data (e.g. text, media). You can have as many of these stores as you want, keyed to different namespaces. When stores from different device
Lessons learned from two decades of Site Reliability Engineering
Lessons Learned from Twenty Years of Site Reliability Engineering Or, Eleven things we have learned as Site Reliability Engineers at Google Authors Adrienne Walcer, Kavita Guliani, Mikel Ward, Sunny Hsiao, and Vrai Stacey Contributors Ali Biber, Guy Nadler, Luisa Fearnside, Thomas Holdschick, and Trevor Mattson-Hamilton Foreword A lot can happen in twenty years, especially when you're busy growing
External endpoints and testing of task states now available in AWS Step Functions | Amazon Web Services
AWS News Blog External endpoints and testing of task states now available in AWS Step Functions Now AWS Step Functions HTTPS endpoints let you integrate third-party APIs and external services to your workflows. HTTPS endpoints provide a simpler way of making calls to external APIs and integrating with existing SaaS providers, like Stripe for handling payments, GitHub for code collaboration and rep
Astro 3.0リリースなど : Cybozu Frontend Weekly (2023-09-05号)
こんにちは! サイボウズ株式会社フロントエンドエンジニアの Saji (@sajikix) です。 はじめに サイボウズでは毎週火曜日に Frontend Weekly という「一週間にあったフロントエンドニュースを共有する会」を社内で開催しています。 今回は、2023/09/05 の Frontend Weekly で取り上げた記事や話題を紹介します。 取り上げた記事・話題 Astro 3.0 | Astro Astro 3.0 がリリースされました、主なアップデートは以下の通りです。 v2.9 では experimental だった View Transitions が v3.0 で正式に追加 サーバーサイドレンダリング時にも View Transitions API が適用されるように レンダリング速度向上 一般的な Component であれば 30%高速化したとのこと 画像最適化
Gartner Places Generative AI on the Peak of Inflated Expectations on the 2023 Hype Cycle for Emerging Technologies
Gartner Places Generative AI on the Peak of Inflated Expectations on the 2023 Hype Cycle for Emerging Technologies Generative artificial intelligence (AI) is positioned on the Peak of Inflated Expectations on the Gartner, Inc. Hype Cycle for Emerging Technologies, 2023, projected to reach transformational benefit within two to five years. Generative AI is encompassed within the broader theme of em
分散ロック： Momentoでより簡単に
DynamoDB Lock ClientをMomentoに置き換える。 分散システムは魔法のようなものです。「どうしてこうなったのかわからない」というような魔法ではなく、常にそうだとは限りません。しかし、ひとたびその複雑さを理解し始めると、すべてが違って見えるようになります。数年前、オンラインでイベントのチケットを購入する際、「10分以内に購入手続きを完了すると座席を確保できます」というメッセージがよく目につきました。当時は何気なく肩をすくめたものだが、今では分散ロックのことを書いているときに、このメッセージを見て知ったような笑みを浮かべています。 分散システムでは、安定性を維持し、さまざまな障害シナリオに対処するために、さまざまなコンポーネントが効果的に協調する必要があります。この調整のための基本的なツールは、可用性が高く、ネットワーク・パーティションに強いロック・メカニズムです。例えば
「ボーダーランズ3」のミニゲームが，腸内細菌の謎解明に貢献。プレイヤー450万人が「Nature Biotechnology」の共著者に
「ボーダーランズ3」のミニゲームが，腸内細菌の謎解明に貢献。プレイヤー450万人が「Nature Biotechnology」の共著者に 編集部：huan 2020年に「ボーダーランズ3」（PC / PS4 / Xbox One / PS5 / Xbox Series X）に実装された，「ボーダーランズ・サイエンス」というミニゲームを覚えているだろうか。プレイヤーは4種類のタイルをルールに従って並べていくというパズルゲームを遊ぶことで，人体に棲む腸内細菌の進化的な類縁関係を推定することに貢献する……というものだ。 関連記事 「ボーダーランズ3」に，プレイすればするほど科学に貢献できるゲーム内ゲーム「ボーダーランズ・サイエンス」が登場 2KとGearbox Softwareは本日，「ボーダーランズ3」のゲーム内ゲームとなる「ボーダーランズ・サイエンス」を実装したと発表し，内容を紹介するトレイ
Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB | Amazon Web Services
AWS Compute Blog Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB This post is written by Alan Oberto Jimenez, Senior Cloud Application Architect, and Tobias Drees, Cloud Application Architect. Modern software systems frequently rely on remote calls to other systems across networks. When failures occur, they can cascade across multiple services causing service disru
Comparing design approaches for building serverless microservices | Amazon Web Services
AWS Compute Blog Comparing design approaches for building serverless microservices This post is written by Luca Mezzalira, Principal SA, and Matt Diamond, Principal, SA. Designing a workload with AWS Lambda creates questions for developers due to the modularity that can be expressed either at the code or infrastructure level. Using serverless for running code requires additional planning to extrac
シチズン時計は150TBものデータをクラウドにどう移行したのか？ 選定から移行作業、運用まで情シスの挑戦の裏側に迫る
シチズン時計は150TBものデータをクラウドにどう移行したのか？ 選定から移行作業、運用まで情シスの挑戦の裏側に迫る 日本を代表する時計メーカーであるシチズン時計は、旧来のファイル管理に大きな課題を感じていた。拠点ごとに一般的なファイルサーバを運用していたが、台数も多く、日々のメンテナンスや定期的な更新にかかる管理負荷の肥大化が顕著になっていたのだ。またデータの増大も著しく、更改時のサイジングも困難になっていた。 ITインフラのクラウド化を進めていた同社は、ファイル管理についてもオンプレミスのサーバからクラウドへの移行を検討していた。クラウドストレージは外資系企業のサービスが有名だが、それらは移行の手間や管理の負荷に加えて、従業員にとって操作性が大きく変わると判断した。最終的に、大規模環境での実績が豊富な国産クラウドストレージサービス「Fileforce」を選択し、まず東京本社のファイルサ
現地時間の2024年4月6日(土)、アメリカ・イリノイ州のシカゴにあるApple Storeでデモ活動が行われ、店舗が早めに閉店せざるを得ない状況に追い込まれました。デモの原因は、当該店舗で働いていたパレスチナ人従業員が不当に解雇されたことだそうです。 Chicago Apple Store closes early amid labor and ethnic disputes https://appleinsider.com/articles/24/04/07/protesters-close-chicago-apple-store-over-palestinian-employee-firing デモ活動を行ったのは、Appleの従業員や元従業員から構成されているという約300人規模の抗議団体である「Apples4Ceasefire」です。4月6日、団体メンバーが当該店舗を訪れてデモを
It’s that time of year: time to start winding down for the winter holiday season, time to reflect on the past year, and time to think about what we can accomplish together in 2024. The Wasmtime and Cranelift projects are no exception. This article recounts Wasmtime and Cranelift progress in 2023 and explores what we might do in 2024. Wasmtime is a standalone WebAssembly runtime. It is fast, secure
Apache Pekko™
Apache Pekko™ is an open-source framework for building applications that are concurrent, distributed, resilient and elastic. Pekko uses the Actor Model to provide more intuitive high-level abstractions for concurrency. Using these abstractions, Pekko also provides libraries for persistence, streams, HTTP, and more. Pekko includes APIs for Java and Scala and is designed to run in JVMs. Apache Pekko
Advanced RAG — Improving retrieval using Hypothetical Document Embeddings(HyDE)
Any SourceWhat is HyDE ?HyDE uses a Language Learning Model, like ChatGPT, to create a theoretical document when responding to a query, as opposed to using the query and its computed vector to directly seek in the vector database. It goes a step further by using an unsupervised encoder learned through contrastive methods. This encoder changes the theoretical document into an embedding vector to lo
I'm a programmer and I'm stupid
I've been writing code for money for 15 years. I've tried other roles — product management, analytics, testing — but they didn't stick. And over the years, I've learned that I'm pretty dumb. Unfortunately. I haven't been diagnosed with any specific medical condition, but my mental capacity is very limited. I find even easier Leetcode problems challenging. Reading about a basic consensus algorithm
Why if TYPE_CHECKING?
Dec 11 2023 I saw this tweet over the weekend and wanted to dive into the fundamental question behind this: Given this potential error, why do we use conditional imports at all, or, more specifically, when might we use this pattern? The TL;DR is that we use this pattern to hedge between the differences in typechecking enforced by mypy and typechecking as it happens at runtime, particularly when we
Finding LogoFAIL: The Dangers of Image Parsing During System Boot | Binarly – AI -Powered Firmware Supply Chain Security Platform
Binarly REsearch team investigates vulnerable image parsing components across the entire UEFI firmware ecosystem and finds all major device manufacturers are impacted on both x86 and ARM-based devices. [ See previous blog post “The Far-Reaching Consequences of LogoFAIL” preview of Black Hat EU presentation ] As discussed in our previous blog, security defects in image parsers expose significant at
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
torchtune: Easily fine-tune LLMs using PyTorch
From the river to the sea - Wikipedia
Microsoft Azure、Outlook OneDriveアクセス障害、サイバー攻撃が原因
Vector databases (1): What makes each one different?
Evolving the Go Standard Library with math/rand/v2 - The Go Programming Language
Blockchain Startups and Companies in Japan to Watch | MailMate
プロンプトの推定をDALL·E 3とGPT-4Vにまかせた！ - ABEJA Tech Blog
Ep 5: Cell-based Architecture 101 - Why?
SSMセッションマネージャーのセッションログの出力先は用途によって使い分けよう | DevelopersIO
Unveiling the Next Generation of OneDrive
Hyperdrive · Hyperdrive
Fugaku-LLM/Fugaku-LLM-13B · Hugging Face
Willow Specifications - Willow
Apple Storeでパレスチナ人従業員が不当に解雇されたとデモが発生
Wasmtime and Cranelift in 2023