クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力

概要 皆さまはメモを取りたいときやタスクを管理したい、アイデアを何かにまとめたいといった場合、どのようなものに頼っていますでしょうか？ 非デジタルであればノートだったりメモ帳を使用しているかもしれませんし、デジタルであればメモアプリだったりテキストエディタを利用、もしくはクラウド管理されているアプリを利用してるかと思います。 今回はデジタルで利用するメモアプリの話題について取り上げていきたいと考えていますが、もしデジタルでメモを取っている方はどのようなアプリや Web サイトを利用されていますでしょうか？ 有名どころで、メモやタスク管理、ドキュメント管理、データベースなど、仕事で使う様々なツールが 1 つにまとまっているアプリ「Notion」を利用されている方が多いのではないかと考えています。 www.notion.so 私自身も普段からこちらの「Notion」を積極的に利用させていただい

これは「Maidcore（メイドコア）」と呼ばれる音楽ジャンルで、近年YouTubeなどネットで徐々に注目を集めています。 これらの音楽は一体どのようなもので、どのようにして生まれたのでしょうか。 この記事では「メイドコア」について、下記の順番で説明していきます。 始まりは日本だった 1. メイドコア誕生の歴史 「メイドコア」のメイドの起源は、日本の「ふたば☆ちゃんねる」まで遡ります。 2001年に掲示板「2ちゃんねる」の閉鎖騒動が起きた時、その避難所として作られた画像掲示板が「ふたば☆ちゃんねる」です。 元々は避難所だったのが、独自の文化を形成し、発展していきます。 ここでは複数の掲示板が存在し、特に人気なのが「二次元裏＠ふたば」、通称「虹裏」。 その虹裏で、2004年に「メドイさん」と書かれたメイドの絵が貼られます。 全てはここから始まった やがて彼女は「めどいさん」として、「面倒くさ

I remember the first time I used the v1.0 of Visual Basic. Back then, it was a program for DOS. Before it, writing programs was extremely complex and I’d never managed to make much progress beyond the most basic toy applications. But with VB, I drew a button on the screen, typed in a single line of code that I wanted to run when that button was clicked, and I had a complete application I could now

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。 この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese https://github.com/line/LINE-DistilBERT-Japanese LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。 高性能・高速・軽量 Hugging Faceのtra

🤗 PEFT: Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware Motivation Large Language Models (LLMs) based on the transformer architecture, like GPT, T5, and BERT have achieved state-of-the-art results in various Natural Language Processing (NLP) tasks. They have also started foraying into other domains, such as Computer Vision (CV) (VIT, Stable Diffusion, LayoutLM) an

米国のジャーナリストであるレイトン・ウッドハウス氏のSubstackから「ザ・ルンペンブルジョワジー」という記事を訳してみた。IT企業をはじめとして、アメリカ社会はなぜこれほどまでにウォーク(左傾)化してしまったのか。今回のTwitter社の大量レイオフにもつながる話です。 「ルンペンブルジョワジー」とは、ここでは生産性は低いが高給と社会的尊敬を得られる職についている大卒社会人ぐらいの意味。労働市場での競争で明確に有利となるスキルを持たない主に人文系の卒業生が各産業に入り込み、大学で吹き込まれた道徳的資本を頼みの綱にしてキャリアを築こうとする。その過程で社会がWoke化していったとする議論。 イーロン・マスクが今回レイオフしたのは、こうしたルンペンブルジョワジーの階級に属する人々だったのかもしれません。 leightonwoodhouse.substack.com (翻訳ここから) ザ・ル

2020年12月10日にCD Projekt RED（以下、CDPR）より発売された、オープンワールドアクションRPG『サイバーパンク2077』。それを原作とし、TRIGGERが制作を務めたアニメ作品『サイバーパンク エッジランナーズ』が、2022年9月13日より動画配信サイトのNetflixにて独占配信中だ。 『サイバーパンク エッジランナーズ』は全10話とアニメシリーズとしては若干短めながらも、配信開始から瞬く間に全世界で大ヒット。『サイバーパンク2077』のほうでもアニメに関連したアップデートを実施したこともあり、配信開始直後から『サイバーパンク2077』のプレイヤー数が大幅に増加した。 今回、ファミ通.comでは『サイバーパンク エッジランナーズ』のプロデューサーを務めたCDPRの本間覚氏と、同作の監督であるTRIGGERの今石洋之氏にインタビュー。制作がスタートした経緯などの制作

Honoという僕が作っているWebフレームワークのGitHubスター数が2,000に迫ってきた。これまで作ってきたOSSのソフトウェアでは最高で revealgo の221、次点で gh-markdown-preview の134だ。それが一気に2,000である。 もちろん、スターの数がソフトウェアの良し悪しを決めるものではない。 それに2,000はとりわけ多いわけではない。 でも、以前の自分には遥か彼方に見えていた数を獲得できたのは、とても嬉しいことだ。 去年12月から作り始めて9ヶ月間、552コミット。 今や使ってくれる人も増えた。 cdnjs のAPI Serverのバックエンドにも使われているし、 HonoをきっかけにGitHubスポンサーをしてくれている企業や人も現れている。 なにより、いろんなことを勉強させてもらった。 今回はHonoというプロダクトがどうやって2,000のスタ

在宅勤務中から移動時まで、起きているときの大半はイヤホンを装着している筆者ですが、さすがに1日中着けっぱなしにしていると、耳が痛くなったり、圧迫感を感じたりすることがあります。「しょうがないか」くらいに考えていたころに出会ったのが、メガネにオーディオ機能を搭載させたファーウェイの「HUAWEI Eyewear」という製品。メガネにスピーカーを内蔵することで、“見る”と“聴く”の両方が可能にするというものです。 「HUAWEI Eyewear」で新しいメガネ体験を メガネに“見る”以外の機能を搭載した製品は、スマートグラスやARグラスなどと呼ばれ、数年前から市場に登場していますが、今回試した「HUAWEI Eyewear」はオーディオ機能のみを搭載しており、レンズ（ディスプレイ）に情報を表示するような機能は搭載されていません。 導入時は「試してみるか」程度の心持ちだったものの、実際に使い出す

1. はじめに 2. 先行研究からの学び 3. 前提 4. アーキテクチャ変更候補 活性化関数の変更 (SwishGLU) Transformer layerの並列化 biasパラメータ除去 Input-Output Embeddingの共有 (Weight tying) 5. 小規模モデルでの実験 実験設定 Transformer layerの並列化 SwishGLUの適用 Bias parameterの除去 bias削除の実験 最初もしくは最後のbiasだけを残す Input-Output Embeddingの共有 (Weight tying) 6. 中規模モデルでの実験 実験設定 モデルサイズでの比較 Shared Input output embeddings (weight tying) Transformer layerの並列化 SwishGLUの適用 7. 13Bパラメーター

安琦 @_angieeeee_ 「私の性自認は攻撃ヘリ」 ジェンダーを女性から攻撃ヘリに変更した主人公の一人語り。内戦下のアメリカ、モハーヴェ砂漠を横切り、敵地に爆弾投下する短編だが、もう感想が「すごい」しか出てこなかった。SF的面白さ、軍事小説の勢いとジェンダー小説としての鋭さで一気に読ませる。 pic.twitter.com/BKh6SyCPHa 2022-07-30 08:09:07 安琦 @_angieeeee_ まず一気読み、実は難解で結局3回読み直し。 「ジェンダーは自己決定である」という考えが確立した現代。「女だったころの私」としての生々しい過去と彼女が好む攻撃ヘリとしての生き方の対比が効いていて、まさに今じゃないと書かれない小説じゃないかなと思った。 2022-07-30 08:29:41 安琦 @_angieeeee_ 同じように体を軍によって戦闘用に変えられる（本人承諾

最近はニンテンドースイッチで、牧場経営をしながらほのぼのライフを楽しめるゲーム『スターデューバレー』をプレイしていました。 どこからどう見てもジェネリック牧場物語の雰囲気にはじめは全く期待してなかったんですが、1ヶ月プレイした感想は「最高」でした。シンプルながら、とんでもないボリュームとやりこみ要素を兼ね備えたゲームで、現実の生活に支障をきたすほどハマってしまいました。 ブラック企業を退職し、田舎で荒れ果てた牧場を経営することになった主人公。このゲームの最大の魅力は「終わりがない」ところ。いつまでにこうしなければゲームオーバーというリミットも、なにをすればクリアというゴールもありません。 仕事を放棄してバーでお酒を飲むだけの日があってもいいし、街の住民達と交流を深めるだけの日があってもいい。 日々の忙しさにうんざりしていた私にとって、このゲームはまさに「理想」。誰に怒られずのんびりと好きな

「Diagrams」を使うと Python コードでアーキテクチャ図を生成できる．サポートされているアイコンセットがとても多く AWS や Google Cloud や Microsoft Azure もあれば，Kubernetes やプログラミング言語なども使える．試してみたけどめちゃくちゃ便利！まさに Diagram as Code だ✌️ diagrams.mingrammer.com セットアップ 「Diagrams」は Graphviz に依存しているため，macOS だと pip と brew ですぐにセットアップできる． $ pip install diagrams $ brew install graphviz 試してみた さっそく Examples を参考にアーキテクチャ図を作ってみた！ サンプル : AWS from diagrams import Cluster, D

ショートアンサー React 18 からのフックである、useSyncExternalStore を使えばいいようです。 ※ useEffect がまったくだめだというわけではありません。 ※ クライアントサイドレンダリングのみを考えています。サーバーサイドレンダリングを考慮すると違った答えになるかもしれません。 サンプルコード 次のような useData フックを作ってみます。 JSON API の GET レスポンスを返すシンプルなものです。 実験をしやすいように、リクエスト URL を変えるボタンを置いてあります。 import { useEffect, useState } from "react" export function SearchResults() { const [id, setID] = useState(1) const todo = useData(`http