「Transformer」後継と期待される「RetNet」活用 PKSHAが日英対応の独自LLMを開発 日本MSも協力

AIベンチャー・PKSHA Technology（東京都文京区）は3月28日、「RetNet」技術を活用した日英大規模言語モデル（LLM）を開発したと発表した。RetNetを使用した日英モデルは世界初で、日本マイクロソフトの技術支援により実現。PKSHA Technologyの上野山勝也代表は「これによって生成AIの活用が一段前に進む」と自信を見せる。 左から、PKSHA Communication、PKSHA Workplaceの佐藤哲也代表、PKSHA Technologyの上野山勝也代表、日本マイクロソフト 執行役員 常務 最高技術責任者の野嵜弘倫さん、PKSHA Technology アルゴリズムエンジニア VPoEの森下賢志さん、PKSHA Technology アルゴリズムリードの稲原宗能さん 今回開発したLLMの最大の特徴であるRetNetとは「Retentive Netwo

[misshiki]

“今回開発したLLMの最大の特徴であるRetNetとは「Retentive Network」の略称で、米Microsoft Researchが開発した技術。現在、LLMのアーキテクチャは「Transformer」が主流だが、Microsoftは「RetNetはこの後継として期待される」と説明。”

[toaruR]

消費の少なさをアピールされてしまうと、同等のリソースを消費しても性能はあんまり上がらないのかなと訝ってしまう＼(^o^)／

[shields-pikes]

こっちも原理くらいは追いかけておかないとなー。

[kns_1234]

“2万文字を入力したときの出力速度を比較すると、速度は約3.3倍上がり、応答時間にすると約70％削減できた”

[macro1597]

10億トークンのLongNetもどこかがやってくれそう