今年は大規模言語モデル（LLM）の様々な分野へ導入した論文がトップジャーナルに溢れるようになる元年と言えるかも知れない。一般の方ににとってLLMは、ChatGPTのようなテキストを学習させたモデルを指すのだと思うが、元々ノンリニアーな情報を扱う生物学では、早くから様々な目的でLLMの導入が進んでいる。最も普及しているのが蛋白質の構造予測もでるαフォールドだろう。 過去の経験は未来の予測に重要だが、これまでの予測はデータをなんとか法則に落とし込んで、その法則を未来に適用してきた。これに対しLLMでは、過去のデータを自然にコンテクスト化して、そこから最も確率の高い結果を導き出す。まさに生物情報に合致したモデルと言えるが、これと似ているのが気象現象だ。 本日紹介する論文 今日紹介するGoogleの2つの研究所からの論文は、3700万パラメーターを持つニューラルネットを用いて、地球規模で過去の気象

世界のスーパーコンピューターの計算速度を競う最新のランキングで、米国の「フロンティア」が4期連続で首位だった。生成AI（人工知能）の開発競争が激しさを増すなか、上位3位までを米国勢が占めた。理化学研究所と富士通が開発した「富岳（ふがく）」は前回の2位から4位に後退した。専門家の国際会議が米国時間13日、半年ごとに集計するランキングの最新版を公表した。スパコンは先端技術研究のインフラの役割を担っ

世界のスーパーコンピュータ(スパコン)に関するランキングの2022年11月版(第60回)「TOP500」が11月14日(米国時間)、米国キサス州ダラスにて開催されているHPCに関する国際会議「SC22」にて発表された。 トップとなったのは前回同様、米ORNL(米オークリッジ国立研究所)に設置されたエクサスパコン「Frontier」。LINPACK性能は1.102ExaFlopsで、前回から変化はない。2位も前回同様、理化学研究所(理研)のスパコン「富岳」。LINPACK性能は、こちらも前回同様の442.01PFlopsと変更はない。ちなみに富岳は、「HPCG(High Performance Conjugate Gradient)」ならびに「Graph500」においては6期連続の1位を獲得しているほか、「HPL-AI」は3位を獲得している。 2022年11月版のTOP500で2連覇を達成し

男女共学の進学校として全国トップクラスの実績を上げる渋谷教育学園幕張中学・高校（千葉市）。新たな異才が飛び出した。大屋孝輔さんは、渋幕時代に廃棄パソコン（PC）からスーパーコンピューターを製作。2022年春、東京大学に推薦合格を果たした。廃棄物をリサイクルしてスパコンに。しかも製作費はわずか20万円。環境共生型社会をけん引する次世代リーダーの素顔に迫った。 ■中学でスパコン製作の衝動、校内で使用済みPC発見「安価なスパコンを作れないか」。大屋さんは、中学2年生の時に東大でスパコンの技術を紹介する特別講座に参加、自分の手で高速計算器をつくりたいという衝動に駆られた。 スパコンは「並列型」が主流で、多くのマイクロプロセッサーを接続して演算処理する仕組みだ。温度管理を徹底した大規模な屋内施設が不可欠で、多額の資金が必要となる。普通の中学生ならここであきらめるだろう。 しかし、校内であることに気づ

千葉大学と名古屋大学の研究チームは9月14日、スーパーコンピュータ「富岳」を使い、太陽の自転周期が緯度ごとに異なる理由を解明したと発表した。富岳を使い、太陽の磁場や熱流を、54億ドットの解像度でコンピュータ上でシミュレーションした結果、現象の原因が分かったという。 地球はどの緯度でも同じ1日の周期で自転するが、太陽は緯度ごとに違う周期で自転している。赤道付近では25日程度、北極と南極といった「極地方」では30日程度の周期で、赤道付近の方が自転速度が速い。この運動は「差動回転」と呼ばれ、太陽黒点の形成と太陽の周期活動の重要な役割を果たすと考えられているが、これまで発生の原因が分かっておらず、「熱対流の難問」として太陽物理学では長年の謎だったという。 過去にはスパコン「京」を使い、同様の実験を約1億ドットの解像度で実施。しかし計算能力が足りず、極地方が赤道付近より速く自転する結果になり、正確な

メモリテクノロジとしては2019年ころに使用可能であるという条件で、通常のDDR4と3D積層メモリであるHMCとHBMを比較検討した。次の表に示すように、DDR4はコストは安いがメモリバンド幅が不足なので×という評価である。HMCはバンド幅は広いがHMCを直列に接続するリンクの消費電力大きいことが指摘され、△評価となった。HBM2はメモリ容量が小さい点とシリコンインタポーザが必要でコストが高い点が問題とされたが、R/Wのバンド幅が非常に高い点が高く評価され、HBM2を選択することに決定した。 メインメモリをHBM2だけとしたことから計算ノードのメモリ容量が小さく×であるが、大部分のアプリケーションはスケーラブルであるので、多数の計算ノードを使って、データを分散させることでカバーできると判断した。メインメモリの容量を増やすためにDDR4も追加するという選択もあり得るが、コストアップとなるので

スーパーコンピューター「富岳」の正式運用が開始された。開発前の準備期間を含めると、１０年半の歳月が流れたことになる。 富岳の開発は、順風満帆ではなかった。毎年のようにいろいろな壁にぶつかり、システム研究開発者と社会的、科学的課題を解決するためのソフトウエア研究開発者とが密に連携し、解決してきた。関係者の皆さまに深く感謝申し上げる次第である。 私という人間は、「趣味は仕事です」という分類に含まれ、「好きなことを仕事にしていて、いいですね」とよく人に言われる。しかし、周りからそう見えても、富岳開発のフラッグシップ２０２０プロジェクトのリーダー職務は、自分には合っていないと感じていた。 私は生涯プログラマーに憧れており、開発現場全体を見渡して調整するリーダー職よりも、現場でソフトウエアを設計し、自らプログラミングするほうが好きな人間である。 米国大統領の妻、ジル・バイデンさんは、ファーストレディ

AWS Open Source Blog Remote visualization in HPC using NICE DCV with ParallelCluster NICE DCV is an AWS-owned high performance remote display protocol, which specializes in 2D/3D interactive streaming over the internet or a local network (e.g., WiFi). With the power of NICE DCV we can seamlessly connect to our remote session running either in the cloud or data center via internet from a local lapt

最先端の自然言語処理モデルとスパコン「kukai」を活用したコメント対策、および並び順名称の変更について （画像：アフロ） Yahoo!ニュースでは、最先端の深層学習ベースの自然言語処理モデルを使用したコメント対策を開始しました。 今回、開始したのは、「記事との関連性の低いコメント」への対策です。 Yahoo!ニュースでは、コメント欄について、これまでも専門チームによるパトロールや機械的な対策を実施してきましたが、「記事との関連性の低いコメント」の機械的な対策については、未だ技術的課題のある状況でした。従来のニューラルネットワークを用いた自然言語処理モデルでは、1コメント単体の判定は可能であるものの、記事とコメントの関連度については判定が困難だったためです。 そこで、最先端で強力な深層学習ベースのアーキテクチャである「Transformer」およびGoogleの研究者が発表した画期的な自然

スパコンの仕事といっても幅が広い。得意、不得意があり、どのような仕事をするかで性能は変わってくるので、それぞれの仕事の分野でベンチマークが作られている。有名なTop500は浮動小数点演算性能のベンチマークで、メモリアクセスが少なく演算が多い場合の性能を測っている。しかし、最近の巨大計算では疎行列を扱うことが多く、メモリアクセスの比率が高い。このため、Top500の中にHPCGというベンチマークが作られている。 これ以外にグラフ処理のベンチマークのGraph500、I/O処理のベンチマークのIO500があり、ディープラーニング用のベンチマークも開発中である。 巨大グラフの処理性能を測定するGraph500 このレポートの話題であるGraph500はグラフ処理の仕事のベンチマークである。グラフ処理が使われるビジネス分野であるが、次のスライドでは、サイバーセキュリティ、医療情報、ソーシャルネット

独フランクフルトで開催されたISC 2019において、53回目のTop500が発表された。フランクフルトは欧州中央銀行(ECB)の本部があるヨーロッパの金融の中心都市である。 ISC 2019の会場となったフランクフルトメッセは10個以上の大規模ホールを持つ巨大な展示場で、入口近くに鉛筆のようにてっぺんが三角に尖ったシンボルタワーがある。 ISC 2019の会場となったフランクフルトメッセの尖った鉛筆のようなシンボルタワー ISCは10余りのホールのうちの3号館で展示を行い、フォーラムという会議場のビルで基調講演やTop500の発表、論文の発表などが行なわれた。 なお、ISC 2019では164の展示ブースが並んだが、それでも3号館の3/4程度のスペースで、残りの1/4ぐらいのスペースはランチスペースに使われていた。 フランクフルトメッセの風景。左の建物がISC 2019の展示が行なわれた

先日リリースさせて頂いたとおり，MN-2の構築を行っています．MN-2は最新世代の，1024基のNVIDIA(R) V100 GPUが計算力の主力となります．現在利用しているMN-1およびMN-1bにおいて1024基のP100と512基のV100を稼動させていますが，MN-2の追加によりGPU数換算で合計2560基となり，保有計算力を大幅に強化しました．とはいえ，現時点ではKubernetesをはじめとしたソフトウェアサービススタックのセットアップ中であり，GPUは主にベンチマークを実施して状態確認を行っている段階です． PFNでリサーチャをやっている，土井裕介です．最近はリサーチ業務はあまりやっておらず，社内インフラ関係の全体の世話役のような業務が主担当になっています．今回，物理構築が一段落したのでBlogにてMN-2の概要やポイントを紹介させて頂きます． なぜMN-2を作るのか？ よく

次の図の写真に写っている中央の部分がVEプロセサと6個のHBM2メモリからなるベクタエンジンで、これらのチップはシリコンインターポーザに搭載された2.5D実装となっている。VEプロセサはTSMCの16nm FinFETプロセスで作られ、チップサイズは15mm×33mmである。 なお、6個のHBM2メモリを搭載する製品は世界初であり、1.2TB/sというAurora TSUBASAの高メモリバンド幅を実現している。 15mm×33mmというVEチップの両側に3個ずつのHBM2メモリが搭載されている。これらのチップはシリコンインターポーザに搭載されており、2.5D実装となっている VEチップには8個のベクタコアが搭載されており、それに16MBの最終レベルキャッシュが付いている。 コアのクロックは1.6GHzで、コアは倍精度で307GFlopsの演算性能をもち、プロセサ全体では2.45TFlop

A64FXではリングバスにも工夫がある。4つのCMGとTofu、PCIe、そして割り込みコントローラを繋ぐ2重リングだけでなく、CMG0とCMG1をつなぐリンクとCMG2とCMG3をつなぐリンクが追加されている。 リングバスは、115GB/s×2のバンド幅。CMGやI/Oを接続するリングバスは単純なリングではなく、CMG2と3、CMG0と1をつなぐリンクが追加され、CMG間の通信レーテンシを短縮している 単純なリングの場合は、CMG2とCMG3の通信とTofuからCMG1への通信が同じ通路を使うことになりコンフリクトが起きる。また、CMG2とCMG1の通信は割り込みコントローラのリングストップを経由するのでパスが長くなってしまう。 クロスバにすれば、このような問題はないが、物量が多くなってしまう。このため、右の図のようにCMG2と3、CMG0と1のリンクを追加してCMG間の通信とTofuネ

筑波大学は、FPGAを本格使用するスーパーコンピュータ(スパコン)「Cygnus」の運用を4月より開始した。 筑波大で運用を開始するFPGAを本格使用するCygnusスパコン (写真提供:筑波大計算科学研究センター) 現在では、IntelのXeonなどの汎用CPUとNVIDIAのGPUを組み合わせたスパコンが主流で、米国のSummit、Sierraスパコン、国内最大の産総研のABCIスパコンもこのタイプである。 筑波大はメーカーが開発したスパコンをそのまま購入するのではなく、自分のところの研究成果をとりいれたスパコンをメーカーと共同開発を行うという形のスパコン調達を行ってきた歴史を持っている。 正確に言えば、どこもメーカーの製品をそのまま購入しているわけではなく、いろいろと工夫して自分のところに合うスパコンを共同開発しているのであるが、筆者の印象では、筑波大はスパコンシステムの構成に自分の