「Facebook」「Instagram」「WhatsApp」を運営するMeta Platformsで人工知能（AI）担当のチーフサイエンティストを務めるYann LeCun氏は、この分野に携わる多くの人を困惑させることになりそうだ。 LeCun氏は6月、「Open Review」に投稿した論文で、機械に人間レベルの知能を持たせることが期待できると考えるアプローチについて概観を示した。 この論文で暗に主張しているのは、現在のAIに関する大規模なプロジェクトのほとんどは人間レベルという目標に決して到達できないという点だ。 LeCun氏は、9月に入って米ZDNetが実施した「Zoom」でのインタビューの際、現時点で最も成功しているディープラーニング（DL）の研究手法の多くを非常に懐疑的に見ていることを明らかにした。 コンピューター科学分野のノーベル賞に相当する「ACM A. M. チューリング
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 米Google、米DeepMind、スイスのETH Zurich、米プリンストン大学、米UC Berkeleyに所属する研究者らが発表した論文「Extracting Training Data from Diffusion Models」は、テキストから画像を生成する拡散モデルが学習データとほぼ同じ画像を生成していたことを実証した研究報告である。 これは学習データの各画像を拡散モデルが記憶し、生成時にほぼ同一を出力していたことになる。個人を特定できる顔写真や商標登録されたロゴも含まれていたため、今回の結果はプライバシーや著作権の問題も深く絡むことになる
強化学習におけるLLMの活用パターン調査 はじめに：実世界における強化学習の課題 LLM×強化学習 人間はゼロショット推論によりサンプル効率の良い学習ができる LLMによるゼロショット推論の例 さまざまなLLM活用パターン 1. 報酬モデルとしてのLLM LLMによる代理報酬モデル VLMによる外観ベース代理報酬モデル 外部知識にもとづく報酬モデル設計 2. 計画モデルとしてのLLM LLMによるセマンティック計画 LLMによる構造的な探索計画 3. 方策モデルとしてのLLM LLM as 確率方策 マルチモーダルLLM as 確率方策 参考：GPTアーキテクチャの転用 4. 世界モデルとしてのLLM Language Models Meet World Models (あとで書く) おわりに：VLM as 確率方策に期待 はじめに：実世界における強化学習の課題 レトロゲームで人間並みのパ
GoogleはなぜChatGPTに後れをとったのか。そしてレイオフを逃れたAIチームは追いつけるのか（Google Tales） | テクノエッジ TechnoEdge
IT系海外速報を書いたり、翻訳を請け負ったりしています。初めてのスマートフォンはHTC Desire。その後はNexus 5からずっとGoogleさんオリジナルモデルを使っています。 Google（というかその親会社のAlphabet）が1万2000人のレイオフを発表しました。これでいわゆるGAFA（FacebookはMetaになっちゃったので古い）でリストラを発表していないのはAppleだけに。Apple以外はコロナ禍の2019年～2022年の間、かなり雇用を拡大していた（Alphabetは57％増）ので、予想されていたものではあります。 スンダー・ピチャイCEOは大規模リストラの理由を「AIへの初期投資で生まれた大きなチャンスを完全につかむため」と公式ブログで説明しました。 ▲Google I/O 2022でAIについて語るスンダー・ピチャイCEO “初期投資”というように、Googl
人工知能(AI)の進化に伴って、チェスや将棋といった知能ゲームにおいてAIがプロプレイヤーに勝利するケースが増えていましたが、2016年1月にGoogleの「AlphaGo」が囲碁のプロ棋士に勝利したことを皮切りに、2カ月後には世界最強の棋士にも勝利したり、「私ならAlphaGoにも勝てる」と宣言したプロ棋士にも接戦の末勝利したり、2017年には自力で戦術を覚えて強くなれる新バージョンの「AlphaGo Zero」が発表されたりと、囲碁の世界でもAIが圧倒的な勝者として君臨していました。そのような中で、アマチュアの囲碁プレイヤーがコンピュータの直接的なサポート無しで最強レベルの囲碁AIに15戦14勝と大勝し、「AIに対する人類の勝利」と話題になっています。 Adversarial Policies in Go - Game Viewer https://goattack.far.ai/ad
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform W
Research部門の近江崇宏です。 今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM（大規模言語モデル）をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ（2023年6月まで）も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。具体的には、事前学習に用いたデータセットはCC100の
イーロン・マスクが新しいAI企業「X.AI」を設立
Twitterやテスラ、SpaceXといった企業を保有するイーロン・マスク氏が、人工知能(AI)に特化した新企業の「X.AI」を設立しました。X.AIはアメリカのネバダ州で法人化されており、同州への提出書類からその存在が明らかになっています。 Elon Musk Creates New Artificial Intelligence Company X.AI - WSJ https://www.wsj.com/articles/elon-musks-new-artificial-intelligence-business-x-ai-incorporates-in-nevada-962c7c2f Elon Musk founds new AI company called X.AI - The Verge https://www.theverge.com/2023/4/14/23684005
今年のGoogleスゴすぎない？
2021: More than OK! 今年もGoogle（Alphabet）にお世話にならない日はありませんでした。このインフォグラフィックによると、人類は毎分570万回もGoogle検索し、約69万時間分の動画をYouTubeで見ていたそうです（YouTubeはGoogle傘下、GoogleはAlphabet傘下）。 それだけでもヤベェ会社だなと思いますが、今年はコア以外の部分もすごかった！ コスパも技術もエゲツない Google Pixel 6Image: Sam Rutherford/Gizmodo USGoogle謹製のAndroidスマホが日本市場デビューを果たしたのが2018年。Pixel 3は、ソフトの力で群を抜いてキレイな写真が撮れるシンプルイズベストなスマホでした。ただしメモリ容量やバッテリー持ちがちょっと物足りない記憶。 2019年のPixel 4は、Soliレーダー
こんにちはkamikawaです 今回は無料で利用できる機械学習、データサイエンスに関するサイトや書籍をまとめました 私自身も機械学習プロジェクトに関わった経験があるのですが、ここに載せたサイトや資料を勉強に使っていました 機械学習エンジニアを目指す人必見です 入門者レベル〜応用・発展レベルまで幅広く載せていますレベルは個人の見解です。(あくまでも参考程度に) 日本語のものと英語のものを紹介します 海外の大学の講義もあるので英語の勉強にも使えます 海外でのキャリアを考えている方も必見です 対象読者 機械学習を学びたいけどお金をかけたくない人 独学で機械学習を身につけたい人 機械学習エンジニアになりたい人 発展的な機械学習を学びたい人 日本語 Python 三重大学奥村教授のサイト 機械学習、様々な分析、スクレイピング、データ可視化、地図データ、CV、統計など幅広い分野を扱っている R編もある
米Googleが12月7日に発表した新しいAIモデル「Gemini」。日本では、いすゞ車のイメージもあって「ジェミニ」と表記するのが一般的だが、X（旧Twitter）では「ジェミナイが正しいようだ」という話も広がっている。 確かにGoogleの発表動画を見返すと、Google DeepMindのデミス・ハサビスCEOや、同社チーフ・サイエンティストのジェフ・ディーンさんは「ジェミナイ」と発音しているようだ。また米国のDJ機器メーカー・GEMINIのように、日本では「ジェミナイ」で通っているブランドもある。
生成AIの飛躍的性能アップの秘密「グロッキング」とは？
ChatGPTなどの優れたAIモデルを開発するAI研究団体のOpenAIが発見した、ディープラーニングにおける最も魅力的な謎のひとつとされる「グロッキング」について、GoogleのAI研究者が位相変化との関係を指摘しています。 [2301.05217] Progress measures for grokking via mechanistic interpretability https://arxiv.org/abs/2301.05217 A Mechanistic Interpretability Analysis of Grokking - AI Alignment Forum https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokk
ホクソエムサポーターの白井です。 今回は Matthew McAteer氏によるブログ記事Nitpicking Machine Learning Technical Debtの和訳を紹介します。 原著者の許可取得済みです。 Thank you! アメリカの国内ネタも含んでいて、日本語だと理解しにくい箇所もありますが、機械学習の技術的負債をどう対処していくかについて、とても役に立つ記事だと思います。 Nitpicking Machine Learning Technical Debt (機械学習の技術的負債の重箱の隅をつつく) イントロダクション Part1 技術的負債はあなたの予想以上に悪い Part2 機械学習の漠然とした性質 Part3 (通常の依存関係の頂上にある) データ依存関係 Part4 イライラさせるほど未定義なフィードバックループ 後編に続きます Nitpicking Ma
ChatGPTの開発元OpenAIが「10年以内にAIがほとんどの分野で専門家のスキルレベルを超える」という懸念に基づき「超知能AI」の登場に備えるべく世界的な規制機関を立ち上げる必要があると主張
現地時間の2023年5月22日、対話型AI「ChatGPT」や大規模言語モデル「GPT-4」などを開発したAI研究団体のOpenAIが、専門家のスキルレベルを超え、高度な生産活動を行うAI「超知能(Superintelligence)」の登場を予期し、AIの安全な開発を進めるためには国際的な規制機関の立ち上げが必要になると提唱しています。 Governance of superintelligence https://openai.com/blog/governance-of-superintelligence 2023年5月22日にOpenAIはサム・アルトマンCEOやグレッグ・ブロックマン氏、イリヤ・スツケバー氏の連名で、AI研究における国際的な監視組織や規制機関を立ち上げる必要があると提唱しました。 Initial ideas for governance of superintel
イーロン・マスク氏は7月14日（米国時間）、12日に予告した新企業xAIに関するスペースを予定より少し遅れて開催した。4万人以上がリアルタイムで参加し、マスク氏の伝記を執筆中のウォルター・アイザックソン氏やキム・ドットコム氏なども質問した。 マスク氏は、xAIの目標は複雑な科学や数学の問題を解明し、宇宙を理解するのに役立つ“スーパーインテリジェントAI”を構築することだと語った。そうしたAIは2029年までに登場すると予想するのが現実的だという。xAI立ち上げメンバーらは、社会に利益をもたらす「人間より賢いAI」を構築したいと語った。 マスク氏はまた、将来的にはOpenAIやGoogleなどに代わるAI企業になるが、xAIはまだ初期段階であり、競合に追いつくには時間が必要だとも語った。 途中、異星人が見つからないのはなぜかについての「フェルミのパラドックス」について熱く語る場面もあった。ま
「AIが自動生成＝著作権なし」「人間の創作＝著作権あり」 米著作権局、AI生成コンテンツの登録ガイドライン公表
「AIが自動生成＝著作権なし」「人間の創作＝著作権あり」 米著作権局、AI生成コンテンツの登録ガイドライン公表 絵画や本、音楽といったコンテンツの著作権登録を管轄する米国の政府機関・著作権局は3月16日、AIで生成した画像の著作権登録についてのガイドラインを発表した。 AIが自動生成したコンテンツは原則、著作権が認められないが、AIと人間が協働したコンテンツで、人間の創造力が反映された部分には著作権の保護が及ぶとし、登録申請の際に「AIが自動生成した部分」と「人間が創作した部分」を分けて明記するよう求めている。 米国の著作権法は日本と異なる。日本では、著作物が創作された時点で自動的に著作権が発生し、著作権が侵害された場合に訴訟を提起できる。米国でも著作権は創作時点で発生するが、著作権侵害訴訟を起こすには著作権局への登録が必要だ。 米国では、AI画像自動生成サービス「Midjourney」を
DeepMindが競技プログラミングレベルのプログラミングが可能な人工知能(AI)の「AlphaCode」を発表しました。AlphaCodeのほかにも自動でプログラミングが可能なAIは存在しますが、AlphaCodeは414億ものパラメーターを保持した特に精度の高いAIに仕上がっているとのことです。 Competitive programming with AlphaCode | DeepMind https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode Competition-Level Code Generation with AlphaCode (PDF)https://storage.googleapis.com/deepmind-media/AlphaCode/competition_leve
Googleが「人間の専門家レベルを超える最初のモデル」とする『Gemini』発表、GPT-4を凌駕 | AIDB
Googleは、人間の専門家のパフォーマンスを上回る最初の大規模言語モデル（LLM）として「Gemini」を発表しました。LLMの主要なベンチマークの一つであるMMLU（多領域の学術ベンチマーク）をはじめとするほとんどのベンチマークでGPT-4を凌駕しています。 Geminiは、画像、音声、動画の理解を含むマルチモーダルタスクでも最先端の性能を示しています。テストに使用された20のマルチモーダルベンチマーク全てで最高の水準を達成しています。 また、複数のソースからの情報を統合して、より正確で詳細に理解する能力に優れているとのことです。 なお、Ultra、Pro、Nanoの3つのサイズがあり、それぞれ異なる計算要件に特化して設計されています（例えばモバイル向けにはNanoなど）。Ultraは最も高度に複雑なタスクをこなし、研究報告では主にUltraの性能が他モデルと比較されています。 本記事
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
米X（旧Twitter）が9月29日に発効させするプライバシーポリシーの改定で、公開データをAIのトレーニングに使うことを新たに追加していたことが明らかになった。米IT系ブログStackdiaryが9月1日に指摘した。 日本語版では、「本ポリシーで概説されている目的のため、当社が収集した情報や一般公開された情報を、機械学習または人工知能モデルのトレーニングに使用することがあります。」となっている。 この件について、XのオーナーでCTO（最高技術責任者）のイーロン・マスク氏は「（トレーニングに使うのは）公開データだけで、DMやプライベートなものは対象外だ」とポストした。 マスク氏は7月、“スーパーインテリジェントAI”構築を目指して立ち上げる新企業ｘAIで、xAIのAIモデルのトレーニングに、Twitterの公開データを利用すると明言している。xAIのWebサイトには、「当社はX Corpと
以下の記事が面白かったので、軽く要約しました。 ・Illustrating Reinforcement Learning from Human Feedback (RLHF) 1. はじめに言語モデルは、人間の入力プロンプトから多様で説得力のあるテキストを生成することで、ここ数年、目覚ましい成果をあげています。しかし、「良い」テキストかどうかは、主観的で文脈に依存するため、定義することが困難です。 「良い」テキストを生成するための損失関数の設計は難しく、ほとんどの言語モデルは、まだ単純な次のトークン予測損失（クロスエントロピーなど）で学習しています。この損失自体の欠点を補うために、BLEUやROUGEなどの人間の好みをよりよく捉えるように設計された指標も定義されています。しかしこれらは、能力測定において損失関数より適してますが、生成されたテキストを単純なルールで参照比較するため、制限があり
ivy が面白い
ivyとはなにか 機械学習の統一を目指すフレームワークです。現在、JAX, TensorFlow, PyTorch, Numpy をサポートしています。JAXはNumpy互換なので、実質的に Tensorflow&Pytorch の共通APIのフレームワーク(かなり乱暴なまとめ方)です。 研究のペーパーでよく見るのはPytorchですが、産業ではTensorflowがよく使われるようです。 下の表にもありますが、開発者の設計思想を読むと「書き換えの手間」が想像以上に労力を必要とする文面が多く見受けられます。 余談で手元にTensorflowとPytorchの本が2冊あるのですが、実装に互換性があればそういう悩みが減って深層学習の学習が身近になるかもしれないですね。 特に初学者は「最初にどの山に登るのがいいのか」で迷うと思うので。 ivy登場以前から、学習済みモデルを異なるプラットフォームで
イーロン・マスクがOpenAIを辞めた本当の理由
イーロン・マスクがOpenAIを辞めた本当の理由2023.04.03 13:0041,917 Kyle Barr - Gizmodo US ［原文］ （ satomi ） イーロン・マスクが｢OpenAI危ない！ 開発半年中止すべき｣と署名を搔き集めているのを見て、｢あれ？ 自分で立ち上げた研究所じゃないの？｣と首をかしげている人も多いと思います。 マスク氏辞任の真相確かに2015年にOpenAIが旗揚げした当初は、イーロン・マスクもLinkedIn共同創業者リード・ホフマン、PayPal共同創業者ピーター・ティールら投資家グループで計10億ドルの初期投資を約束した時期もあったし、研究所がRedditの掲示板の投稿をAIにフォードしていた辺りには共同会長でした。 しかし、Semaforが匿名の情報筋8名から得た情報によると、2018年にイーロンは｢このままではGoogle（グーグル）に完全
AI開発の新たなパラダイム「基盤モデル」とは
さて、視覚・言語を扱う基盤モデルとしては、2021年の CLIP がブレイクスルーでした。CLIPはテキストと画像を同じ特徴空間に写像する2つのエンコーダからなります。CLIPを使うと、次のようにして任意の画像分類問題を追加の学習なしで解くことができます。まず、各候補クラスを文章の形式（例：「犬の写真」）にした後、テキストエンコーダに入力します。次に、分類したい画像を画像エンコーダに入力します。最後に、画像から得られたベクトルと候補クラスたちから得られた複数のベクトルとのコサイン類似度を計算し、最も類似度が高いクラスを出力結果とします。 CLIPによるゼロショット画像分類の方法。OpenAI Blogより引用 CLIPは画像とテキストというモードの異なる情報を意味的な近さによって結びつけることを可能にしました。CLIPを教師のようにして使うことで、テキストから画像を生成するモデルを訓練する
日本新聞協会など4団体は8月17日、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘。AIに学習させる著作物データの保護をめぐり、権利者団体と関係当局の意見交換を求めている。 声明を出したのは、新聞協会と日本雑誌協会、日本写真著作権協会、日本書籍出版協会。 生成AIは、ネット上の大量のデータを、著作者の同意なく学習して開発されているケースが多い。日本では、著作権法第30条の4により、このデータ収集は、「著作権者の利益を不当に害する」場合はを除き、著作権を侵害しないとされている。 声明では「学習利用の価値が著作権者に還元されないまま大量のコンテンツが生成されることで、創作機会が失われ、経済的にも著作活動が困難になる」「海賊版をはじめとする違法コンテンツを利用した、非倫理的な
LINEは8月14日、日本語に特化した大規模言語モデル（LLM）「japanese-large-lm」を発表した。オープンソース（OSS）として公開し、商用利用も可能（Apache License 2.0）としている。 公開したLLMは、36億パラメーターと17億パラメーターの2つ。両モデルともHuggingFace Hubからアクセスできる。Web由来のテキストから大規模かつ高品質なデータ構築を行うため、OSSライブラリ「HojiChar」を使ったフィルタリング処理を実施。モデルの訓練には、LINE独自の大規模日本語Webコーパス（最終学習は約650GBのコーパスで実施）を利用したという。 LINEは独自LLM「HyperCLOVA」の開発を長年手掛けているが、今回のモデルは別の開発ライン（LINEのMassive LM開発ユニット）にて構築したもの。同チームでは、指示文に対して適切な出
ある意味ChatGPT のAI超え、Perplexity.ai(パープレキシティ) ６つのポイント（神田敏晶） - エキスパート - Yahoo!ニュース
KNNポール神田です。 2022年12月は『ChatGPT（チャットGPT）』が話題となり、2023年1月からは『Perplexity.ai（パープレキシティ）』が話題になりはじめた…。双方とも対話型での新たなAIを活用したテキスト生成テクノロジーだ。 https://chat.openai.com/chat https://www.perplexity.ai/ 新たな検索エンジンのようでもあるが、検索した後の人間行動の後処理も、兼ねた事によって新たなAI活用の未来景色が一般の人にもわかりやすく見えてきたのだ。当然、Googleが警戒し、Microsoftが巨額投資するのも新たなトレンドとなっている。 『ChatGPT（チャットGPT）』が得意とするものは、『明快な答えがない事を、論理的に解析し、思考し、議論することに向いている』。新しい文章を文脈にそって作り出す能力に優れている。 マイク
東京発・AIドリームチーム「Sakana.ai」が45億円調達 元Googleトップ研究者らが設立 AI業界の著名人や日本の大手IT企業も出資
元米Googleの著名な研究者、リオン・ジョーンズ氏とデビッド・ハー氏が東京で立ち上げたAI企業Sakana.ai（東京都港区）は1月16日、シリコンバレーのベンチャーキャピタルやNTTグループ、KDDI、ソニーグループなどから45億円の資金を調達したと発表した。 調達元はシリコンバレーのベンチャーキャピタル米Lux Capitalや米Khosla Venturesに加え、日本ではNTTグループ、KDDI、ソニーグループ、ベンチャーキャピタルのみやこキャピタルやジャフコグループなども出資した。Googleで最高AI責任者を務めるジェフ・ディーン氏や、米Hugging Face創業者CEOのクレム・デラング氏、米Scale AI創業者CEOのアレックス・ワン氏といった個人からも出資を受けた。 調達した資金は人材採用に充てる。国内外から優秀なITエンジニア人材を集め、日本に招致するという。さら
性的搾取疑惑のある投資家からの資金提供を巡って開かれたMITメディアラボの内部会議での初代所長のニコラス・ネグロポンテの発言は、会議に参加した人々に衝撃を与えた。 by Karen Hao2019.09.08 586 256 71 7 MITメディアラボ所長の伊藤穰一は、辞任を迫られている。性的搾取の疑いがある投資家、ジェフリー・エプスタインから研究資金を調達していたことを明らかにしたためだ。だが、9月4日になり、1985年にメディアラボを共同設立し、20年間所長を務めていたニコラス・ネグロポンテが、伊藤所長にエプスタインからの出資を受けることを勧めていたことを明らかにした。ネグロポンテは、「時計を巻き戻せたとしてもなお、私は『受け取れ』と言うでしょう」と付け加えた。彼はさらに強調して、「『受け取れ』とね」と繰り返した。 9月4日の午後、メディアラボの総会の最後に述べられたネグロポンテの発
巨額赤字のグーグル系AI企業DeepMind、年間「600億円」を燃焼中 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
2014年にグーグルが買収した英国の人工知能（AI）開発企業が、「ディープマインド（DeepMind）」だ。グーグルは買収にあたり、6億ドル（約674億円）を投じたとされるが、ディープマインドは赤字を生み出し続けている。 英国の企業データベースCompanies Houseの開示資料で、ディープマインドの2018年の損失額が5億7000万ドル（約605億円）まで拡大したことが明らかになった。同社は2017年に3億6800万ドルの損失を計上していた。 ディープマインド創業者のデミス・ハサビスは、幼少期からチェスの神童と呼ばれた人物で、2005年にケンブリッジ大学の博士課程へ進み、脳神経科学の研究をスタートした。その後、2011年にディープマインドを設立した。 同社は給与の高い研究員やデータサイエンティストを数百名規模で採用しつつも、赤字幅を拡大させている。ディープマインドの現在の親会社のアル
イーロン・マスク氏が新しいAI「TruthGPT」（トゥルースGPT）の開発を表明した。米FoxNewsが4月17日（現地時間）に公開したマスク氏へのインタビュー映像で明らかになった。 マスク氏はTruthGPTについて「宇宙と自然を理解しようとするAIになる。安全への道のりはそれが一番の近道になるかもしれない」などと説明した。 マスク氏は3月28日、AIの安全性について研究する非営利の研究組織Future of Life Institute（FLI）が公開した、GPT-4よりも強力なAIシステムの開発と運用を少なくとも6カ月間停止するように呼びかける書簡に署名したことが分かっている。一方、AIの開発用に約1万個のGPUを購入したことや、X.AIという新企業を設立したことなどが報じられていた。 関連記事 イーロン・マスク氏、X.AI社をネバダ州で登録 OpenAI対抗か TwitterをX
GoogleのDeepMindが囲碁のルールを自ら学習することでAlphaZeroを凌駕する強化学習手法「Muzero」を提案。
3つの要点 ✔️その１ DeepMindからAlphaZeroの進化版「MuZero」が登場 ✔️その２ モデルベース強化学習によりルールを与えなくてもAlphaZeroに勝利 ✔️その３ 囲碁・チェス・将棋に加えてAtariでも同一モデルで最高性能を達成 続きを読むには (3155文字画像6枚) AI-SCHOLARに 登録いただく必要があります。 1分で無料で簡単登録する または ログイン
JavaScriptを打ってキャラを操作する対戦ゲーム、Steamで配信 Rustなど計13以上の言語にも対応
JavaScriptに加え、Webブラウザ上でプログラミング言語を実行するためのフォーマット「WebAssembly」を通じてC、C++、TypeScript、Go、C#、F#、Swift、D、Pascal、Zig、Rust、Kotlinでの操作にも対応する。 「このゲームに必要なのは基本的なプログラミングスキルだけ。もしあなたがプロの開発者であるなら、あなたのスキルを限界まで発揮することができる」（Screeps） 今回配信するバージョンは、アーリーアクセス版。今後、プレイヤーからのフィードバックを参考にアップデートしていく予定。 関連記事 中学1年の過半数が「プログラミングできる」 “競プロ”勢も1.7％ 東進ハイスクール調べ 東進ハイスクールなどを運営するナガセが、高校生と中学生10万7450人に調査を行った結果、中学1年生の過半数が「プログラミングができる」と回答した。「競技プログ
はじめに 今回は強化学習編として、Transformer/BERTの発展モデルや新たな学習法・正則化方法の提案に関する内容などの最新論文を7本ご紹介します！著者実装が公開されているものは、その情報も併せてまとめました。論文は自動機械学習（AutoML）を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が中心となってスキルアップAI講師陣にて厳選しました。ぜひ、今後の学びにご活用ください！ CoBERL: Contrastive BERT for Reinforcement Learning 実装のURL：https://github.com/deepmind/dm_control 強化学習における新たなエージェント「Contrastive BERT for Reinforce
機械学習のオススメ情報収集術｜べいえりあ
今回は、自分が機械学習に関する最新情報を収集するにあたってどういう情報源を頼っているのかを紹介してみたいと思います。 はじめに今回の記事では、機械学習（主にNLP、あと医療を少々）の「最新情報（＝最新の研究）」の収集術について書きます。個人的に思っているのは、最新の研究情報の収集というのは基礎的なことを理解して初めて意味を成すものだと思っているので、もし基本的な教科書を読んでいないのであれば、まずはMurphy本（機械学習）だったりJurafsky-Martin（NLP）を読むことをオススメします。 ブログ、特に各企業のAIブログなど最近は優秀な研究者の方々がアカデミアから企業に移っていたりするので、企業のAIブログなどをフォローしていると結構な量の情報を集められたりします。 企業のAIブログの良い点は、大抵の場合論文の著者が記事を書いているので内容がとても正確であること。デメリットは一応
OpenAI and Elon Musk
The mission of OpenAI is to ensure AGI benefits all of humanity, which means both building safe and beneficial AGI and helping create broadly distributed benefits. We are now sharing what we've learned about achieving our mission, and some facts about our relationship with Elon. We intend to move to dismiss all of Elon’s claims. Elon said we should announce an initial $1B funding commitment to Ope
「核融合を制御できるAI」をDeepMindが開発
by Eye Steel Film 世界最大の核融合炉「ITER」の建設が進むなど、核融合は未来のエネルギー源として大きく期待されています。ITERに代表されるトカマク型核融合炉は強力な磁気で超高温のプラズマを閉じ込める仕組みとなっており、臨機応変に核融合炉の磁気を調整する必要があります。Googleの姉妹企業で人工知能(AI)開発を行うDeepMindが、トレーニングを重ねたAIによってトカマク型核融合炉の磁気制御を行うことに成功したと発表しました。 Magnetic control of tokamak plasmas through deep reinforcement learning | Nature https://www.nature.com/articles/s41586-021-04301-9 Latest success from Google’s AI group:
Googleは大規模言語モデル「LaMDA」を用いたチャットAI「Apprentice Bard」の開発に取り組んでいて、LaMDAとChatGPTの比較を社内で行っています。そのGoogleの内部メモから、ChatGPTはGoogleのコーディング職の試験を受けた場合、レベル3エンジニアとして採用されると報告されていることがわかりました。 Google testing ChatGPT-like chatbot 'Apprentice Bard' with employees https://www.cnbc.com/2023/01/31/google-testing-chatgpt-like-chatbot-apprentice-bard-with-employees.html ChatGPT Passes Google Coding Interview for Level 3 Engi
「アルパカ抗体」に関する論文解説とCOGNANOはもうITテックになっています、の件 - CogNano Tech Blog
２年にわたる新型コロナ研究が、学術論文として受理されました。COGNANOの前田開発部長（筆頭著者）が主導して発表した論文です。 www.nature.com 先日、京大チームからマスコミ報道をお願いし「アルパカ抗体」で拡散していただきました。 prtimes.jp www.kyoto-u.ac.jp Webニュースメディアでも沢山言及頂きました。 アルパカ抗体がコロナ全変異株に有効 京大などの研究チームが発表 - ライブドアニュース アルパカ抗体 新型コロナ全変異株に有効 京大など ２年後実用化へ - 産経ニュース アルパカ抗体が変異株を抑制 研究 - Yahoo!ニュース どのようにして２０２０年に（パンデミックが始まって半年以内に）万能抗体を作れていたのか、ジャーナリストから質問を受けました。簡単には「アルパカ体内で起きる免疫反応を巨大情報として取り出すことができ、計算処理によって最
DeepMindのAlphaGoが2016年に李世乭に勝利した事件は、AI時代の到来を示す象徴的な出来事でした。 それから5年、DeepMindの新たなプロダクト、「AlphaFold2」のリリースに現在、世界中の生物学研究者が沸いております。 日本語記事も色々と出始めていますが、業界人向けの記事が多く、ある程度分かっている人じゃないと理解できない印象。 「6年解けなかった構造があっさり」──タンパク質の“形”を予測する「AlphaFold2」の衝撃 GitHubで公開、誰でも利用可能に DeepMindのAlphaFold2に匹敵するより高速で自由に利用できるタンパク質フォールディングモデルを研究者が開発 生物学クラスタを中心にSNSでもめっちゃ盛り上がっており、昨日Twitter Spaceにて行われたAlphaFold2座談会は770人が聴講するなど、熱狂はまだまだ冷めません。 東大
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIの第一人者ルカン氏、現在のアプローチの多くは真の知能につながらないと批判
画像生成AIが「トレパク」していた？ 学習画像と“ほぼ同じ”生成画像を複数特定 米Googleなどが調査
LLM時代の強化学習 - どこから見てもメンダコ
最強の囲碁AIに圧勝する人物が登場、AIの弱点を突いて人類が勝利したと話題に
AI の時代を迎えるにあたって: 責任ある AI で未来の発展へ - News Center Japan
最近の話題にも詳しい14億パラメータの日本語LLMの公開
無料、独学で機械学習エンジニアになる！~機械学習が学べる無料サイト、書籍~ - Qiita
Googleの新AI、日本では「ジェミニ」「ジェミナイ」どっち？ 公式見解は
【翻訳】機械学習の技術的負債の重箱の隅をつつく (前編) - 株式会社ホクソエムのブログ
マスク氏、xAI紹介スペースで「TwitterのデータをLLMトレーニングに使う」などの発言
自動プログラミングAIの「AlphaCode」をDeepMindが発表、競技プログラミングレベルのコード生成が可能
Deep Learning ideas that have stood the test of time
X（旧Twitter）、ユーザーの公開データをAIトレーニングに使うと改定ポリシーに明記
RLHF (人間のフィードバックからの強化学習) の図解｜npaka
「生成AIは著作権保護の検討が不十分」新聞協会など声明 「著作権法30条の4は大きな課題」
LINE、日本語の大規模言語モデル公開 オープンソースで 商用利用もOK
エプスタイン資金問題を受け、メディアラボの総会で話されたこと
イーロン・マスクがAIの開発表明 名前は「TruthGPT」
【強化学習編】2022年に読むべき「機械学習/ディープラーニングの最新論文」30選 - Qiita
ChatGPTがGoogleのコーディング職の試験を受けると年収2400万円のレベル3エンジニアとして合格する
AlphaFold2、何でそんなに話題なん？ | tayo magazine