WCSC31(第31回 世界コンピュータ将棋選手権)の決勝に進出した8チームのうちDL勢はPALのみ。昨年末の電竜戦で優勝したGCTは、そこから+R250ぐらいになっているにも拘らず予選落ち。強くなっているとは何だったのだろうか？ 長い時間での伸び WCSC31の持ち時間(15分1手5秒加算)は、電竜戦の持ち時間(10分1手2秒加算)よりもずいぶん長い。長い持ち時間になった時に従来型の将棋ソフト(NNUE勢)と、DL勢とでは、どちらが有利なのだろうか。 私が以前計測した時は、電竜戦優勝modelのGCTで3000ノード(RTX 3090で0.05秒ぐらいに相当)と240ノード(RTX 3090で4秒ぐらいに相当)に増やした時の伸びは、NNUEを同じだけの倍率だけ探索量を増やした時と同じ程度であった。 // 将棋ソフト、長時間の対局は、Deep Learning系に軍配が上がるのか？ : h
今回は，MacでDeep Learningするための手段として最近注目の，PlaidMLの導入について説明する． PlaidMLとは？ 前準備 導入手順 Python環境の確認 PlaidMLのインストール セットアップ ベンチマークを動かしてみる Kerasのバックエンドとして使う 参考 PlaidMLとは？ PlaidMLとは，機械学習用のフレームワークである． github.com 現状，GPUを用いた深層学習を行うためには，NVIDIA製のGPUと，それに付随したCUDA等のプラットフォームを利用する必要がある． これは，TensorFlowなどの深層学習ライブラリが，NVIDIA製GPUに対するハードウェアアクセラレーションしかサポートしていないためである． しかしながら，近年のMacはAMD製のGPUを搭載しており，なおかつMacOS MojaveからNVIDIA製GPUのサポ
本記事のまとめ 『ゼロから作るDeep Learning―Pythonで学ぶディープラーニングの理論と実装』（以下、参考書と呼ぶことにします）を読み、5 章までの内容を Rust で実装してみました。 MNIST の手書き文字を認識する三層パーセプトロンモデルを実装する上で、筆者（私）が採用した方針と、ndarray を使う上で参考になりそうなポイントをリストアップします。 リポジトリについて こちらのリポジトリに Rust で実装したコードが格納されております。 こちらの Oreilly Japan 社の GitHub リポジトリに元の Python コードが格納されています。 こちらのリポジトリは上記 Oreilly Japan 社リポジトリを fork したものであり、ベンチマーク用に修正したコードと Keras in TensorFlow での実装が格納されております。 本編の目次
pandasの代わりにGPUを扱えるcudfを用いた高速なデータ処理 | ゆるいDeep Learning
高速にデータ処理を行いたい pandasをデータ処理で用いることが多いですが、データサイズが大きくなると遅くなり、待ち時間が長くなってしまいます。そこで今回はGPUを使用して高速に処理が可能なcudfの紹介をします。 環境構築 検証環境 Ubuntu 18.04メモリ：64GBGPU: Geforce 1080CPU : Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz NVIDIA GPU CLOUDにすでに環境構築されたDocker環境が存在します。今回はDockerを使用して環境構築をできるだけスキップして行います。 NVIDIA GPU CLOUDとは Dockerコンテナ、学習済みモデル、学習用スクリプトなどを提供しているサイトです。ここにあるリソースを使用すればGPUを用いた処理を始めることが容易になります。 https://www.nvidia.
【論文読み】A Survey on Deep Learning for Localization and Mapping - 自律ロボット × Deep Learning の研究動向
【論文読み】A Survey on Deep Learning for Localization and Mapping - 自律ロボット × Deep Learning の研究動向 Localization, Mappingとは? 人間は、知覚機能を用いて、自分が何歩動いたかなどの自己の動作や、周辺の環境を認識します。そして、その認識を頼りにして、複雑な3D空間の中で自分の位置を特定します。 この自己動作の認識や、特定した自己位置を用いて、目的地へ移動したり、体の運動制御が可能になります。 自動運転車やドローンなどの自律ロボットも、同様に、センサー情報を用いて、環境を認識し、自己位置を推定することで、次の動作などの決定を行うことができます。 自律ロボットが、高度な自律性を実現するためには、正確でロバストな自己位置の獲得と、様々な状況に適応するための世界モデルの段階的な構築と維持が必要にな
GitHub - facebookresearch/dlrm: An implementation of a deep learning recommendation model (DLRM)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - mratsim/Arraymancer: A fast, ergonomic and portable tensor library in Nim with a deep learning focus for CPU, GPU and embedded devices via OpenMP, Cuda and OpenCL backends
Arraymancer is a tensor (N-dimensional array) project in Nim. The main focus is providing a fast and ergonomic CPU, Cuda and OpenCL ndarray library on which to build a scientific computing ecosystem. The library is inspired by Numpy and PyTorch and targets the following use-cases: N-dimensional arrays (tensors) for numerical computing machine learning algorithms (as in Scikit-learn: least squares
OCR provides us with different ways to see an image, find and recognize the text in it. When we think about OCR, we inevitably think of lots of paperwork - bank cheques and legal documents, ID cards and street signs. In this blog post, we will try to predict the text present in number plate images. What we are dealing with is an optical character recognition library that leverages machine learning
この記事はFuture Advent Calender 2021 14日目の記事です。 はじめに みなさんWindsows11使ってますか？僕は自作PCが趣味で、2021年11月に発売されたIntel第12世代CPUで1台組みました！ Intel第12世代CPUことAlder Lake-SはHeterogeneous Core（異種混合コア）と呼ばれるコアアーキテクチャが採用されており、これはWindows11で最適化されていることもあり、導入しました。 組んだパソコンはこちらです！ どでかいケースで最高に光ってます...！ 主なスペックは以下です。 CPU：Intel Core i9 12900KF GPU：GeForce RTX 3080Ti メモリ：DDR5 32GB さて、こんなハイエンドPCを組んで何をするのかというと、PCゲームとディープラーニングです。 特にディープラーニング
Hugging Face のポジネガ、言語モデル、固有表現抽出、要約、翻訳が行えるpipelineを試す | ゆるいDeep Learning
下記にHuggingFaceのパイプラインの情報があります。 https://huggingface.co/transformers/main_classes/pipelines.html パイプラインで実行可能なタスクは下記になります。 ConversationalPipelineFeatureExtractionPipelineFillMaskPipelineQuestionAnsweringPipelineSummarizationPipelineTextClassificationPipelineTextGenerationPipelineTokenClassificationPipelineTranslationPipelineZeroShotClassificationPipelineText2TextGenerationPipelineTableQuestionAnsweri
TensorFlow, Pytorchなどの機械学習/Deep Learning向けのフレームワークが普及し、Pre-Traininedモデルもたくさん出回っているので、自前のAI学習が簡単にできるようになってきました。でも、 学習を回してみた後、結局これをどうサービスに組み込めばよいのだっけ？ どうやってお客様に使ってもらえばいいんだっけ？ ってなることないですか？学習から推論API提供までやってくれるサービスとかあるけれど、クラウド前提だったりして、オンプレが良いのだけど...など。 そんな時に推論APIを簡単に提供するためのServingライブラリを比較してみたいと思います。 これのNTTドコモ R&D アドベントカレンダー2020(控室)の13日目の記事です。 担当はサービスイノベーション部の酒井です。 これは何? 学習済みモデルを推論用webAPIとして簡単に提供するためのSer
Deep learning's recent history has been one of achievement: from triumphing over humans in the game of Go to world-leading performance in image classification, voice recognition, translation, and other tasks. But this progress has come with a voracious appetite for computing power. This article catalogs the extent of this dependency, showing that progress across a wide variety of applications is s
DLRM: An advanced, open source deep learning recommendation model With the advent of deep learning, neural network-based personalization and recommendation models have emerged as an important tool for building recommendation systems in production environments, including here at Facebook. However, these models differ significantly from other deep learning models because they must be able to work wi
最近では色々なところで人工知能やAIについての話題をよく耳にするようになりました。この記事を読んでいる皆様も、会話の中でDeep Learningや機械学習、人工知能といった言葉がでてくるとき、実はどのような違いがあるかわからないまま、なんとなく流して使ってしまうことも多いですよね。 Deep Learningと機械学習、人工知能にはそれぞれ異なる意味があり、そこには明確な違いがあります。それだけでなく自分が知りたい情報がDeep Learningに関するものなのか、機械学習に関するものなのか、人工知能に関するものなのかが分かることは今後、人工知能と身近に触れ合う私たちにとっても重要です。 そこで今回はDeep Learning、機械学習、人工知能の違いとそれらの関係性についてわかりやすく解説していきます。この記事を読んでDeep Learningや機械学習、人工知能の違いを説明できるよう
Deep Learning (Deep Neural Networks) S.No Course Name University/Instructor(s) Course WebPage Lecture Videos Year
3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning
ThanksSpecial thanks to those below for supporting the original video behind this post, and to current patrons for funding ongoing projects. If you find these lessons valuable, consider joining. .chanceA ZookAaron BinnsAda CohenAdam CedroneAdam Dřínekaeroeng15Alan SteinAlbin EgasseAlex Alex HackmanAlexandru IrimieaAlexis OlsonAli YahyaAljoscha SchulzeAlon AmitAlvin KhaledAman KarunakaranAndrea Di
How Much Do We Trust Our Models? Machine learning has found its way into our everyday life in the form of personal assistants like Siri who recognize our desires most of the time. In fact, machine learning has proven to work so well that models are introduced to more and more critical applications. Autonomous driving heavily relies on computer vision based on Deep Neural Networks. Recent EU copyri
【異常検知】Deep Learning for Anomaly Detection: A Survey を読んだ (後編) |
Deep Learning for Anomaly Detection: A Surveyを読んだので備忘録を残しておきます。 前半は 深層異常検知 (Deep Anomaly Detection; DAD) のアーキテクチャの分類や長所・短所の紹介でした。後編は DAD の様々な領域への応用についてですが, 膨大な参考文献のため実質リンク集となっています。文献を徐々に読み進めて内容を追記する予定です。 Deep Anomaly Detection (DAD) の応用領域 Intrusion DetectionFraud DetectionMalware DetectionMedical Anomaly DetectionDeep learning for Anomaly detection in Social NetworksLog Anomaly DetectionInternet o
The fastest access to enterprise-grade cloud GPUs On-demand NVIDIA GPUs for AI training, fine-tuning, & inference
1. AI稲葉さんを作る 2. 歌詞データの準備 3. kerasのexampleを参考にモデリング 3.1 keras example 3.2 lstm_text_generation.pyの解説 3.3 改良点 4. 結果 5. まとめ 6. おまけ 1. AI稲葉さんを作る 最近B'zの歌詞の分析をやっていなかったので、久々にネタ探ししてやってみました。 B'zの歌詞でAIを学習して歌詞生成をやってみました。 要はAI稲葉さんを作りました。*1 一応、プロセスの説明もしますが機械学習に興味がない方は結果の章まで読み飛ばしても大丈夫です。 作業用コードはこちらに公開しています。 github.com 2. 歌詞データの準備 「まず、お手元にB'zの歌詞があるとします」という前提はさすがに無理がありますね笑 自身の以前のブログにも書きましたが、歌詞の扱いは著作権で諸々ナイーブな面もあるの
Mapping roads through deep learning and weakly supervised training
Mapping roads through deep learning and weakly supervised training Creating accurate maps today is a painstaking, time-consuming manual process, even with access to satellite imagery and mapping software. Many regions — particularly in the developing world — remain largely unmapped. To help close this gap, Facebook AI researchers and engineers have developed a new method that uses deep learning an
Exploration of new superconductors still relies on the experience and intuition of experts and is largely a process of experimental trial and error. In one study, only 3% of the candidate materials showed superconductivity. Here, we report the first deep learning model for finding new superconductors. We introduced the method named "reading periodic table" which represented the periodic table in a
The Best GPUs for Deep Learning in 2023 — An In-depth Analysis
Deep learning is a field with intense computational requirements, and your choice of GPU will fundamentally determine your deep learning experience. But what features are important if you want to buy a new GPU? GPU RAM, cores, tensor cores, caches? How to make a cost-efficient choice? This blog post will delve into these questions, tackle common misconceptions, give you an intuitive understanding
この記事はJulia Advent Calendar 2020 7日目の記事です。 イントロダクション: Julia言語とは何か? Pythonのように手軽に色んなスクリプトが書けて、 Rみたいに統計解析が出来て、 Perlのように文字列処理に強く、 Lispのようにメタプログラミングをし、 Matlabみたいに線形代数が扱えて、 だけどC並みに高速であってほしいし、 分散・並列コンピューティングも出来てほしいし、 REPLも欲しい、 でもコンパイルもされてほしい… そんな言語が存在するだろうか？ 否、存在する。 Juliaはそんな「欲張りな人たち」のための言語である。 JuliaでDeep Learning Juliaの勉強を兼ねて、書籍『ゼロから作るDeep Learning ❷ ―自然言語処理編』（オライリー・ジャパン）のPythonで実装されているコードの一部をJuliaに移植して
[Amazon SageMaker] 最新のJetPack4.5でDLR (Deep Learning Runtime) 1.8.0を利用するための環境構築 | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 エッジで機械学習の推論を行う場合、SageMaker Neo（モデル最適化）とJetson Nanoという組み合わせは、非常にコスパが高いと感じています。 今回は、2021/02/20 現在で最新のJetPack 4.5と、DLR(Deep Learning Runtime) 1.8.0の環境をセットアップする手順を纏めました。 2 JetPack 4.5 最新のJetPackは、下記でSDカードイメージ（jetson-nano-jp45-sd-card-image.zip 6GByte）としてダウンロードできます。 JetPack SDK セットアップ後に、jtopで確認すると、JetPackのバージョンが確認可能です。 必須では有りませんが、DLRを使用してモデルを動作させる場合、少し大きなものだと、メモリ不足で止まってしまう事があるの
![[Amazon SageMaker] 最新のJetPack4.5でDLR (Deep Learning Runtime) 1.8.0を利用するための環境構築 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/be008d04a8db62514ca43cd7765e62041ee423f3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-sagemaker.png)
停止していた GPU インスタンス（Deep Learning AMI GPU CUDA）の料金が高かったので調べてみた | DevelopersIO
GPU インスタンス（g5.xlarge）を使った検証のためバージニア北部で動かしていました。GPU インスタンスは高価なのでちゃんと「停止」してから一週間後検証を再開しました。GPU インスタンスの起動代は気にしていたので料金を確認してみると思いのほか EBS 代が高かったです。停止していても想定より高い金額だった原因と、事前に確認すべきだったポイントを紹介します。 確認結果 Deep Learning AMI GPU CUDA を選択すると EBS（gp3）のデフォルト設定値が最高パフォーマンス設定 EC2 作成ウィザードからポチポチ押して作成すると見落としやすい GPU インスタンスを停止しても高パフォーマンスな EBS の課金は止まらない 作成したインスタンスを振り返ってみる OS は Amzon Linux2 を選択し AMI は Deep Learning AMI シリーズから
Deep learning has been adopted in many application fields in recent years because of its high performance. On the other hand, there are many issues about the understanding of generalization performance and learning theory that cannot be explained by existing theories, and many studies to tackle these issues were presented at NeuroIPS2019. In the application side of deep learning, reports on new pr
Understanding Deep Learning (Still) Requires Rethinking Generalization – Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up Despite their massive size, successful deep artificial neural networks can exhibit a remarkably small gap between training and test performance. Conventional wisdom attributes small gen
deep learning入門としてまずはAI(人工知能)の基本を押さえる それでは、まずはAI(人工知能)の基本について押さえた本からお話します。 deep learningについて学ぶ入門書として一番初めに読んでおきたいのは「人工知能は人間を超えるか」です。 この本の著者でAI(人工知能)の第一人者でもある松尾豊さんはAI(人工知能)の今と今後の展望についてきちんと理解できるようにするため、これまでAI(人工知能)の開発で研究者が辿ってきた道のりや現在の課題、基礎的な理論を初学者でも理解しやすいようわかりやすく説明しています。 松尾さんによるとこれまでAI(人工知能)が抱えていた壁は「必要な情報を見極め獲得する力」でした。そしてこの壁を突破できるかもしれないと期待されているのがdeep learning。 この本では、AI(人工知能)の基礎的な内容を押さえ、deep learningが
PyTorch Tabular – A Framework for Deep Learning for Tabular Data
It is common knowledge that Gradient Boosting models, more often than not, kick the asses of every other machine learning models when it comes to Tabular Data. I have written extensively about Gradient Boosting, the theory behind and covered the different implementations like XGBoost, LightGBM, CatBoost, NGBoost etc. in detail. The unreasonable effectiveness of Deep Learning that was displayed in
【開催報告&資料公開】ML@Loft #10 Edge Deep Learning | Amazon Web Services
AWS Startup ブログ 【開催報告&資料公開】ML@Loft #10 Edge Deep Learning こんにちは、AWS ソリューションアーキテクトの辻です。2020年初となる第10回目の ML@Loft は1月に Deep Learning フレームワークと推論をテーマに開催しました。 ML@Loft は機械学習のお悩み相談イベントで、目黒の AWS Loft Tokyo で2019年4月より毎月開催しています。AWS をお使いのお客様がサービスの中に機械学習を取り入れて開発・運用していく際のお悩みを相談できる場が欲しい、ということで始まったコミュニティイベントです。登壇者（相談役）が自己紹介を兼ねた10分ほどの Lighting Talk (LT) を順番に行った後、テーブルに分かれて具体的な相談・ディスカッションを行う、という二部構成で開催されています。過去の様子は登壇
The second edition of Deep Learning Interviews is home to hundreds of fully-solved problems, from a wide range of key topics in AI. It is designed to both rehearse interview or exam specific topics and provide machine learning MSc / PhD. students, and those awaiting an interview a well-organized overview of the field. The problems it poses are tough enough to cut your teeth on and to dramatically
This book develops an effective theory approach to understanding deep neural networks of practical relevance. Beginning from a first-principles component-level picture of networks, we explain how to determine an accurate description of the output of trained networks by solving layer-to-layer iteration equations and nonlinear learning dynamics. A main result is that the predictions of networks are
Research Millions of new materials discovered with deep learning Published 29 November 2023 Authors Amil Merchant and Ekin Dogus Cubuk AI tool GNoME finds 2.2 million new crystals, including 380,000 stable materials that could power future technologies Modern technologies from computer chips and batteries to solar panels rely on inorganic crystals. To enable new technologies, crystals must be stab
E資格対策で勉強したこと、参考書など（JDLA Deep Learning for ENGINEER 2019 #2） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
E資格（JDLA Deep Learning for ENGINEER 2019 #2）の試験が終わりました。 ３月にG検定合格した後、E資格対策として取り組んできた勉強と、参考にした書籍などを紹介していきたいと思います。 ３月 G検定に合格し、E検定受験を決意 ４月 認定講座受講開始までの間に、G検定学習内容を復習 ５月~６月 Kaggleでデータセットからの予測に挑戦 ７月 ゼロから作るDeepLearningに取り組む ８月 試験直前の追い込み ８月３１日 試験当日直前復習 おまけ 受験にあたって読んだ参考書 ３月 G検定に合格し、E検定受験を決意 ３月に受験した、「JDLA Deep Learning for GENERAL 2019 #1」に無事合格できたので、E検定受験を決意し、認定講座に申し込みました。 また、自分の振り返りもかねて、G検定の合格体験記のブログを作成。 g-k
Deep learning frameworks have often focused on either usability or speed, but not both. PyTorch is a machine learning library that shows that these two goals are in fact compatible: it provides an imperative and Pythonic programming style that supports code as a model, makes debugging easy and is consistent with other popular scientific computing libraries, while remaining efficient and supporting
Deep Learning on Graphs
This book covers comprehensive contents in developing deep learning techniques for graph structured data with a specific focus on Graph Neural Networks (GNNs). The foundation of the GNN models are introduced in detail including the two main building operations: graph filtering and pooling operations. We then discuss the robustness and scalability of the GNNs, which are extremely important for util
ラビット・チャレンジ/Deep Learning
本講座は日本ディープラーニング協会のDeep Learning資格試験（E資格）の受験に必要な、協会認定の講座プログラム[00011]です。 E資格を受験するためには、本プログラムの受講と修了認定（2年間有効）が必須となります。 E資格とは？ 東京大学松尾豊教授が理事を務め、トヨタ自動車やPreferred Networks、NVIDIA、Googleなど日本や世界のAI技術を牽引する企業が監修・協賛する高度なAI技術者を証明するエンジニア資格です。
PyTorch Tutorial: How to Develop Deep Learning Models with Python - MachineLearningMastery.com
Predictive modeling with deep learning is a skill that modern developers need to know. PyTorch is the premier open-source deep learning framework developed and maintained by Facebook. At its core, PyTorch is a mathematical library that allows you to perform efficient computation and automatic differentiation on graph-based models. Achieving this directly is challenging, although thankfully, the mo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WCSC31でDeep Learning勢が振るわなかったのは何故ですか？ | やねうら王 公式サイト
PlaidMLを使ってMacでDeep Learning：導入編 - STELLALOG
『ゼロから作る Deep Learning』を読んで Rust で実装した話 - Qiita
Building Custom Deep Learning Based OCR models
Windows11+WSL2+GPUでDeep Learning環境構築 - Qiita
学習は終わった。よし、API提供だ!Deep LearningのServing比較してみた - Qiita
The Computational Limits of Deep Learning
DLRM: An advanced, open source deep learning recommendation model
すぐに説明できる！Deep Learning、機械学習、人工知能の違い
Deep Learning Drizzle
Uncertainty Quantification in Deep Learning - inovex GmbH
GPU Cloud - VMs for Deep Learning | Lambda
Deep LearningでB'zの歌詞を作詞する - 下町データサイエンティストの日常
But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning
Deep Learning Model for Finding New Superconductors
この素晴らしいJuliaにDeep Learningを！
Trends in Deep Learning Theory at NeurIPS 2019
【保存版】Deep Learning入門者が参考にすべき書籍・サイトまとめ
Deep Learning Interviews: Hundreds of fully solved job interview questions from a wide range of key topics in AI
The Principles of Deep Learning Theory
Millions of new materials discovered with deep learning
PyTorch: An Imperative Style, High-Performance Deep Learning Library