オフライン強化学習② Decision Transformerの系譜 - どこから見てもメンダコ

Decision transoformer (2021)は、自然言語モデルGPTにおける次トークン予測の枠組みでオフライン強化学習タスクを解けることを示し新たなパラダイムをもたらしました。最近ではDeepMindの超汎用エージェントGATOなどもDecision Transformerベースのアーキテクチャを採用しており、その重要性が増しています。 Decision Transformer とは オフライン強化学習の新たなパラダイム 言語を生成するように行動を生成する 自然言語風アプローチのメリット 条件付き生成：Reward conditioned Sequence modelingの系譜 Multi-Game Decision Transoformer（NeurIPS 2022） Uni[Mask]（NeurIPS 2022）： MaskedLMの導入 GATO（2022）：超汎用エー

[misshiki]

“Decision transoformer (2021)は、GPTにおける次トークン予測の枠組みでオフライン強化学習タスクを解けることを示し新たなパラダイムをもたらしました。...GATOなどもDecision Transformerベースのアーキテクチャを採用”

[kei_1010]

後で読む

[aipacommander]

しゅごい

[sh19910711]

"自然言語モデルのアプローチを模倣学習に導入することで教師あり学習でも強化学習タスクを当時のSotAオフライン強化学習手法（CQL）に相当する性能で解ける / 対話生成もロボット操作もレトロゲームも全部Transformer"