本稿では,YARN 上における分散処理基盤のリソース管理の仕組みと,問題となる状況,および Spark の解決方法について,Spark の例をまじえて説明します. YARN の基礎 MapReduce v1 では,TaskTracker が MapSlot/ReduceSlot という単位でリソースを管理していましたが,YARN では,"コンテナ"という単位でリソースを確保し,その中で処理を行います. コンテナには,CPU/メモリ/ディスク帯域幅/ネットワーク帯域幅などを割り当てることが可能です.2014/12時点では,CPU/メモリのリソース管理サポートが入っています.ディスクIO/ネットワークIOの制御も来年には入るかもしれません. Spark on YARN におけるリソース管理の例 Apache Spark は,オンメモリ用上のデータ処理を容易に行うことができる分散処理フレームワー
![YARN 上における分散処理基盤のリソース管理について - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/98d72d0302dc10c700b66a411ab1169ed3231c05/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9WUFSTiUyMCVFNCVCOCU4QSVFMyU4MSVBQiVFMyU4MSU4QSVFMyU4MSU5MSVFMyU4MiU4QiVFNSU4OCU4NiVFNiU5NSVBMyVFNSU4NyVBNiVFNyU5MCU4NiVFNSU5RiVCQSVFNyU5QiVBNCVFMyU4MSVBRSVFMyU4MyVBQSVFMyU4MiVCRCVFMyU4MyVCQyVFMyU4MiVCOSVFNyVBRSVBMSVFNyU5MCU4NiVFMyU4MSVBQiVFMyU4MSVBNCVFMyU4MSU4NCVFMyU4MSVBNiZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDbWlkZGxlJnM9MTM1NDIxNzRjODg0MzBiOWYwNzYwMzY4Y2Q5OTZiOTU%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwb3phX3g4NiZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjkwMjA5NzFkZWEwNjZlZjlkYWFhNzExYjg3YzUwMmQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D126bca63955190bbf2d063d6f4b1cd1f)