普通のPythonスクリプトをSpark化してお手軽並列処理する #spark - クリエーションライン株式会社こんにちは。木内です。 Apache Sparkはいわゆる「スケーラブルな汎用分散処理エンジン」なのですが、実際にはユーザの利用形態はSQLに関する処理や、機械学習などのデータ分析関連に偏っているように思えます。"汎用"というからにはデータ分析に限らずおおよそ並列処理できるようなユースケースにも使用できると Apache Spark の用途の幅が広がるのではないかなと思います。 そこで今回はデータ分析とは全く関係のないような処理をApache Sparkで並列化してみます。 そもそもどんなところで並列処理は使用されているのか 一般的に並列処理が使用されているのはいわゆるスパコンの分野です。私はスパコンのことはよくわからないのですが、線形代数、数値解析といった用途に利用されているようです。例えば Abaqus というソフトウェアは有限要素解析を行うことができるソフトウェアですが、応用分野とし
