DigDag ifメモ(Hishidama's DigDag if Memo)
概要 digファイル内にifオペレーターを書くことで、条件に応じてタスクを実行することが出来る。 _export: flag: true # flag: false +example1: if>: ${flag} _do: echo>: execute task +example2: if>: ${flag} _do: echo>: then _else_do: echo>: else 条件を指定する方法 ifオペレーターに指定できる値は、（booleanの）trueかfalseのみ。 文字列の「true」「false」も可。 直接的に演算を書くことは出来ない。 ただ、${ }の中にはJavaScriptの式を書くことが出来るので、何か演算したい場合はこれを利用する。 _export: flag1: true flag2: false +example: if>: ${flag1 || f
EmbulkEmbedメモ(Hishidama's Embulk embed Memo)
概要 Javaアプリケーションの中からEmbulkを実行する為のクラスとして、Embulk0.6.22でEmbulkEmbedというクラスが導入された。 embulkコマンドのguess・preview・run等と同じことが実行できる。 コーディング手順は以下のような感じ。 EmbulkEmbedインスタンスを生成する。 embulkコマンドで指定するconfig.ymlと同等の定義を作成する。 YAMLファイルを読み込むのが一番簡単そう。 コマンド（guess, preview, run等）を実行する。 開発環境の構築 EmbulkEmbedを使うJavaプロジェクトを作成する為のGradleのbuild.gradleは以下のような感じ。 build.gradle： apply plugin: 'java' apply plugin: 'eclipse' task wrapper(typ
Datasetメモ(Hishidama's Apache Spark Dataset Memo)
概要 Datasetの生成 [/2017-01-17] Datasetのメソッド 設定系 [/2020-10-08] 変換系 アクション 列操作系 行操作系 結合処理 結合の注意 ブロードキャスト [2017-01-16] 永続化処理 キー毎に重複排除する例 [/2017-01-23] ファイル出力 [/2017-02-01] 概要 Spark2.0以降はDatasetを使ってプログラミングする。 （Spark2では、DataFrameは「Dataset[Row]」の別名である） 最初のDatasetはSparkSessionを使って生成する。 Scalaのコレクション（Seq）から作る方法と、ファイル等から読み込んで作る方法がある。 DatasetクラスにはfilterやmapといったScalaのコレクションと同様のメソッドが用意されている。 Datasetの生成 Seqから生成する例
Java直列化メモ(Hishidama's Java Serializable Memo)
直列化/整列化とは [/2007-12-07] シリアライズの実装方法 [/2007-06-13] シリアライズの実行方法 [2007-05-02] serialVersionUID [/2020-03-21] シリアライズの対象/非対象フィールド [/2007-06-11] シリアライズ方法の独自定義 [/2010-04-29] Externalizable [2010-04-28] シリアライズできないクラス シリアライズのあるべき姿(?) [/2008-07-05] @Serial [2020-03-21] 直列化とは Javaの説明（Javadocとか）を見ていると、よく「直列化」「直列化可能」「直列化された形式」という言葉に遭遇する。 これはserializeの訳語みたいだけど、なんだか意味不明…。 VC++でシリアライズと言えば、「ファイルへのデータ保存」「ファイルからのデータ
Jarファイルメモ(Hishidama's java-archive Memo)
jar(ジャー)ファイル Javaのアーカイブファイル。（Java Archiveを縮めてjar） 複数のclassファイルを圧縮して1つのアーカイブにまとめるので、配布するのに便利。 jarファイル 作成 / 確認 / 解凍 / 実行 異常なjarファイル [2008-12-20] 実行可能jarファイル [2007-01-09] 実行方法 [2007-01-09] 作成方法（マニフェストの作成） [/2008-08-01] -classpathとの併用 [/2009-04-12] jarファイルを動的に読み込む [/2014-04-16] jarファイル内のファイル一覧取得 [/2014-04-16] マニフェストの読み込み [/2009-01-15] jar（zip）ファイル内のファイルの読み込み [/2014-04-16] jarファイル内のメソッドの呼び出し [/2014-04-
Apache Sparkメモ(Hishidama's Apache Spark Memo)
概要 [/2017-01-14] Hadoopとの比較 [/2014-09-12] サンプル [/2017-01-22] インストール 開発環境の構築 [2017-01-22] インストール [/2017-01-14] Sparkシェル [/2014-09-19] 実行方法 [/2017-01-18] API（RDD系） SparkContext [/2014-09-15] RDD [/2017-07-26] パーティション [2014-09-07] Kryo（シリアライズ） [/2015-01-15] Spark SQL [/2014-09-02] Hive操作 [2014-09-01] Streaming [2014-09-02] API（Dataset系） SparkSession [2017-01-14] Dataset [/2020-10-08] Encoder [2017-01
スレッドプログラミング比較(Hishidama's Programming language "thread")
VBScript [2007-04-06] VB.NET [2006-04-15/2006-07-24] C言語（gcc, WIN32） [2005-01-16/2006-10-18] Visual C++（MFC） [2005-01-16/2006-08-23] Java [2005-01-16/2008-05-19] C# [2006-03-04/2006-07-24] 処理を並行に実行したい場合、1つの処理を1つのスレッド（と呼ばれる単位）に処理させるようにし、1プロセス内で複数のスレッドを並行に（同時に）実行させる。 という機構が最近のコンピューターでは用意されている。 これをマルチスレッドと呼ぶ。（対義語はシングルスレッド）[2008-06-20] →スレッド作成方法 マルチスレッドプログラミング マルチスレッド（複数スレッド）で並列に処理させる場合、同期や排他に気をつける必要が
Javaスレッドメモ(Hishidama's Java thread Memo)
概要 Javaでは、マルチスレッド用のクラスとしてThreadが用意されている。[2017-04-15] しかし新しいJavaでは、Threadを直接使う事はあまり無い。 ExecutorService/Future（JDK 1.5）やFork/Join（JDK 1.7）といったクラスが追加されているので、そちらを使う。 Java21で仮想スレッド（virtual thread）が導入された。[2023-09-23] これにより、従来のスレッドはプラットフォームスレッド（platform thread）と呼ぶようになった。 Javaでは、マルチスレッド用のThreadクラスが用意されている。 Threadを継承して独自のクラスを作り、runメソッドをオーバーライドして処理本体を記述する。 class スレッドクラス名 extends Thread { @Override public vo
HBase Hadoopメモ(Hishidama's HBase Hadoop Memo)
S-JIS[2010-07-11/2012-04-28] 変更履歴 HBaseのHadoop関連クラス HBaseにHadoopでアクセスする為のクラス。 WordCountサンプル HBaseのテーブルの全項目を読み込み、単語数を数えるサンプル。 出力先はファイル。（通常のHadoopと同じ） （→HBaseのテーブルに出力するWordCount） package jp.hishidama.sample.hbase; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; impor
Scala using(Hishidama's Scala loan-pattern Memo)
Scala using（ローンパターン） C#では、オープンしたファイルを確実にクローズしてくれるusingという構文がある。 これと同じような事をScalaでやってみる。 テキストファイルを読み込む例を考えてみる。 ScalaではSourceクラスを使い、読み終わったら（あるいは途中でエラーになっても）クローズする。 この為、tryブロックで囲み、finallyでclose()を呼び出す。 val s = scala.io.Source.fromFile("C:/temp/a.txt") try { s.getLines.foreach{ println } } finally { s.close() }これを、以下のような感じで扱えるようにしたい。（usingブロックを抜けると自動的にクローズする） using(s = scala.io.Source.fromFile("C:/temp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2重和ΣΣの計算 [数学についてのwebノート]