You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
こちらのIssueで紹介されている通りです。 https://github.com/embulk/embulk/issues/421 (Issueだとあんまり気付かれないので、Issueと内容は同じですが、qiitaでのシェアを目的としてます。) EmbulkEmbedというクラスを呼び出して、下記にようにすればJavaからEmbulkを実行できます。 EmbulkのJarはhttps://dl.bintray.com/embulk/maven/とかから最新版をダウンロードすると良いと思います。 import java.io.File; import org.embulk.EmbulkEmbed; import org.embulk.EmbulkEmbed.Bootstrap; import org.embulk.config.ConfigLoader; import org.embulk
昨年の5月からIncrements社でQiitaの開発に従事していましたが、今月末をもってIncrements社を退職します。在籍期間は10ヶ月。今日が最終出社日です。 Incrementsでは、Qiitaの機能追加開発を主に担当していました。Qiita Blogには、僕がリリースしてきた機能が掲載されています。 yoichiroがIncrementsにJOINしました - Qiita Blog Email Markupに対応しました - Qiita Blog 外部リンクへの属性が変わります - Qiita Blog (僕が実作業者) Qiita Organizationで組織の紹介などを書ける「About」の提供を開始しました - Qiita Blog details,summary要素に対応し、投稿内で指定箇所を折りたためるようになりました - Qiita Blog 「Qiita Ad
user@mymachine:~$ sudo add-apt-repository ppa:webupd8team/java user@mymachine:~$ sudo apt-get update user@mymachine:~$ sudo apt-get install oracle-java8-installer Reading package lists... Done Building dependency tree Reading state information... Done The following package was automatically installed and is no longer required: os-prober Use 'apt-get autoremove' to remove it. The following extra pa
概要 フォーマッタープラグイン(java-formatter)は、読み込まれたデータをファイル出力用に整形するプラグイン。 (例えばCSVファイルとしてデータを行・カラムごとに分解する) プロジェクトの作成 Javaパーサープラグインは以下のコマンドでプロジェクトを作成する。 $ embulk new java-formatter poi-excel 最後の引数の「poi-excel」は、プラグイン名を表す。 これで、「embulk-formatter-poi_excel」というディレクトリーが作られ、その下にソース類一式が生成される。 プロジェクトを作成したら、まず以下のコマンドを実行する。 $ cd embulk-formatter-poi_excel $ ./gradlew package 生成されたプラグインの中核は、src/main/javaの下のFormatterPluginク
こちらのエントリを見て、EmbulkでApacheのログをパースするのにgrokというものがあることを知りまして。 EmbulkでアクセスログをLogstash風に取り込む - 見習いプログラミング日記 grok自体、知らなかったです…。 正規表現がベースになっているようですが、パターンに名前を付けて繰り返し利用できるところがポイントみたいです。 なお、自分が前にEmbulkでApacheログをパースした時は、embulk-parser-grokではなくてembulk-parser-apache-custom-logを使っていました。 https://github.com/arielnetworks/embulk-parser-grok https://github.com/jami-i/embulk-parser-apache-custom-log embulk-parser-grokの
以前embulkのjava pluginをbundlerっぽくgithubからインストールして実行できるラッパーを作った - Qiitaという記事を書いた。 要はJava製のプラグインをgithubから直接インストールしてリリース前のものを使いたいというものだ。 で、コマンドをラップするgemを作ってみたのだが、DSLの挙動をちゃんと制御するのは面倒だしコマンドをラップするのは色々とポータビリティが悪い。 しかし、ある時天啓が降りてきた。 「Bundlerを弄ればいいや」と。 で、ソースコード読んで、gemspecの判別がどうなってるのかとモンキーパッチを当てるのにちょうど良い場所を探して試してみた所、とてもシンプルなハックで上手くいった。 Gemfile上でBundlerにモンキーパッチを当てるというダーティさに目を瞑れば割と便利ではないだろうか。 こんな風に書く。 require 'b
Neo4j is a graph database management system developed by Neo4j, Inc. The data elements Neo4j stores are nodes, edges connecting them, and attributes of nodes and edges. Described by its developers as an ACID-compliant transactional database with native graph storage and processing,[3] Neo4j is available in a non-open-source "community edition" licensed with a modification of the GNU General Public
こんにちは、ぬいぐるみが好きな方のDBAです。 MySQL 5.7では JSONデータ型 がサポートされ、今までTEXT型やBLOB型にJSONを入れていたのに比べて バイナリーフォーマット(らしい)容量が小さいのでTEXT型に比べて基本的にレイテンシーが低い何も考えなくても4バイト文字も入るというメリットがあります。 ( ´-`).oO(Generated Columnでインデックスが張れるとか、json_*関数でアクセスできるとかはTEXT型でもできるのでJSON型のメリットじゃないし、型としてのバリデーションも生JSONを自分で組み立てることはほとんどない(ライブラリー通すから)からあんまり旨味を感じない。。 というわけでwktkしながら作ったんですよ、JSON型カラム。 そしたら。 ギョザー: とりあえずConnector/JのあとのDBアクセスライブラリの結果はStringで、文
Redis is an in-memory key/value store. It is used as a database, cache and message broker. In this article, we will see some examples of Spring Data Redis. Before we get to start with the examples, we need to first install Redis and configure the server. 1. Overview of RedisRedis is an extremely high-performance, lightweight key/value based data store. It provides several operations like persisten
はじめに データベースは作成されているものとし、データベース名・テーブル名は下記とします。 データベース名:「cm」 テーブル名: 「music」 ドライバの設定 今回はMySQLを使用するので、接続するために「JDBCドライバ」をダウンロードしてプロジェクトに結びつけます。 MySQL::Download Connector/J Eclipseの場合、プロジェクトフォルダを選択して右クリックから、 「Properties」 > 「Java Build Path」 > 「Libraries」タブ > 「Add External JARs...」 からダウンロードした ”mysql-connector-java-x.x.xx-bin.jar” を選択。 最後に「OK」か「Apply」を押して決定。 「Referenced Libraries」が生成されてドライバが登録されていると思います。
はじめに 前回の「JavaからMySQLに接続して登録する」ではSQL文を1つ1つコミットしていましたが、今回は複数のSQL文の登録とトランザクション処理を紹介します。 トランザクション処理を行うと、複数のSQL文の内の1つ以上でエラーが発生した場合に、その全ての処理を無かった事にしてくれます。 テーブル こちらに登録します。 コード import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; public class ConnectionClass { static final String URL = "jdbc:mysql://localhost/cm"; static final String U
Datomic Pro The fully transactional, cloud-ready, distributed database. Build flexible, distributed systems that can leverage the entire history of your critical data, not just the most current state. Build them on your existing infrastructure or jump straight to the cloud. Never Forget Critical insights come from knowing the full story of your data, not just the most recent state. Datomic stores
Javaでのデータベースのテストデータ作成にはDBUnitがよく使われますが、自分はDbSetupをオススメします。 DbSetup なぜDBUnitがイマイチなのか 自分も最初はDBUnitを使ってたのですが、以下の理由からしっくり来ませんでした。 DBを使ったテストでは少量のデータを使うことが多い ホワイトボックステストで大量のデータを使うことはほとんどなく、単一または複数のテーブルに対して、少量のデータを用意するケースがほとんどです。なので、テストごとにファイル(XML or Excel)を用意するのは面倒です。 テストコードとデータが分離している テストデータを外部ファイルに保存するため、テストコードとテストデータが分離してしまっています。そのため、何をテストしているのかが分かり辛いです。 そこでDbSetup そこで見つけたのがDbSetupです。DbSetupはテストデータをJ
Others Other Hibernate related projects (e.g. Hibernate OGM, Hibernate Shards).
Apache HBaseはオープンソースの、列指向、分散データベースであり、GoogleのBigTableをモデルとし、Javaにより書かれている。Apacheソフトウェア財団のHadoopプロジェクトの一部として開発され、HDFS (Hadoop Distributed File System)の上で実行され、Hadoopに対しBigtableのような機能を提供する。 HBaseはBigTable論文に従い圧縮、インメモリ処理の機能、および各列ごとにブルームフィルタを持っている。[2] HBaseにおけるテーブルはHadoop上のMapReduceジョブの入出力として機能し、Java APIのほか、REST、Avro、ThriftといったゲートウェイAPIを通じアクセスが可能である。 HBaseは、古典的なSQLデータベースを直接置き換えるものではないが、近年ではパフォーマンスが向上し、
アンドロイドでは、SQLiteというデータベースが、標準でサポートされています。 SQLiteはWindow等の他のOSでも使う事ができ、JavaでもJDBCを使ってアクセスする事ができます。 SQLiteになじみの無い方は、 先に「JavaとSQLiteデータベース」 を参照して、まず、SQLite単体での使い方に、慣れてみると良いと思います。 データベースの作成とオープン - SQLiteOpenHelperクラスとSQLiteDatabaseクラス アンドロイドでは、SQLiteDatabaseオブジェクトを使って、データベースを操作します。 SQLiteDatabaseオブジェクトを取得するには、通常、ヘルパークラスとして、SQLiteOpenHelperクラスを継承したクラスを作成して、 このクラスよりSQLiteDatabaseオブジェクトを取得します。 以下に、その例を示しま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く