2014年1月19日日曜日

Pentaho Data Integration, 巨大なXMLファイルの読み込み

Pentaho Data IntegrationでXMLファイルを読み込むにはGet Data from XMLとXML Input Stream(StAX)があります。
600MBぐらいある巨大なXMLファイルをGet Data from XMLで読み込むとjava.lang.OutOfMemoryError: Java heap spaceでエラーが出ました。 メモリ割当を2.5GBまで増やしても解決しません。


この様な大きなファイルの場合、XML Input Stream(StAX)を使う事が推奨されています。
ただXML Input Streamでは親子関係のデータを取るには以下の様にステップを組み合わせる必要があります。

0 件のコメント:

コメントを投稿