2014年01月23日 更新
行数2兆5000億行以上、ファイルサイズ5TB以上の超巨大テキストファイルを編集2008年06月02日 更新
このページの目的は、鈴川エディタが行数の心配をすることなく、しかも少ないメモリで、大きいテキストファイルを作成、読み込み、閲覧、編集ができることを示すことです。
他のテキストエディタは、扱うことができる行数を制限していたり、制限を明示していなくてもある一定の行数に達すると、メモリ不足でアプリケーションが動かなくなったりします。
しかし、鈴川エディタは行数よりもファイルサイズで決まります。行数制限はありません。行数によってメモリ不足になることもありません。鈴川エディタで扱うことができるファイルサイズは、一つのフォルダで使用できるディスクサイズで決まります。行数やメモリで、左右されることはありません。ただし、他のアプリケーションによってメモリ不足の状態にある場合は別です。
100億行の改行記号だけのファイルを20個つなげて読み込んで、2,000億行の改行だけのファイルを作成します。これだけでも380GBありますが、改行だけでは寂しいので先頭、中間、最後の付近で、4千5百万行で5GBのファイルをそれぞれのカーソル位置に読み込みます。このときの使用メモリはタスクマネージャで、ディスク使用量はエクスプローラで示します。
改行記号だけのテキストを作成、読み込むで、扱うことができる最大の行数を知ることができます。
1つ100億行の改行だけのファイルを20個つなげて読み込みます。
2,000億行のファイルは D:\Suzukawa\Data\Test200BL.txt です。
100億行のファイル D:\Suzukawa\Data\Test10BL.txt です。
[OK]ボタンをクリックすると、読み込みを開始します。
(図の右下の時間が図-1のほうが図-2より遅いのは、一連の作業が終了した後で、図-1を取得したためです。)
鈴川エディタは作業の間、[編集経過表示]ダイアログボックスで、時間や進行具合を表示します。
この作業には3時間半以上かかります。後、10分ぐらいで終了するところです。
[編集経過表示]ダイアログボックスを上に移動して、タスクマネージャも表示します。
読み込み作業中に使用するメモリは約15MBであることを示しています。
読み込み終了後、テキストウィンドウを3分割して、それぞれにテキストの先頭、中間、最後の部分を表示しています。
改行だけでは寂しいので、1つ4千5百万行の5GBファイルを先頭、中間、最後の部分に挿入します。
5GBファイルの名前は、D:\Suzukawa\Data\Test5GB_Shift_JIS.txt です。三つとも同じものです。
一番上の分割ウィンドウで、ファイルの先頭部分に5GBファイルを挿入しているところです。
ファイル先頭部分への5GBファイルの挿入が終了したところです。最後の行数が約4千5百万行増加していることがわかります。
中央の分割ウィンドウで、ファイルの中間部分に5GBファイルを挿入しているところです。
ファイル中間部分への5GBファイルの挿入が終了したところです。最後の行数が約9千万行増加していることがわかります。
一番下の分割ウィンドウで、ファイルの最後部分に5GBファイルを挿入しているところです。
ファイル最後部分への5GBファイルの挿入が終了したところです。
最後の行数が約1億3千5百万行増加して、2,001億3千5百万行になっているのがわかります。
タスクマネージャを上に表示して、使用しているメモリを確かめます。約30MBです。
このときのハードディスクの使用状況を、エクスプローラで表示します。
2,000億行ファイルを作成する前はファイルは一つもありません。
2,000億行ファイルを作成した後です。使用しているディスクサイズは約390GBです。
フォルダ E:\Suzukawa\Work\200BL_txt_1 は、2,000億行ファイルのワークファイルフォルダです。
ワークファイルフォルダは、E:\Suzukawa\Work\200BL_txt_1 です。
2,000億行ファイルのワークファイルフォルダ内のワークファイルです。ファイル名順に並べて、先頭部分を示しています。
2,000億行ファイルのワークファイルフォルダ内のワークファイルです。ファイル名順に並べて、最後部分を示しています。
中間部分には、Str17.wrk から Str105276.wrk までのワークファイルがあります。