转一篇：http://blog.csdn.net/fengxingzhe001/article/details/67640083
原来使用一行一行读取文本的方式，速度是慢的的可以，弄了好久还是不行，后来看了下才知道要用字节流传输会快很多
我自己也测了一下80M的文件，发现给读入块的大小会很明显的影响读入的速度。
测试代码如下：
def useBufferIStream(): Util = {
try {
val begin = System.currentTimeMillis
val file = new File(s"E:\\data\\part-m-00000")
val fis = new FileInputStream(file)
val bis = new BufferedInputStream(fis)
val buffer = new Array[Byte](1024*1024*90)
var content = ""
var cnt = 0
cnt = bis.read(buffer)
while( cnt != -1) {
content += new String(buffer, 0, cnt)
cnt=bis.read(buffer)
}
bis.close()
println("=====BufferIStream===== time: " + (System.currentTimeMillis - begin) + "ms")
} catch {
case e: Exception =>
// TODO Auto-generated catch block
e.printStackTrace()
println("error")
}
}
代码中绿色部分为读入块的大小，目前设定的是90M大于要读的数据，这时的读入时间只要0.2s
如果改为10M即（1024*1024*10），读入时间就需要10s左右，速度有很明显的变化。
这里解释一下一部分代码：
1、val buffer = new Array[Byte](1024*1024*90) 为每次读入文件的大小；
2、cnt = bis.read(buffer) 读入数据块大小的标识，如果读入块没用信息则为-1，有信息则为这块信息的大小；
3、content 为最终读入的文本信息
4、这里使用的Scala语言，测试中发现
cnt = bis.read(buffer)
while( cnt != -1) {
content += new String(buffer, 0, cnt)
cnt=bis.read(buffer)
}
while的这块语句书写必须用这种形式，不能使用 while((cnt=fis.read(buffer)) != -1) ，虽然在java上运行是都可以的，但是在Scala中，后者运行会报错，具体原因不明，应该跟Scala的一些机制有关
上面代码能够解决基本的读取数据问题，但是无法保证数据分块读入时每一行数据是完整的，因此在前文基础上作出部分改动
代码如下：（实现将一个86G文件分解为90M的若干小文件，并保证每个小文件中每行数据的完整性）
def safeCopy():Unit={ try { var size = 0 var count = 0 var tmp = -1 var tmp2 = 0 var stmp = new Array[Byte](1024*1024*90) var content = "" val fis = new FileInputStream("E:\\data\\part-m-00003")//val fis = new FileInputStream("E:\\data\\test\\test.txt") val bis = new BufferedInputStream(fis) val buffer = new Array[Byte](1024*1024*90)// val buffer = new Array[Byte](1024) size = bis.read(buffer) while (size != -1){ var fos = new FileOutputStream("E:\\data\\part3\\part_"+"%04d".format(count))// var fos = new FileOutputStream("E:\\data\\test\\test_"+"%04d".format(count)) var bos = new BufferedOutputStream(fos) tmp = findSize(buffer,size) if(tmp>0) { if (count != 0) { bos.write(stmp, 0, tmp2) } tmp2 = size - tmp Array.copy(buffer, tmp, stmp, 0, tmp2) bos.write(buffer, 0, tmp-1) }else{ bos.write(buffer, 0, size) } size = bis.read(buffer) bos.flush() println(s"finish $count") count+=1 } bis.close() println("success!!") } catch { case e: Exception => e.printStackTrace() println ("error!!") } }
def findSize(buffer:Array[Byte],size:Int):Int={ var i=size-1// println(size)// println(i) var j=1 var num = -1 while(i>=0 && j==1){ if(buffer(i)==13 || buffer(i)==10){ num = i j=0 } i-=1 } num+1 }
其中，findSize函数负责寻找每块文件中完整数据的长度，buffer(i)==10 其中的10，为换行符的Byte值（每一行数据以换行符作为结束）
新的方法，发现可以更为容易的解决上述问题
public static void main(String[] args) throws IOException {
String inputFile = "E:\\data\\part-m-00000";
String outputFile = "E:\\data\\test01\\a-0";
BufferedInputStream bis = new BufferedInputStream(new FileInputStream(new File(inputFile)));
BufferedReader in = new BufferedReader(new InputStreamReader(bis,"utf-8"),60*1024*1024);
FileWriter fw=new FileWriter(outputFile);
int count = 0;
int count1 = 0;
Long start = System.currentTimeMillis();
while(in.ready()){
String line = in.readLine();
count++;
fw.append(line+"\n");
if(count == 150000){
count1++;
fw.flush();
fw.close();
fw = new FileWriter("E:\\data\\test01\\a-"+count1);
count =0;
Long end = System.currentTimeMillis();
System.out.println((end-start));
start = System.currentTimeMillis();
}
}
in.close();
fw.flush();
fw.close();
}
速度与前面不相上下，并且可以很好地解决按条读取的需求，大小通过控制条数的多少来实现。