버퍼와 스트림

파일을 읽거나 쓰는 방식에는 크게 두가지가 있다. 하나는 버퍼를 이용하는 방식이고, 다른 하나는 스트림을 이용하는 방식이다. 버퍼링과 스트리밍이라는 단어를 일상생활에서 많이 들어봤을 것이다. 보통 영상을 시청할 때 많이 볼 수 있는 용어들이다. 영상을 로딩할 때 버퍼링을 한다고 하고, 영상을 실시간으로 송출할 때는 스트리밍한다고 한다.

버퍼링은 영상을 재생할 수 있을 때까지 데이터를 모으는 동작이고, 스트리밍은 방송인의 컴퓨터에서 시청자의 컴퓨터로 영상 데이터를 조금씩 전송하는 것이다. 스트리밍을 하는 과정에서 버퍼링을 할 수도 있다. 전송이 너무 느리면 화면을 내보내기까지 최소한의 데이터를 모아야 하고, 영상 데이터가 재생 속도보다 빠르게 전송되어도 미리 전송받은 데이터를 저장할 공간이 필요하기 때문이다.

노드의 버퍼와 스트림도 비슷한 개념이다. 파일을 읽으면 버퍼형식으로 출력한다. 노드는 파일을 읽을 때 메모리에 파일 크기만큼 공간을 마련해두며 파일 데이터를 메모리에 저장한 뒤 사용자가 조작할 수 있도록하는데 이때 메모리에 저장된 데이터가 바로 버퍼다.

• 버퍼란? 용량이 큰 데이터를 전송할 때 한 번에 전송을 하지 못하니까 특정 단위 만큼 묶어서 전송을 한다. 그때 BUFFER의 크기만큼 BUFFER에 담아서 전송한다. 전송 속도 차이에 대한 성능을 보완하기 위해 사용, 입력 속도에 비해 출력속도가 느린경우 데이터를 임시 저장하는 공간.
• 스트림이란? 다 찬 버퍼를 전송하는 것이다. 데이터들이 움직일 수 있도록 중간 다리 역할.

 

예를 들어 사용자는 1초에 100개의 데이터, 프로그램은 1초에 5개의 데이터를 처리할 수 있다고 가정을 해보자. 프로그램 처리를 진행하는 동안 입력장치를 통해 들어오는 데이터는 대기를 해야하는 상황이 된다. 이러한 상황을 방지하기 위해 입력받은 데이터를 버퍼라는 임시공간에 저장해두고 프로그램에서 처리할 수 있는 상황이되거나 버퍼가 꽉차게 되면 버퍼에 저장된 데이터를 한 번에 전송을 한다.

이런식으로 버퍼를 사용하게 되면 API 호출횟수를 줄여 입출력 성능을 개선하게 된다. 이렇게 보면 스트림과 버퍼는 항상 같이 묶여 다니는것이 좋을 것같지만 빠른 반응이 요구되는 게임과 같은 프로그램 같은 경우는 입력이 이뤄지는 즉시 전송이 이루어져 빠른 반응 속도를 보여줘야하기 때문에 버퍼를 사용하는 것이 좋지 않다.

 

출처 자료
tcpschool.com/cpp/cpp_io_streamBuffer

 

---

파일 읽고 쓰기에 관련된 문제

파일을 읽어 1MB 단위로 분할하여 저장하는 프로그램을 작성

const fs = require("fs");
//let data = [];

const LIMIT = 1024*1024;
let read_size = 0;
let count = 1;

let write_stream = fs.createWriteStream('test.txt.' + count);

//데이터를 읽어들일 수 있는 스트림 생성
const read_stream = fs.createReadStream('./test2.jpg'); 

read_stream.on('data', function(chunk) {
	read_size += chunk.length;
	
	if (read_size >= LIMIT * count) {
		const now_data = chunk.slice(0, LIMIT - (read_size - chunk.length));
		const next_data = chunk.slice(LIMIT - (read_size - chunk.length));
		write_stream.write(now_data);
		write_stream.end();
		count++;
		write_stream = fs.createWriteStream('test.txt.' + count); 
		write_stream.write(next_data);
		
	} else {
		write_stream.write(chunk);
	}
});

read_stream.on('open', function(chunk) {
	console.log('open');
});

read_stream.on('close', function() {
	write_stream.end();
	console.log('close file');
});

read_stream.on('error', function(err) {
	console.log('error', err);
});

 

분할된 파일을 연속으로 이어붙이는 프로그램을 작성 (파일 리스트는 알고 있다고 가정한다.)

const fs = require("fs");

const files = ['test.txt.1', 'test.txt.2'];

let write_stream = fs.createWriteStream('test222.jpg');

function readAndWrite(idx) {
	if (idx >= files.length) {
		write_stream.end();
		console.log("end");
		return;
	}
	
	const file_path = files[idx];
	//데이터를 읽어들일 수 있는 스트림 생성
	const read_stream = fs.createReadStream(file_path); 

	read_stream.on('data', function(chunk) {
		write_stream.write(chunk);
	});

	read_stream.on('open', function(chunk) {
		console.log('open');
	});

	read_stream.on('close', function() {
		console.log('close file');
		readAndWrite(idx + 1);
	});

	read_stream.on('error', function(err) {
		console.log('error', err);
	});
	
}

readAndWrite(0);