I have a large csv file(10Gb). But it's too large to process on a program.
There is a way to solve this problem. You can use bash command 'split'. Just take a look at an example below.
$ split -l 100 data.csv
this command will separate data.csv into every 100 lines with a lot of files. It's so simple.
'Programming > Bash' 카테고리의 다른 글
[BASH] Make multiple screenshots into one image(tile, mosaic) by using ffmpeg (0) | 2017.02.06 |
---|---|
관리자권한으로 cron 설정하기. It's easy to use. (0) | 2016.06.10 |
How to check the length of a media file on bash - bash 를 이용한 동영상 파일 길이 알아내기. (0) | 2016.03.28 |
나만의 유튜브 영상 다운로더 by using bash (0) | 2016.01.10 |
[BASH] 기본 BASH 업그레이드 및 활용하기 (1) | 2015.11.11 |