기본 콘텐츠로 건너뛰기

9월, 2023의 게시물 표시

큰 JSON 파일 파싱 Python 라이브러리 성능 비교

큰 JSON 파일 파싱 Python 라이브러리 성능 비교 1. 개요 1.1. 이 문서의 목적 큰 JSON 파일을 파싱할 때 메모리 사용량과 속도 측면에서 JSON 파싱 Python 라이브러리들을 비교해 봅니다. 1.2. 독자 큰 JSON 파일을 파싱하여 처리하고자 하는 개발자 1.3. 사전 지식 Python 프로그래밍 기초 JSON 파일 형식 2. 준비 2.1. 테스트 환경 테스트를 위해 사용한 환경은 다음과 같습니다. CPU: 12th Gen Intel Core i7-12700H x 20 Memory: 32GB OS: Ubuntu 22.04.2 LTS 2.2. 데이터 샌프란시스코의 지리 정보를 담고 있는 City Lots San Francisco in .json 파일을 테스트 데이터로 사용합니다. 데이터의 JSON 구조는 아래와 같습니다. { "type": "FeatureCollection", "features": [ { "type": "Feature", "properties": { "MAPBLKLOT": "0001001", ... "LOT_NUM": "001", ... }, "geometry": { "type": "Polygon", "coordinates": [ ... ] ...