이슈

• CSV 파일을 서버에 업로드시, MySQL DB에 데이터를 저장하여, Labeling Tool 을 통해 업로드된 정보로 최신화하여 다시 다운로드 기능의 트러블
• CSV 파일을 서버에 업로드시, MySQL DB 테이블의 해당 Sample Row Data를 sample_data 컬럼에 JSON 형태의 TEXT 로 저장하고자 할 때, 기존 CSV 파일의 컬럼의 순서가 보장이 안되는 현상 발생
• Upload 할 CSV 파일의 Example

• Upload 요청 시의 Service Entity 클래스 와 Service 메서드

// Sample Entity
...
public class Sample extends Timestamp {
...
		// JSON 타입의 TEXT 로 저장
    @Column(columnDefinition = "JSON")
    private String sampleData;
...

 // Upload 파일 요청 Service 메서드 
 @Transactional
    public void uploadCsvFile(MultipartFile file, DatasetMetadataDto metadata) throws Exception {
        String datasetName = metadata.getDatasetName();
        String datasetDescription = metadata.getDatasetDescription();
				
				// Controller 에서 받아온 file 을 읽으면서 처리
        try (CSVReader csvReader = new CSVReader(new InputStreamReader(file.getInputStream()))) {
            String[] columns = csvReader.readNext();

            if (columns == null) throw new FileProcessingException("CSV file is empty");

            Map<String, Integer> columnIndexMap = new HashMap<>();

            for (int i = 0; i < columns.length; i++) {
                for (DatasetColumn column : DatasetColumn.values()) {
                    if (columns[i].equalsIgnoreCase(column.toString())) {
                        columnIndexMap.put(column.toString(), i);
                    }
                }
            }
            
            ...
						
						// 파일에서 읽어온 데이터를 Sample 엔터티로 만든후 저장 
            while ((nextRecord = csvReader.readNext()) != null) {
                JsonObject sampleData = new JsonObject();
                for (int i = 0; i < columns.length; i++) {
                    sampleData.addProperty(columns[i], nextRecord[i]);
                }

                Sample sample = Sample.builder()
                        .id(UUID.randomUUID().toString())
                        .datasetName(datasetName)
                        .datasetDescription(datasetDescription)
                        .versionId(1L)
                        .status(SampleStatus.CREATED)
                        .sampleData(sampleData.toString())
                        .build();

                sampleList.add(sample);
                
                ...
                }
            }

            sampleRepository.saveAll(sampleList);

        } catch (Exception e) {
            throw new FileUploadException(e.getMessage(), e);
        }
    }

• 컬럼의 순서가 섞여 sampleData 값으로 저장되는 상황

id, label, number, source, is_valid, first_row, sql_query, sql_template, returned_rows, direct_question, no_sql_template, natural_question, sql_query_edited, natural_question_edited

• sample_data 에 저장되는 CSV 로우 데이터가 매번 업로드 시 컬럼 순서가 섞여버린 상태 → 해당 값을 기준으로 다운로드 될 때 해당 섞인 컬럼 순서에 맞춰서 순서대로 다운로드가 되므로**, Upload / Download 컬럼 순서가 달라지는 현상**

원인

• log를 사용했을 때, Service 에서 MySQL DB 로 저장되기 직전에 생성된 sample 객체에서는 정상 적으로 위의 Example의 CSV 에서 순서대로 저장하고 있음을 debug 로 확인
  • JSON 형태로 MySQL DB 에 저장되는 과정중에 컬럼의 순서가 보장되지 않고 섞여버리게 된 것
• JSON 자체는 key-value 의 pair 형태를 저장하는 일종의 HashMap 데이터 구조로써 Java Jackson = Java의 JSON 라이브러리 기준으로 순서를 보장하지 않기 때문에, DB 테이블에 데이터를 저장하는 과정에서 순서를 보장할 수가 없는 것

해결

// Sample Entity
...
public class Sample extends Timestamp {
...
		// JSON 타입의 TEXT 로 저장
    @Column(columnDefinition = "LONGTEXT")
    private String sampleData;
...

• Sample 로우 데이터 → Java 가 JSON 형태 JsonObject 객체로 변환 → 해당 객체를 toSpring() 메서드를 통해 TEXT 형태화 한 뒤, Sample 객체를 생성 → DB에 저장 과정 중 JsonObject 객체로 저장 하는 과정에서 문제가 발생
  • JSON 으로 저장을 하는 것이 아닌 TEXT(LONGTEXT) 로 문자 그대로를 저장하는 방향으로 변경

• 순서대로 저장이 되었지만 LONGTEXT로 저장 된 상태