데이터를 MySql에 삽입하는 데 문제가 있습니다. 사용중인 데이터 세트는 크고 사이버 공격에 대한 데이터입니다. 예를 들어 현재 작업중인 데이터에는 약 25,000 개의 레코드가 있고 새 스키마를 만들고 데이터를 삽입 할 때마다 1000 개의 레코드 만로드됩니다. 나는 여러 번 시도했지만 그 결과는 여전히 동일합니다. 제가 읽고 있기 때문에 저를 도와주세요. 그리고 큰 데이터 세트는 MySql에서 문제가되지 않는다고합니다.MySql에 큰 데이터 세트 업로드
MySQL의 LOAD DATA INFILE을 살펴보십시오. 실제 검색 엔진에 들어가기 전에 수백만 행이 포함 된 3 시간 단위의 스냅 샷을 내보내야했습니다. 그래서 우리는 SELECT INTO OUTFILE을 통해 데이터를 내 보낸 다음 에지 노드에서 LOAD DATA INFILE을 수행했습니다. 가장 큰 데이터베이스 (5 백만 +)에 대한 데이터를로드하는 데 약 15 분이 걸렸습니다.
감사합니다, 나는 그것을 시도합니다. 내 데이터는 귀하의 데이터에 비해 매우 작습니다. 희망을 품을 수있을 것입니다. 상태를 알려줍니다. – user1092074
@ user1092074 : 행운을 빕니다. –
아주 오래된 질문입니다. 여기서 비틀 거리는 사람들에게는 2 센트입니다.
25,000 레코드가 너무 작아서 mysql에 문제가 발생하지 않습니다. 우리는 수백만 개의 행을 가진 수백 개의 테이블을 가지고 있습니다. 말하자면, 당신은 라스베리 파이에서 mysql을 돌리고있다.
입력 레코드의 크기는 문제가되지 않습니다. 내가 생각할 수있는 두 가지 잠재적 인 이유는 다음과 같습니다
그리고 당신의 질문 외에는 무엇이 잘못되었는지 어떻게 알았습니까? – LeleDumbo
mysql에 문제가 없습니다. 어쩌면 그것의 데이터 집합, 또는 사이트에서 데이터를 요청하는 것에 대해 뭔가를 –