소스에서 데이터를 수신하고 해당 데이터를 여러 대상 응용 프로그램에 배포하는 데이터 배포 응용 프로그램에서 작업하고 있습니다. 8 일 동안 여러 개의 메시지를 매 초마다 성공적으로 배포 한 후에는 단일 메시지가 누락되어 클라이언트에게 올바르게 전달되지 않았습니다.데이터 마이닝 로그를 사용하여 버그를 찾습니다.
로그를보고있을 때 나는 데이터가 빠졌거나 그 속도 나 다른 조건에서 일어 났지만 아무것도 찾을 수 없었던 시간에 특별한 것을 발견하려고 시도했다.
특정 이벤트가 다른 이벤트와 다른 점을 식별하는 데 사용할 수있는 데이터 마이닝 기술이 있습니까?
outlier detection에서 볼 수 있습니다. 기본 기술은 많은 메시지에 대해 여러 변수를 그려보고이 메시지가 문자 그대로 뛰어난 것인지 확인하는 것입니다. 두 개 이상의 측정 기준을 동시에 시각화하는 방법은 parallel coordinates입니다. 어쩌면 30 분 휴지통을보고 통계를 계산하고이 메시지 주변에 문제가 있는지 여부를 확인해야합니다.
여기 데이터 마이닝이 올바른 도구라고 생각하지 않습니다.
일부 체계적인 로깅 (인터페이스에서 내부 상태 변경을 추측하기 어렵고 배포 결정 여부에 대한 이유가 무엇인지)을 추가하고 문제를 재현하려고 시도한 다음 로그에서 정확히 무엇을 알아 내겠습니까 잘못됐다. 수백만 개의 메시지와 이와 같이 드물게 발생하는 버그로 인해 어려울 수도 있지만.
미안하지만, 이것이 데이터 마이닝이 무엇인지에 대한 오해 일뿐입니다.
당신은 이미 문제가있는 메시지를 알고 있으며, 따라서 당신은 그것이 '이상한 사람'이라는 것을 알고 있습니다. 그래서 당신은 무엇을 '채굴'합니까?
메시징 시스템에서 일종의 보장 된 전송을 사용하지 않는 경우 항상 메시지가 손실 될 위험이 있습니까? –
TCP의 상단에서 실행되므로 전송이 보장됩니다. 메시지가 배포되는지 여부에 영향을주는 약간의 논리가 있으며 문제가있는 곳이 그 것입니다. 내 질문에 일반적인 관심이있을 수도 있습니다. – gooli