blob 저장소에 저장된 텍스트 파일에 이벤트가 기록되고 json으로 저장되는 Application Insights의 이벤트 로그가 있습니다. customProperty가 조건을 충족하는 jsons를 찾아야합니다. 적중 횟수는 매우 적습니다 (약 10 또는 20). 그러나 기록 된 데이터는 매우 큽니다. 이것이 어떻게 효율적으로 성취 될 수 있는지에 대한 제안?응용 프로그램 통찰력 로그 분석
Microsoft 문서에서 HDInsights가 BLOB 저장소를 이해하고 효율적이라고 읽었습니다. 이 시나리오와 관련이 있습니까? 그렇다면 누군가가 출발점을 제공 할 수 있습니까?
HDInsight는 Hadoop 호환 구현이므로 로그 분석을위한 훌륭한 기술입니다. 원격 측정에 관한 AppInsighs 페이지의 being stated입니다. "큰 규모의 클라우드에서 HDInsight - Hadoop 클러스터를 고려하십시오 .HDInsight는 대용량 데이터를 관리하고 분석하기위한 다양한 기술을 제공합니다."
동일한 페이지에서 AppInsights 원격 측정을 Azure Blobs 스토리지로 계속 내보내는 것에 대한 정보를 찾을 수 있습니다.
다음 단계에서는 HDInsight를 사용하여 분석 할 수 있지만 알고리즘을 구현해야합니다.
Azure BLOB에서 HDInsight로 데이터를 업로드하는 경우 that link (및 쿼리의 경우 this)이 표시 될 수 있습니다.
Hadoop/HDInsight의 일반적인 작업 인 로그 처리 파이프 라인을 이해하려면 this과 같은 몇 가지 연습 및 매뉴얼을 사용할 수 있습니다. 그러나이 알고리즘을 시나리오에 맞게 조정해야합니다.
애플리케이션 인사이트의 경우 다른 옵션이 있습니다. 새로운 분석 도구 Application Insights Analytics가 도입되었습니다. 당신은 당신이 필요로하는 데이터를 내보낼 수 있습니다
requests
| where timestamp >= ago(24h)
| summarize count() by client_CountryOrRegion
| order by count_ desc
:
은 특정 언어를 사용하여 데이터를 기록.
HDInsight의 Application Insight에서 작업하려면 먼저 로그를 BLOB 저장소로 내 보내야합니다. 이것은 HDInsight가 볼 수 있도록 구성된 BLOB 저장소 여야합니다. 그런 다음 HDInsight에 문서 구조에 대해 알리는 방법이 필요합니다. 다행스럽게도 HDInsight에서 Spark을 사용하면 자체 JSON 구조를 파악할 수 있습니다. –
https://azure.microsoft.com/en-us/documentation/articles/hdinsight-spark-analyze-application-insight-logs/에 문서가 있습니다. 여기에는 Spark on HDInsight에서 수행하는 지침과 예가 나와 있습니다. –