pyspark 응용 프로그램에서 로컬 또는 hdfs 파일로 로깅

Question

pyspark의 응용 프로그램에 로깅 문이 포함 된 클로저 기능이 포함되어 있습니다. pyspark의 로컬/hdfs 파일에 메시지를 기록하는 방법을 모르겠습니다. 나는 다음과 같이 뭔가를 시도했지만 작동하지 않습니다

import json 
from pyspark import SparkContext 
import logging 

def parse_json(text_line): 
    try: 
     return(json.loads(text_line)) 
    except ValueError: 
     # here I need to log a warning message to a local file or even to default spark logs 
     logger.warn("invalid json structure" + text_line) 
     return({}) 

if __name__ == "__main__": 
    my_data = ['{"id": "111", "name": "aaa"}', 
       '{"wrong json", "name": "bbb"}', 
       '{"id": "333", "name": "ccc"}'] 
    sc = SparkContext() 
    logger = logging.getLogger('py4j') 
    lines = sc.parallelize(my_data) 
    my_data_json = lines.map(parse_json).filter(lambda x: x) 
    print(my_data_json.collect()) 

어떤 도움을주세요!

Answer 1

log4j appender를 log4j 설정에서 구성하고 pyspark 응용 프로그램 내에서 사용할 수 있습니다. HDFS에 로그 저장을 시도하지는 않았지만이 방법을 사용하면 콘솔에 로깅을 시작하고 파일에 로컬로 시작할 수 있습니다.

귀하의 솔루션을 해결하기 위해 작은 블로그 게시물을 작성했습니다.

https://shantanualshi.wordpress.com/2016/07/04/logging-in-pyspark-scripts/

나를 그 작동하는지 알아 보자!