AttributeError : 'DataFrame'객체에 'timestamp'속성이 없습니다.

Question

지난 36 시간 동안 속한 타임 스탬프가있는 행만 선택하려고합니다. 내 PySpark DataFrame df의 컬럼은 초 단위의 타임 스탬프 인 unix_timestamp입니다. 이것은 현재 코드이지만 오류 AttributeError: 'DataFrame' object has no attribute 'timestamp'과 함께 실패합니다. 나는 그것을 unix_timestamp으로 바꾸려고했지만, 항상 실패합니다.

import datetime 
hours_36 = (datetime.datetime.now() - datetime.timedelta(hours = 36)).strftime("%Y-%m-%d %H:%M:%S") 

df = df.withColumn("unix_timestamp", df.unix_timestamp.cast("timestamp")).filter(df.timestamp > hours_36) 

Answer 1

참조하려고 할 때 타임 스탬프 열이 아직 없습니다. 당신은 둘 중 하나의 데이터 프레임이 열을 개체를 지정하지 않고 동적 인 방법으로 참조 할 pyspark.sql.functions.col을 사용할 수 있습니다로에 속한다 :

import pyspark.sql.functions as F 

df = df.withColumn("unix_timestamp", df.unix_timestamp.cast("timestamp")).filter(F.col("unix_timestamp") > hours_36) 

또는 중간 열 생성하지 않고 :

이

df.filter(df.unix_timestamp.cast("timestamp") > hours_36) 

Answer 2

이 API의 문서가 알을 나 또한 필터링 문자열 표기법을 사용할 수 있습니다 : https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame.filter

import pyspark.sql.functions as F 

df = df.withColumn("unix_timestamp", df.unix_timestamp.cast("timestamp")) 
    .filter("unix_timestamp > %s" % hours_36) 

어쩌면이 아니 정도 오류 메시지