여러 열을 기준으로 계산

Question

사용자 ID와 IP 주소가있는 큰 로그 파일이 있습니다. 특정 IP가 얼마나 많은 사용자 ID에 로그인했는지 확인하는 가장 좋은 방법을 결정하려고합니다.

처음에는 명령 줄에서 cut, sort 및 uniq를 통해이 작업을 수행 할 수 있다고 생각했지만 원하는 출력을 얻지 못했습니다. 파이썬 또는 bash 솔루션이 이상적입니다.

eric - 1.1.1.1, 2.2.2.2, 4.4.4.4 
brian - 1.1.1.1 
jeff - 1.1.1.1, 3.3.3.3 
bob - 3.3.3.3 
peter - 4.4.4.4 

뿐만 아니라 :

1.1.1.1 - eric, brian, jeff 
2.2.2.2 - eric 
3.3.3.3 - bob, jeff 
4.4.4.4 - peter 

나는 이러한 유형의 정보를 표시하도록 출력을 싶습니다

eric 1.1.1.1 
eric 1.1.1.1 
brian 1.1.1.1 
jeff 1.1.1.1 
eric 2.2.2.2 
bob 3.3.3.3 
jeff 3.3.3.3 
eric 1.1.1.1 
eric 1.1.1.1 
eric 4.4.4.4 
peter 4.4.4.4 

: 아래

파일의 예입니다 그것이 성숙함에 따라, 배제 IP를위한 변수를 만들어야 할 것입니다. 1.1.1.1이 NAT이고 신뢰할 수 있기 때문에 우리는 i를 무시할 수 있다고 말할 수 있습니다. 여러 사용자가 그것으로부터 올 것입니다.

올바른 방향으로 밀어 올리는 것이 좋습니다.

Answer 1

입력 프로세스 출력 스타일로 작성된 다음 스크립트를 고려하십시오.

일부 노트 :

fileinput 모듈은 명령 줄, 여러 파일 이름, 또는 전혀 파일 이름 (이 경우에 표준 입력을 사용합니다)에 하나의 입력 파일 이름을 지정할 수 있습니다.

defaultdict을 사용하면 편리하게 데이터 집합을 수집 할 수 있습니다.

', ' join은 원하는 쉼표로 구분 된 출력 행을 생성합니다.

리스트 이해 대신 (line.split() for line ...) 표현식을 사용하면 [line.split() for line ...]은 큰 파일이라고 메모리를 저장합니다. 목록 이해력을 사용했다면, 모든 데이터가 메모리에 두 번 저장됩니다.

코드가 만료되면 추가 한 새 기능을 제어하기 위해 argparse으로 전환 할 수 있습니다.

import fileinput 
import collections 

# Input the data 
raw_data = (line.split() for line in fileinput.input()) 

# Process the data 
name2ip = collections.defaultdict(set) 
ip2name = collections.defaultdict(set) 
for name, ip in raw_data: 
    name2ip[name].add(ip) 
    ip2name[ip].add(name) 

# Output the data 
for name, ips in name2ip.items(): 
    print '%s - %s'%(name, ', '.join(ips)) 

for ip, names in ip2name.items(): 
    print '%s - %s'%(ip, ', '.join(names))