bash에서 ngram을 생성 할 수 있습니까?

Question

저는 Python, Perl 등에서 ngram의 다양한 구현을 발견했습니다.하지만 저는 bash 스크립트에서 뭔가를 정말 좋아할 것입니다. "Missing textutils"버전을 훑어 보았지만 ngrams 만 나열하고 주파수로 계산하지는 않습니다. ngrams를 사용하는 것이 상당히 중심적입니다. 난 그냥

17 blue car 
14 red car 
5 and the 
2 brown monkey 
1 orange car 

누구는 그들이 게시 할 수 있음을 주위에 거짓말 같은이 ...이 같은 빈도와 결과의 기본 목록을 원하는? 감사!

Answer 1

순수한 bash 구현입니다. 연관 배열에 대한 지원과 함께 bash> = 4.2 버전을 사용해야합니다.

#!/usr/bin/env bash 

((n=${1:-0})) || exit 1 

declare -A ngrams 

while read -ra line; do 
     for ((i = 0; i < ${#line[@]}; i++)); do 
       ((ngrams[${line[@]:i:n}]++)) 
     done 
done 

for i in "${!ngrams[@]}"; do 
     printf '%d\t%s\n' "${ngrams[$i]}" "$i" 
done 

저장 ngram로하고 ngram 2 < file로 사용합니다.

Answer 2

예, ngrams는 bash에서 구현할 수 있습니다.

# Usage: ngrams N < FILE 
ngrams() { 
    local N=$1 
    local line 
    set -- 
    while read line; do 
    set -- $* $line 
    while [[ -n ${*:$N} ]]; do 
     echo ${*:1:$N} 
     shift 
    done 
    done | 
    sort | uniq -c 
} 

$ ngrams 2 
Here is some text, and here is 
some more text, and here is yet 
some more text 
    1 Here is 
    2 and here 
    2 here is 
    2 is some 
    1 is yet 
    1 more text 
    1 more text, 
    2 some more 
    1 some text, 
    2 text, and 
    1 yet some 

참고 : 위는 기능 아닌 스크립트 (아마도이 ​​question 도움이, 또는 어쩌면 더 나은 다른이)입니다. 다음은 스크립트 버전입니다.

#!/bin/bash 
# Usage: ngrams N < FILE 
N=$1 
set -- 
while read line; do 
    set -- $* $line 
    while [[ -n ${*:$N} ]]; do 
    echo ${*:1:$N} 
    shift 
    done 
done | 
sort | uniq -c