tokenize

2열

1답변

기본적으로 내가 가진 문제는 객체와 직접 대명사를 동사에서 분리하는 것입니다. ''dimeno '는 3 개의 토큰 화되어야한다는 것이 이상적입니다. 저는 두 라이브러리 모두에서 다양한 태거를 시도했으며 지금까지 원하는 결과를 얻지 못했습니다. 그러나 이것이 공통적 인 문제, 즉 어떤 아이디어가 틀림 없음이 확실합니다.

0열

1답변

공백에 따라 lucene 6에 복합 토큰을 생성하는 방법은 무엇입니까?

은 내가 루씬 항목과 같이 있습니다 "심장 박동 증가" 내가 텍스트 내가 색인에이 항목을 일치시킬 "심장 박동을 증가"가 발생. 즉, 입력을 토큰 화해야 함을 의미합니다. {increased, heart, rate} {increasedheart, rate} {increased, heartrate} lucene 6+에서이를 수행하는 방법은 무엇입니까?

1열

1답변

CString을 float 배열로 변환

현재 사용자가 일련 번호를 아래에 강조 표시된 숫자를 CString에 입력해야하는 특정 프로그램을 작성하기 위해 MFC를 사용하고 있습니다 (편의상 aCString이라고 함). 나는 문제없이 'strtok를' 를 사용하여 수레의 배열에 문자열 또는 문자의 배열을 변환 할 수 있습니다. 하지만 미리 언급 된 변환을 수행 할 수 있도록 CString을 문자열

1열

1답변

디버깅 도움 요청, 왜이 토크 나이저가 제대로 배열을 복사하지 않습니다? 이 과제에서

공백을 제거하면서 문자열의 내용을 다른 것으로 복사하는 토큰 라이저 함수를 만들어야합니다. 다음 토큰을 찾아야하는 위치를 반환합니다. 토큰은 char 또는 단일 연산자 char의 문자열입니다. 내 시도에서 공백을 감지하고 무시하는 카운터는 어떻게 든 첫 번째 토큰 다음에 결과 문자열에 복사되는 내용을 중지합니다. 여기 내 코드입니다 : int checkOp

-2열

1답변

파이썬에서 토큰 화에 '__getitem__'오류가 발생했습니다.

텍스트 마이닝 프로세스를위한 단어를 줄이려고합니다. 나는 CSV 파일을 가지고있다. 내 텍스트 데이터가 열 이름 'Abstrac'에 수집되었습니다. 그래서 다음 코드를 실행하려고하지만 오류 'file' object has no attribute '__getitem__'이 나타납니다. 는 def get_tokens(): with open('scopu

-1열

2답변

strtok() 함수를 사용할 때 메모리 할당

strtok()을 사용할 때마다 문자열에 메모리를 다시 할당해야합니까, 아니면 함수가이 작업을 수행합니까? 내가 파일에서 한 줄을 읽고 그것을 토큰으로 나누는 프로그램을 작성하고 있기 때문에 궁금합니다. 각 토큰을 cell이라는 변수에 저장하려고합니다. 여러 문자열을 만들어 연결 목록에 넣을 수는 있지만 프로그램에 많은 오버 헤드가 추가되므로 가능한 경우이

1열

1답변

정규식의 패턴 Look Look 또는 Look Ahead 매치를 찾는 함수

문장을 정확하게 나누기 위해 파이썬에서 일반적인 문법 규칙을 기반으로합니다. 내가 분할하고자하는 문장은 예상 출력 Mr. Smith bought cheapsite.com for 1.5 million dollars, i.e. he paid a lot for it. Did he mind? Adam Jones Jr. thinks he didn't. I

0열

2답변

세그먼트 오류 - 토큰으로 명령 분할

먼저 파이프로 다음 명령으로 분할 한 코드를 구현합니다. int main(){ pid_t pid; while (1) { printf("$ "); char *cmd; ssize_t size=0; getline(&cmd,&size,stdin); if (cmd[strlen(cmd)-1]== '\n') {cmd[strlen(cmd)-1]='\0';}

0열

1답변

C에서 구문 tokenizer/파서를 작성하는 가장 좋은 방법은 무엇입니까?

배경 정보 : 프로그래밍 언어를 만들고 싶다는 욕구가 있습니다. 도구를 알고 있으므로 사용 방법에 대한 좋은 예제가 없습니다. 저는 Flex 나 Bison을 사용하고 싶지 않습니다. 컴파일러를 만드는 데 필요한 추상성을 가르치지 않기 때문입니다. 필자는 문자열 생성, 토큰 화, 문법 및 구문 분석을 통해 파일을 실행하여 결국 언어를 실행하는 실제 프로그램을

0열

2답변

C++ 토큰 화기 ''variable '에 오류가 있습니다. std :: stringstream mystream에 초기화가 있지만 불완전한 형식이 있습니다.' '

저는 C++을 처음 사용하고 숫자가있는 파일에서 행을 읽으려고 시도하고 문자열 배열로 행을 토큰 화하고 변환합니다. 이러한 배열 항목을 배정 밀도 숫자로 변환합니다. 하지만 토큰 화 과정에서이 오류가 발생합니다. ''변수 'std :: stringstream mystream'에는 초기화 도구가 있지만 불완전한 유형이 있습니다. 나는 다른 사람들의 제안을 보