프로토콜 버퍼 문제가 발생했습니다. 이진 파일에 여러 개의 직렬화가 발생했습니다.

Question

protobuf 바이너리 파일 io에서 이상한 동작이 나타납니다. protobuf 중간 파일에 텍스트 코퍼스를 사전 처리하고 있습니다. 다음과 같이 내 직렬화 클래스는 같습니다

0:0:8 
132:1:8 
227:2:6 
303:3:6 
381:4:19 
849:5:9 
1028:6:2 
1048:7:18 
1333:8:28 
2473:9:24 

첫 번째 필드는 직렬화가 정상적으로 진행되고 있음을 보여줍니다처럼

는

class pb_session_printer 
    { 
    public: 
    pb_session_printer(std::string & filename) 
     : out(filename.c_str(), std::fstream::out | std::fstream::trunc | 
           std::fstream|binary) 
     {} 

    void print_batch(std::vector<session> & pb_sv) 
    { 
     boost::lock_guard<boost::mutex> lock(m); 

     BOOST_FOREACH(session & s, pb_sv) 
     { 
     std::cout << out.tellg() << ":"; 
     s.SerializeToOstream(&out); 
     out.flush(); 
     std::cout << s.session_id() << ":" << s.action_size() << std::endl; 
     } 
     exit(0); 
    } 

    std::fstream out; 
    boost::mutex m; 
    }; 

출력의 조각이 보인다. 내 부하 프로그램을 실행하면

:

int main() 
{ 
    std::fstream in_file("out_file", std::fstream::in | std::ios::binary); 
    session s; 

    std::cout << in_file.tellg() << std::endl; 
    s.ParseFromIstream(&in_file); 
    std::cout << in_file.tellg() << std::endl; 
    std::cout << s.session_id() << std::endl; 

    s.ParseFromIstream(&in_file); 
} 

를 내가 얻을 :

이

0 
-1 
111 
libprotobuf ERROR google/protobuf/message_lite.cc:123] Can't parse message of type 
"session" because it is missing required fields: session_id 

SESSION_ID : (111)은 스트림의 끝으로 항목, 내가 명확의 의미를 이해하지 못하는 라이브러리의 바이너리 io 기능. 도와주세요.

Answer 1

하나의 파일에 여러 protobuffers를 작성하는 경우 protobuf + protobuffer의 크기를 쓰고 별도로 읽어야합니다 (Cat Plus Plus가 언급 된대로 ParseFromIstream없이). protobuffer를 읽을 때 ParseFromArray으로 구문 분석 할 수 있습니다.

파일의 크기가이 (공백은 단지 가독성을위한) 보일 것이다

크기 protobuf 크기 protobuf 크기 protobuf 등

Answer 2

Message::ParseFromIstreamis documented 전체 입력을 소모합니다. 동일한 유형의 메시지 시퀀스를 직렬화하기 때문에 repeated 필드를 사용하여 새 메시지를 만들고 그 필드로 작업 할 수 있습니다.