2
나는 XPath는이 및 저장 검색된 정보의 일부에를 조회 를 사용하여 HTML 요소를 찾고, 링크, 다운로드 페이지의 긴 목록을 통해 크롤 링 응용 프로그램을 쓰고 있어요 mysql 데이터베이스. 멀티 서버 솔루션을 사용하여 서버를 최대한 활용하고 대기 시간을 줄입니다.웹 크롤링 성능은
대부분의 응용 프로그램은 csharp 및 java를 사용하여 작성하고 웹 응용 프로그램은 asp.net/c#로 작성합니다.
Node.js가 성능 관점에서 고려해야 할 가치가 있는지 여부는 질문하고 싶습니다. 주어진 처리량이 가장 중요한 요소입니다. Node.js는 더 많은 이식성과 크로스 플랫폼을 제공하는 또 하나의 이유이기는하지만 성능이 중요합니다.
나의 초기 생각은 예 - 노드가 이런 종류의 작업을 고려할 가치가 있다는 것입니다. 노드의 가장 큰 장점은 성능입니다. 그것은 정말로 동시성을 처리하도록 설계되었습니다 - 비록 단일 스레드 일지라도. 멀티 스레딩 C# 및 그 악몽을했습니다. –
스레드 풀을 사용하여 구현 된 call_back을 사용합니다. 나는 그것이 단일 쓰레드인지 확신하지 못한다. 콜백이 스레드 풀에 의해 실행되기 때문에 다중 스레드라고 생각합니다. 여전히 명시 적으로 병행하지 않아도됩니다. –