0
안녕하세요, 저는 웹 페이지의 내용을 검색하는 간단한 봇을 만들려고합니다. 나는이 과정을 잘 알고있다. 나의 최종 목표는 웹에서 검색하여 식품에 대한 정보를 검색 할 수있는 앱을 갖추는 것입니다. 여기에있는이 간단한 코드는 웹 페이지로 이동하여 페이지의 소스 코드를 인쇄하기로되어 있지만 "사용자 에이전트 문자열은 자동화 된 프로세스에서 나온 것 같습니다"때문에 계속 리디렉션됩니다. 당연히 자동화 과정에서 나온 것입니다 ... 여기에 뭔가 빠졌습니까? 내 웹에서 사용자 에이전트 문자열을 허용 할 수있는 형식으로 지정하려면 어떻게해야합니까? 아니면 완전히 다르게 접근해야합니까? 지금 웹 크롤러를 가지고 계시다면 특별해야합니까?URL bot 용 사용자 에이전트 문자열
try
{
HttpClient client = new HttpClient();
client.MaxResponseContentBufferSize = 25600;
HttpResponseMessage response = await client.GetAsync("http://www.contoso.com/");
response.EnsureSuccessStatusCode();
string responseBody = await response.Content.ReadAsStringAsync();
Console.WriteLine(responsebody);
}
catch (HttpRequestException e)
{
Console.WriteLine("\nException Caught!");
Console.WriteLine("Message :{0} ", e.Message);
}