UC知道关于asp.net信息采集速度的问题
来源：百度知道 编辑：UC知道 时间：2024/06/08 10:13:29
在采集的时候要先取得源文件我用的是这个方法
try
{
HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(url);
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
Stream stream = webResponse.GetResponseStream();
StreamReader reader = new StreamReader(stream, System.Text.Encoding.GetEncoding("GB2312"));
//整个页面内容
content = reader.ReadToEnd();
reader.Close();
webResponse.Close();
}
感觉速度很慢。。这个跟网速有关系吗？
try
{
HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(url);
HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();
Stream stream = webResponse.GetResponseStream();
StreamReader reader = new StreamReader(stream, System.Text.Encoding.GetEncoding("GB2312"));
//整个页面内容
content = reader.ReadToEnd();
reader.Close();
webResponse.Close();
}
感觉速度很慢。。这个跟网速有关系吗？
这个有些关系了.不过关系感觉不大.
如果要采集很多东西的话 为何不一起采集了.
用ThreadPool线城池 采一个地址 就丢个到TreadPool中 让他去控制 然后可同时采集.
跟网速有关.最好多开几个线程.哥们当初把 今生缘所有歌曲和歌手专辑都采集到了.只用了几小时