C#抓取网页里面的所有链接！

这几天偶尔看见了，C#抓取网页的链接。的代码。感觉当时做的很简单。呵呵。也没多考虑什么过程。先把简单的给大家拿出来看看。如果大家有什么意见或者有好的方法可以共同交流。谢谢！一下仅供参考：

1. using System; 
2. using System.Collections.Generic; 
3. using System.ComponentModel; 
4. using System.Data; 
5. using System.Drawing; 
6. using System.Linq; 
7. using System.Text; 
8. using System.Windows.Forms; 
9.  
10. using System.Xml; 
11. using System.Net; 
12. using System.IO; 
13. using System.Collections; 
14. using System.Text.RegularExpressions; 
15.  
16. namespace text 
17. { 
18.     public partial class Form1 : Form 
19.     { 
20.         string strCode; 
21.         ArrayList alLinks; 
22.         public Form1() 
23.         { 
24.             InitializeComponent(); 
25.         } 
26.  
27.         private void button1_Click(object sender, EventArgs e) 
28.         { 
29.             if (textBox1.Text == "") 
30.             { 
31.                 MessageBox.Show("请输入网址"); 
32.                 return; 
33.             } 
34.             string strURL = textBox1.Text.ToString().Trim(); 
35.             if (strURL.Substring(0, 7) != @"http://") 
36.             { 
37.                 strURL = @"http://" + strURL; 
38.             } 
39.             MessageBox.Show("正在获取页面代码，请稍后"); 
40.             strCode = GetPageSource(strURL); 
41.             MessageBox.Show("正在提取超链接，请稍侯"); 
42.             alLinks = GetHyperLinks(strCode); 
43.             MessageBox.Show("正在写入文件，请稍侯"); 
44.             WriteToXml(strURL, alLinks); 
45.         } 
46.         // 获取指定网页的HTML代码  
47.         public static string GetPageSource(string URL) 
48.         { 
49.             Uri uri = new Uri(URL); 
50.             HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri); 
51.             HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse(); 
52.             hwReq.Method = "Get"; 
53.             hwReq.KeepAlive = false; 
54.             StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312")); 
55.             return reader.ReadToEnd(); 
56.         } 
57.         // 提取HTML代码中的网址  
58.         public static ArrayList GetHyperLinks(string htmlCode) 
59.         { 
60.             ArrayList al = new ArrayList(); 
61.             string strRegex = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?"; 
62.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase); 
63.             MatchCollection m = r.Matches(htmlCode); 
64.             for (int i = 0; i <= m.Count - 1; i++) 
65.             { 
66.                 bool rep = false; 
67.                 string strNew = m[i].ToString(); 
68.                 // 过滤重复的URL  
69.                 foreach (string str in al) 
70.                 { 
71.                     if (strNew == str) 
72.                     { 
73.                         rep = true; 
74.                         break; 
75.                     } 
76.                 } 
77.                 if (!rep) al.Add(strNew); 
78.             } 
79.             al.Sort(); 
80.             return al; 
81.         } 
82.         // 把网址写入xml文件  
83.         static void WriteToXml(string strURL, ArrayList alHyperLinks) 
84.         { 
85.             XmlTextWriter writer = new XmlTextWriter("HyperLinks.xml", Encoding.UTF8); 
86.             writer.Formatting = Formatting.Indented; 
87.             writer.WriteStartDocument(false); 
88.             writer.WriteDocType("HyperLinks", null, "urls.dtd", null); 
89.             writer.WriteComment("提取自" + strURL + "的超链接"); 
90.             writer.WriteStartElement("HyperLinks"); 
91.             writer.WriteStartElement("HyperLinks", null); 
92.             writer.WriteAttributeString("DateTime", DateTime.Now.ToString()); 
93.  
94.             foreach (string str in alHyperLinks) 
95.             { 
96.                 string title = GetDomain(str); 
97.                 string body = str; 
98.                 writer.WriteElementString(title, null, body); 
99.             } 
100.             writer.WriteEndElement(); 
101.             writer.WriteEndElement(); 
102.             writer.Flush(); 
103.             writer.Close(); 
104.         } 
105.         // 获取网址的域名后缀  
106.         static string GetDomain(string strURL) 
107.         { 
108.             string retVal; 
109.             string strRegex = @"(\.com/|\.net/|\.cn/|\.org/|\.gov/)"; 
110.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase); 
111.             Match m = r.Match(strURL); 
112.             retVal = m.ToString(); 
113.             strRegex = @"\.|/contentquot;; 
114.             retVal = Regex.Replace(retVal, strRegex, "").ToString(); 
115.             if (retVal == "") 
116.                 retVal = "other"; 
117.             return retVal; 
118.         } 
119.     } 
120. }