网站导航网学 原创论文 原创专题 网站设计 最新系统 原创论文 论文降重 发表论文 论文发表 UI设计定制 论文答辩PPT格式排版 期刊发表 论文专题
返回网学首页
网学原创论文
最新论文 推荐专题 热门论文 论文专题
当前位置: 网学 > 设计资源 > .Net编程 > 正文

实战系列之天气预报实时采集

论文降重修改服务、格式排版等 获取论文 论文降重及排版 论文发表 相关服务

前言:

今天 CYQ.Data 框架  框架群里,“路过冬天”问了个天气预报的问题,问哪里有webservice调用?于是随性就有了这篇文章了。

天气预报,回忆中做过那么三次。

第一次的做法是:

技术总监写了个采集后台,每天早晚各采一次,从tq121站里采集大量的天气信息到数据库,我就直接从数据库里读数据了。

总结:

这种做法很麻烦,每天要开后台采数据,做成自动的,还要不半路程序自动死亡才行,而且数据库会产生大堆垃圾过时的数据。

优点是:可以采集很多信息,做成很专业的天气预报站,那时候做旅游站,天气也是重要模块,所以这种方式也很合适。

第二次:

自己做毕业设计,都没采集后台,自己又写不出采集来,没数据读了,只好到处百度搜索“天气预报Webservice"调用。

总结:

这种做法也很郁闷,首先Webservice不好找,第二找到的如果小站提供的,随时又会挂掉了,要是人家挂掉,你要另找一个?

优点是:找到就调用,什么也不用管,菜鸟也能飞。

第三次:

是电子商务平台在首页显示下天气,那时候正巧遇到刚做完web版的采集系统,于是顺理直接使用采集类库现采现显。

总结:

优点是:不用和数据库打交道,现采现显,减少数据库压力,速度快,每天只采一次,丁点信息,缓存即可。对于天气只是装饰性的极适用。

缺点是:数据量少,不能做能专业性天气预报站。

以下介绍现采现显的实现方式

1:既然要采,当然找到有天气预报的站了,这个很好找,网上到处都是资源,只要你会采。

比如百度,你搜索城市如广州,即会出现天气信息了,如图:

 

比如腾讯soso,如下图。当然还有其它很多很多,只要看得到的,都可以采,不过最好找大站,稳定。

 

2:采集类,一个好的采集类,事半功倍,以下出一个简化版,足够采集天气信息

  1. using System; 
  2. using System.Text; 
  3. using System.Net; 
  4. using System.Text.RegularExpressions; 
  5.  
  6. namespace CYQ.Tool 
  7.     /// <summary> 
  8.     /// 作者:路过秋天 
  9.     /// 博客:http://cyq1162.cnblogs.com 
  10.     /// </summary> 
  11.     public class GatherHelper 
  12.     { 
  13.         /// <summary> 
  14.         /// 返回获取的目标地址HTML全部代码 
  15.         /// </summary> 
  16.         /// <param name="strUrl">目标地址</param> 
  17.         /// <returns></returns> 
  18.         public static string GetHtmlCode(string pageUrl, Encoding encoding) 
  19.         { 
  20.             try 
  21.             { 
  22.                 //返回目标页HTML代码 
  23.                 WebClient webclient = new WebClient(); 
  24.                 webclient.Credentials = CredentialCache.DefaultCredentials; 
  25.                 byte buffer = webclient.DownloadData(pageUrl); 
  26.                 string HtmlCode = encoding.GetString(buffer); 
  27.                 webclient.Dispose();    //释放WebClient资源 
  28.                 return HtmlCode; 
  29.             } 
  30.             catch 
  31.             { 
  32.                 return string.Empty; 
  33.             } 
  34.  
  35.         } 
  36.  
  37.         #region 内容截取分析 
  38.         /// <summary> 
  39.         /// 返回根据内容开始及结束代码分析出内容 
  40.         /// </summary> 
  41.         /// <param name="ContentCode">内容代码</param> 
  42.         /// <param name="StartCode">内容所在开始代码</param> 
  43.         /// <param name="EndCode">内容所在结束代码</param> 
  44.         /// <param name="index">取第几条[从1开始]</param> 
  45.         /// <returns></returns> 
  46.         public static string GetContent(string contentCode, string startCode, string endCode, int index) 
  47.         { 
  48.             string matchItems = null
  49.             return GetContent(contentCode, startCode, endCode, index, out matchItems); 
  50.         } 
  51.         public static string GetContent(string contentCode, string startCode, string endCode, int index, out string matchItems) 
  52.         { 
  53.             matchItems = null
  54.             if (string.IsNullOrEmpty(startCode) && string.IsNullOrEmpty(endCode)) 
  55.             { 
  56.                 return contentCode; 
  57.             } 
  58.             Regex regObj = new Regex(startCode + @"([\S\s]*?)" + endCode, RegexOptions.Compiled | RegexOptions.IgnoreCase); 
  59.             MatchCollection matchItemList = regObj.Matches(contentCode); 
  60.             if (matchItemList != null && matchItemList.Count >= index) 
  61.             { 
  62.                 matchItems = new string[matchItemList.Count]; 
  63.                 for (int i = 0; i < matchItemList.Count; i++) 
  64.                 { 
  65.                     matchItems[i] = matchItemList[i].Groups.Value; 
  66.                 } 
  67.                 index = index > 0 ? index - 1 : 0; 
  68.                 return matchItemList[index].Groups.Value; 
  69.             } 
  70.             return string.Empty; 
  71.         } 
  72.         #endregion 
  73.     } 

3:编写天气预报实体类,将采集的信息以实体返回,如果采集多个,返回就是List<实体>了

  1. public class WeatherInfo 
  2.    { 
  3.        private string imgUrl; 
  4.        /// <summary> 
  5.        /// 天气图片地址 
  6.        /// </summary> 
  7.        public string ImgUrl 
  8.        { 
  9.            get { return imgUrl; } 
  10.            set { imgUrl = value; } 
  11.        } 
  12.        private string wind; 
  13.        /// <summary> 
  14.        /// 天气风力 
  15.        /// </summary> 
  16.        public string Wind 
  17.        { 
  18.            get { return wind; } 
  19.            set { wind = value; } 
  20.        } 
  21.        private string cityName; 
  22.        /// <summary> 
  23.        /// 天气城市名称 
  24.        /// </summary> 
  25.        public string CityName 
  26.        { 
  27.            get { return cityName; } 
  28.            set { cityName = value; } 
  29.        } 
  30.        private string temperature; 
  31.        /// <summary> 
  32.        /// 天气温度 
  33.        /// </summary> 
  34.        public string Temperature 
  35.        { 
  36.            get { return temperature; } 
  37.            set { temperature = value; } 
  38.        } 
  39.        private string description; 
  40.        /// <summary> 
  41.        /// 天气说明 
  42.        /// </summary> 
  43.        public string Description 
  44.        { 
  45.            get { return description; } 
  46.            set { description = value; } 
  47.        } 

4:编写采集Soso的天气预报类

A:新建采集天气预报类:WeatherSearch

  1. /// <summary> 
  2. /// 作者:路过秋天 
  3. /// 博客:http://cyq1162.cnblogs.com 
  4. /// </summary> 
  5. public class WeatherSearch 
  6.     /// <summary> 
  7.     /// 数据采集来源于腾信搜搜天气预报 
  8.     /// </summary> 
  9.     /// <param name="cityName"></param> 
  10.     /// <returns></returns> 
  11.     public static WeatherInfo Get(string cityName) 
  12.     { 
  13.           //待实现 
  14.     } 
  15.  
  16.     private static WeatherInfo GetFormCache(string cityName,string key) 
  17.     { 
  18.         object weather = HttpContext.Current.Cache.Get(key); 
  19.         if (weather!=null
  20.         { 
  21.             return weather as WeatherInfo; 
  22.         } 
  23.         return null
  24.     } 
  25.  

重要说明:
采集一次后,记得缓存起来,不然每次访问都现采,刷刷就被soso给封了,切身经历啊。

B:Get函数分解:
1:先读取缓存,注意缓存Key用日期做key,可以方便缓存今天和删除昨天的缓存。

  1. public static WeatherInfo Get(string cityName)//中文城市名称 
  2.     if (string.IsNullOrEmpty(cityName)) 
  3.     { 
  4.         return null
  5.     } 
  6.     string todayKey = cityName + DateTime.Now.ToString("yyyyMMdd"); 
  7.     WeatherInfo weather = GetFormCache(cityName, todayKey); 
  8.     if (weather == null
  9.     { 
  10.         //待实现 
  11.     } 

2:读不到缓存就现采了,调用采集类

  1. if (weather == null
  2.  { 
  3.                weather = new WeatherInfo(); 
  4.                weather.CityName = cityName; 
  5.                cityName = System.Web.HttpUtility.UrlEncode(cityName + "天气", Encoding.GetEncoding("gb2312")); 
  6.                string url = "http://www.soso.com/q?num=1&w=" + cityName; 
  7.  
  8.                //采集所有html 
  9.                string html = GatherHelper.GetHtmlCode(url, Encoding.GetEncoding("gb2312")); 
  10.                //接下来待实现 
  11.  } 

说明:
这里城市要用中文编码传过去,至于url,是我发现的最简洁的参数,现在已把搜搜的搜索页面的全html抓回来了,接下来就是分离出想要的信息。

3:分析html,缩小范围,对于一大堆html,我们只要这一部分

  1. <!--上面的被省略--> 
  2. <div class="w_main"> 
  3.                                             <ol> 
  4.                                                 <li class="w_space" title="北风4-5级"><span>今天(周五)</span> 
  5.                                                     <img src="/uploadfile/201101/20/5F222439556.png" onload="setPng(this,48,48)" /> 
  6.                                                     <span>21 / 28<em>&deg;</em>C</span><span class="w_w">多云转阵雨</span> </li> 
  7.                                                 <li title="北风3-4级"><span>明天(周六)</span> 
  8.                                                     <img src="/uploadfile/201101/20/5F222439556.png" onload="setPng(this,48,48)" /> 
  9.                                                     <span>22 / 28<em>&deg;</em>C</span><span class="w_w">多云转阵雨</span> </li> 
  10.                                                 <li title="微风"><span>后天(周日)</span> 
  11.                                                     <img src="/uploadfile/201101/20/F5222439811.png" onload="setPng(this,48,48)" /> 
  12.                                                     <span>18 / 29<em>&deg;</em>C</span><span class="w_w">多云</span> </li> 
  13.                                             </ol> 
  14. </div> 
  15. <!--下面的也被省略--> 

说明:
我们使用GetContent方法可以非常方便的缩小范围,只要找到唯一的起始标签和结束标签,不会正则,也一样截取。

4:使用GetContent步步截取所需要信息

  1. if (string.IsNullOrEmpty(html)) { return null; } 
  2.                 //缩小范围 
  3.                 html = GatherHelper.GetContent(html, "<div class=\"w_main\">""</div>", 1); 
  4.                 if (string.IsNullOrEmpty(html)) { return null; } 
  5.  
  6.                 //说明 
  7.                 weather.Description = GatherHelper.GetContent(html, "<span class=\"w_w\">""</span>", 1); 
  8.                 //图片 
  9.                 weather.ImgUrl = GatherHelper.GetContent(html, "<img src=\"""\"", 1); 
  10.                 
  11.                 //风向 
  12.                 weather.Wind=GatherHelper.GetContent(html, "title=\"""\"", 1); 
  13.  
  14.                 //温度 
  15.                 weather.Temperature = GatherHelper.GetContent(html, "/> <span>""<em>", 1); 

5:存入缓存并清除昨天的缓存信息[看需要展示几天的信息了]

  1. HttpContext.Current.Cache.Insert(todayKey, weather); 
  2. string yesterdayKey = cityName + DateTime.Now.AddDays(-1).ToString("yyyyMMdd"); 
  3.  
  4. if (HttpContext.Current.Cache.Get(yesterdayKey)!=null
  5.     HttpContext.Current.Cache.Remove(yesterdayKey); 

5:界面调用

  1. protected void Page_Load(object sender, EventArgs e) 
  2.    { 
  3.        WeatherInfo info = WeatherSearch.Get("广州"); 
  4.        if (info != null
  5.        { 
  6.            litCity.Text = info.CityName; 
  7.            litDescprtion.Text = info.Description; 
  8.            imgUrl.ImageUrl = info.ImgUrl; 
  9.            litWind.Text = info.Wind; 
  10.            litTemperature.Text=info.Temperature; 
  11.        } 
  12.    } 

6:调用结果

设为首页 | 加入收藏 | 网学首页 | 原创论文 | 计算机原创
版权所有 网学网 [Myeducs.cn] 您电脑的分辨率是 像素
Copyright 2008-2020 myeducs.Cn www.myeducs.Cn All Rights Reserved 湘ICP备09003080号 常年法律顾问:王律师