共计 9968 个字符，预计需要花费 25 分钟才能阅读完成。
照例附上项目 github 链接
本项目实现的是将一个简单的天气预报系统一步一步改造成一个 SpringCloud 微服务系统的过程，本节主要讲的是通过引入 Quartz 实现天气数据的同步。
存在问题
当用户请求我们的数据的时候才去拉最新的数据，并将其更新到 Redis 缓存中，效率较低。且缓存中的数据只要存在就不再次做请求，不对数据进行更新，但是天气数据大概是每半个小时就做一次更新的，所以我们传给用户的数据可能不是较新的，数据存在一定误差。
解决方案
通过作业调度框架 Quartz 实现天气数据的自动同步。
前期工作
要实现定时拉取接口中的数据到 Redis 缓存中，需要一个城市 Id 的列表。通过对城市 Id 列表的遍历，调用 weatherDataService 中根据城市 Id 同步数据到 Redis 中的 syncDataByCityId 方法，我们就能实现所有城市数据的同步了。
城市列表的构建
由于在程序运行的过程中动态调用服务是有延时的，所以需要减少动态调用服务，因此我们将城市列表缓存到本地。
xml 文件的构建
使用 xml 文件将列表存储到本地中，需要的时候再从本地进行读取，这样会比调用第三方的服务更快。
xml 文件如下：
<?xml version=”1.0″ encoding=”UTF-8″?>
<c c1=”0″>
<d d1=”101280101″ d2=” 广州 ” d3=”guangzhou” d4=” 广东 ”/>
<d d1=”101280102″ d2=” 番禺 ” d3=”panyu” d4=” 广东 ”/>
<d d1=”101280103″ d2=” 从化 ” d3=”conghua” d4=” 广东 ”/>
<d d1=”101280104″ d2=” 增城 ” d3=”zengcheng” d4=” 广东 ”/>
<d d1=”101280105″ d2=” 花都 ” d3=”huadu” d4=” 广东 ”/>
<d d1=”101280201″ d2=” 韶关 ” d3=”shaoguan” d4=” 广东 ”/>
<d d1=”101280202″ d2=” 乳源 ” d3=”ruyuan” d4=” 广东 ”/>
<d d1=”101280203″ d2=” 始兴 ” d3=”shixing” d4=” 广东 ”/>
<d d1=”101280204″ d2=” 翁源 ” d3=”wengyuan” d4=” 广东 ”/>
<d d1=”101280205″ d2=” 乐昌 ” d3=”lechang” d4=” 广东 ”/>
<d d1=”101280206″ d2=” 仁化 ” d3=”renhua” d4=” 广东 ”/>
<d d1=”101280207″ d2=” 南雄 ” d3=”nanxiong” d4=” 广东 ”/>
<d d1=”101280208″ d2=” 新丰 ” d3=”xinfeng” d4=” 广东 ”/>
<d d1=”101280209″ d2=” 曲江 ” d3=”qujiang” d4=” 广东 ”/>
<d d1=”101280210″ d2=” 浈江 ” d3=”chengjiang” d4=” 广东 ”/>
<d d1=”101280211″ d2=” 武江 ” d3=”wujiang” d4=” 广东 ”/>
<d d1=”101280301″ d2=” 惠州 ” d3=”huizhou” d4=” 广东 ”/>
<d d1=”101280302″ d2=” 博罗 ” d3=”boluo” d4=” 广东 ”/>
<d d1=”101280303″ d2=” 惠阳 ” d3=”huiyang” d4=” 广东 ”/>
<d d1=”101280304″ d2=” 惠东 ” d3=”huidong” d4=” 广东 ”/>
<d d1=”101280305″ d2=” 龙门 ” d3=”longmen” d4=” 广东 ”/>
<d d1=”101280401″ d2=” 梅州 ” d3=”meizhou” d4=” 广东 ”/>
<d d1=”101280402″ d2=” 兴宁 ” d3=”xingning” d4=” 广东 ”/>
<d d1=”101280403″ d2=” 蕉岭 ” d3=”jiaoling” d4=” 广东 ”/>
<d d1=”101280404″ d2=” 大埔 ” d3=”dabu” d4=” 广东 ”/>
<d d1=”101280406″ d2=” 丰顺 ” d3=”fengshun” d4=” 广东 ”/>
<d d1=”101280407″ d2=” 平远 ” d3=”pingyuan” d4=” 广东 ”/>
<d d1=”101280408″ d2=” 五华 ” d3=”wuhua” d4=” 广东 ”/>
<d d1=”101280409″ d2=” 梅县 ” d3=”meixian” d4=” 广东 ”/>
<d d1=”101280501″ d2=” 汕头 ” d3=”shantou” d4=” 广东 ”/>
<d d1=”101280502″ d2=” 潮阳 ” d3=”chaoyang” d4=” 广东 ”/>
<d d1=”101280503″ d2=” 澄海 ” d3=”chenghai” d4=” 广东 ”/>
<d d1=”101280504″ d2=” 南澳 ” d3=”nanao” d4=” 广东 ”/>
<d d1=”101280601″ d2=” 深圳 ” d3=”shenzhen” d4=” 广东 ”/>
<d d1=”101280701″ d2=” 珠海 ” d3=”zhuhai” d4=” 广东 ”/>
<d d1=”101280702″ d2=” 斗门 ” d3=”doumen” d4=” 广东 ”/>
<d d1=”101280703″ d2=” 金湾 ” d3=”jinwan” d4=” 广东 ”/>
<d d1=”101280800″ d2=” 佛山 ” d3=”foshan” d4=” 广东 ”/>
<d d1=”101280801″ d2=” 顺德 ” d3=”shunde” d4=” 广东 ”/>
<d d1=”101280802″ d2=” 三水 ” d3=”sanshui” d4=” 广东 ”/>
<d d1=”101280803″ d2=” 南海 ” d3=”nanhai” d4=” 广东 ”/>
<d d1=”101280804″ d2=” 高明 ” d3=”gaoming” d4=” 广东 ”/>
<d d1=”101280901″ d2=” 肇庆 ” d3=”zhaoqing” d4=” 广东 ”/>
<d d1=”101280902″ d2=” 广宁 ” d3=”guangning” d4=” 广东 ”/>
<d d1=”101280903″ d2=” 四会 ” d3=”sihui” d4=” 广东 ”/>
<d d1=”101280905″ d2=” 德庆 ” d3=”deqing” d4=” 广东 ”/>
<d d1=”101280906″ d2=” 怀集 ” d3=”huaiji” d4=” 广东 ”/>
<d d1=”101280907″ d2=” 封开 ” d3=”fengkai” d4=” 广东 ”/>
<d d1=”101280908″ d2=” 高要 ” d3=”gaoyao” d4=” 广东 ”/>
<d d1=”101281001″ d2=” 湛江 ” d3=”zhanjiang” d4=” 广东 ”/>
<d d1=”101281002″ d2=” 吴川 ” d3=”wuchuan” d4=” 广东 ”/>
<d d1=”101281003″ d2=” 雷州 ” d3=”leizhou” d4=” 广东 ”/>
<d d1=”101281004″ d2=” 徐闻 ” d3=”xuwen” d4=” 广东 ”/>
<d d1=”101281005″ d2=” 廉江 ” d3=”lianjiang” d4=” 广东 ”/>
<d d1=”101281006″ d2=” 赤坎 ” d3=”chikan” d4=” 广东 ”/>
<d d1=”101281007″ d2=” 遂溪 ” d3=”suixi” d4=” 广东 ”/>
<d d1=”101281008″ d2=” 坡头 ” d3=”potou” d4=” 广东 ”/>
<d d1=”101281009″ d2=” 霞山 ” d3=”xiashan” d4=” 广东 ”/>
<d d1=”101281010″ d2=” 麻章 ” d3=”mazhang” d4=” 广东 ”/>
<d d1=”101281101″ d2=” 江门 ” d3=”jiangmen” d4=” 广东 ”/>
<d d1=”101281103″ d2=” 开平 ” d3=”kaiping” d4=” 广东 ”/>
<d d1=”101281104″ d2=” 新会 ” d3=”xinhui” d4=” 广东 ”/>
<d d1=”101281105″ d2=” 恩平 ” d3=”enping” d4=” 广东 ”/>
<d d1=”101281106″ d2=” 台山 ” d3=”taishan” d4=” 广东 ”/>
<d d1=”101281107″ d2=” 蓬江 ” d3=”pengjiang” d4=” 广东 ”/>
<d d1=”101281108″ d2=” 鹤山 ” d3=”heshan” d4=” 广东 ”/>
<d d1=”101281109″ d2=” 江海 ” d3=”jianghai” d4=” 广东 ”/>
<d d1=”101281201″ d2=” 河源 ” d3=”heyuan” d4=” 广东 ”/>
<d d1=”101281202″ d2=” 紫金 ” d3=”zijin” d4=” 广东 ”/>
<d d1=”101281203″ d2=” 连平 ” d3=”lianping” d4=” 广东 ”/>
<d d1=”101281204″ d2=” 和平 ” d3=”heping” d4=” 广东 ”/>
<d d1=”101281205″ d2=” 龙川 ” d3=”longchuan” d4=” 广东 ”/>
<d d1=”101281206″ d2=” 东源 ” d3=”dongyuan” d4=” 广东 ”/>
<d d1=”101281301″ d2=” 清远 ” d3=”qingyuan” d4=” 广东 ”/>
<d d1=”101281302″ d2=” 连南 ” d3=”liannan” d4=” 广东 ”/>
<d d1=”101281303″ d2=” 连州 ” d3=”lianzhou” d4=” 广东 ”/>
<d d1=”101281304″ d2=” 连山 ” d3=”lianshan” d4=” 广东 ”/>
<d d1=”101281305″ d2=” 阳山 ” d3=”yangshan” d4=” 广东 ”/>
<d d1=”101281306″ d2=” 佛冈 ” d3=”fogang” d4=” 广东 ”/>
<d d1=”101281307″ d2=” 英德 ” d3=”yingde” d4=” 广东 ”/>
<d d1=”101281308″ d2=” 清新 ” d3=”qingxin” d4=” 广东 ”/>
<d d1=”101281401″ d2=” 云浮 ” d3=”yunfu” d4=” 广东 ”/>
<d d1=”101281402″ d2=” 罗定 ” d3=”luoding” d4=” 广东 ”/>
<d d1=”101281403″ d2=” 新兴 ” d3=”xinxing” d4=” 广东 ”/>
<d d1=”101281404″ d2=” 郁南 ” d3=”yunan” d4=” 广东 ”/>
<d d1=”101281406″ d2=” 云安 ” d3=”yunan” d4=” 广东 ”/>
<d d1=”101281501″ d2=” 潮州 ” d3=”chaozhou” d4=” 广东 ”/>
<d d1=”101281502″ d2=” 饶平 ” d3=”raoping” d4=” 广东 ”/>
<d d1=”101281503″ d2=” 潮安 ” d3=”chaoan” d4=” 广东 ”/>
<d d1=”101281601″ d2=” 东莞 ” d3=”dongguan” d4=” 广东 ”/>
<d d1=”101281701″ d2=” 中山 ” d3=”zhongshan” d4=” 广东 ”/>
<d d1=”101281801″ d2=” 阳江 ” d3=”yangjiang” d4=” 广东 ”/>
<d d1=”101281802″ d2=” 阳春 ” d3=”yangchun” d4=” 广东 ”/>
<d d1=”101281803″ d2=” 阳东 ” d3=”yangdong” d4=” 广东 ”/>
<d d1=”101281804″ d2=” 阳西 ” d3=”yangxi” d4=” 广东 ”/>
<d d1=”101281901″ d2=” 揭阳 ” d3=”jieyang” d4=” 广东 ”/>
<d d1=”101281902″ d2=” 揭西 ” d3=”jiexi” d4=” 广东 ”/>
<d d1=”101281903″ d2=” 普宁 ” d3=”puning” d4=” 广东 ”/>
<d d1=”101281904″ d2=” 惠来 ” d3=”huilai” d4=” 广东 ”/>
<d d1=”101281905″ d2=” 揭东 ” d3=”jiedong” d4=” 广东 ”/>
<d d1=”101282001″ d2=” 茂名 ” d3=”maoming” d4=” 广东 ”/>
<d d1=”101282002″ d2=” 高州 ” d3=”gaozhou” d4=” 广东 ”/>
<d d1=”101282003″ d2=” 化州 ” d3=”huazhou” d4=” 广东 ”/>
<d d1=”101282004″ d2=” 电白 ” d3=”dianbai” d4=” 广东 ”/>
<d d1=”101282005″ d2=” 信宜 ” d3=”xinyi” d4=” 广东 ”/>
<d d1=”101282006″ d2=” 茂港 ” d3=”maogang” d4=” 广东 ”/>
<d d1=”101282101″ d2=” 汕尾 ” d3=”shanwei” d4=” 广东 ”/>
<d d1=”101282102″ d2=” 海丰 ” d3=”haifeng” d4=” 广东 ”/>
<d d1=”101282103″ d2=” 陆丰 ” d3=”lufeng” d4=” 广东 ”/>
<d d1=”101282104″ d2=” 陆河 ” d3=”luhe” d4=” 广东 ”/>
</c>
创建如下两个类，并且根据 xml 的内容定义其属性。
package com.demo.vo;
import javax.xml.bind.annotation.XmlAccessType;
import javax.xml.bind.annotation.XmlAccessorType;
import javax.xml.bind.annotation.XmlAttribute;
import javax.xml.bind.annotation.XmlRootElement;
@XmlRootElement(name=”d”)
@XmlAccessorType(XmlAccessType.FIELD)
public class City {
@XmlAttribute(name=”d1″)
private String cityId;
@XmlAttribute(name=”d2″)
private String cityName;
@XmlAttribute(name=”d3″)
private String cityCode;
@XmlAttribute(name=”d4″)
private String province;
public String getCityId() {
return cityId;
}
public void setCityId(String cityId) {
this.cityId = cityId;
}
public String getCityName() {
return cityName;
}
public void setCityName(String cityName) {
this.cityName = cityName;
}
public String getCityCode() {
return cityCode;
}
public void setCityCode(String cityCode) {
this.cityCode = cityCode;
}
public String getProvince() {
return province;
}
public void setProvince(String province) {
this.province = province;
}
}
package com.demo.vo;
import java.util.List;
import javax.xml.bind.annotation.XmlAccessType;
import javax.xml.bind.annotation.XmlAccessorType;
import javax.xml.bind.annotation.XmlElement;
import javax.xml.bind.annotation.XmlRootElement;
@XmlRootElement(name = “c”)
@XmlAccessorType(XmlAccessType.FIELD)
public class CityList {
@XmlElement(name = “d”)
private List<City> cityList;
public List<City> getCityList() {
return cityList;
}
public void setCityList(List<City> cityList) {
this.cityList = cityList;
}
}
引入工具类，实现将 xml 转换成 java 对象的过程。
public class XmlBuilder {
/**
* 将 XML 转为指定的 POJO
* @param clazz
* @param xmlStr
* @return
* @throws Exception
*/
public static Object xmlStrToOject(Class<?> clazz, String xmlStr) throws Exception {
Object xmlObject = null;
Reader reader = null;
JAXBContext context = JAXBContext.newInstance(clazz);
// XML 转为对象的接口
Unmarshaller unmarshaller = context.createUnmarshaller();
reader = new StringReader(xmlStr);
xmlObject = unmarshaller.unmarshal(reader);
if (null != reader) {
reader.close();
}
return xmlObject;
}
}
获取城市列表的接口
创建 CityDataService，定义获取城市列表的方法。
@Service
public class CityDataServiceImpl implements CityDataService{
@Override
public List<City> listCity() throws Exception {
Resource resource=new ClassPathResource(“citylist.xml”);
BufferedReader br=new BufferedReader(new InputStreamReader(resource.getInputStream(), “utf-8″));
StringBuffer buffer=new StringBuffer();
String line=””;
while((line=br.readLine())!=null) {
buffer.append(line);
}
br.close();
CityList cityList=(CityList)XmlBuilder.xmlStrToOject(CityList.class, buffer.toString());
return cityList.getCityList();
}
}
根据城市 Id 同步天气数据的接口
首先通过城市 Id 构建对应天气数据的 url，然后通过 restTemplate 的 getForEntity 方法发起请求，获取返回的内容后使用 set 方法将其保存到 Redis 服务器中。
@Override
public void syncDataByCityId(String cityId) {
String url=WEATHER_URI+”citykey=” + cityId;
this.saveWeatherData(url);
}
// 将天气数据保存到缓存中，不管缓存中是否存在数据
private void saveWeatherData(String url) {
// 将 url 作为天气的 key 进行保存
String key=url;
String strBody=null;
ValueOperations<String, String>ops=stringRedisTemplate.opsForValue();
// 通过客户端的 get 方法发起请求
ResponseEntity<String>respString=restTemplate.getForEntity(url, String.class);
// 判断请求状态
if(respString.getStatusCodeValue()==200) {
strBody=respString.getBody();
}
ops.set(key, strBody,TIME_OUT,TimeUnit.SECONDS);
}
Quartz 的引入
Quartz 是一个 Quartz 是一个完全由 java 编写的开源作业调度框架，在这里的功能相当于一个定时器，定时执行指定的任务。
创建同步天气数据的任务
在 Quartz 中每个任务就是一个 job，在这里我们创建一个同步天气数据的 job。
通过 cityDataService 的 listCity 方法获取 xml 文件中所有城市的列表，通过对城市列表的迭代得到所有城市的 Id，然后通过 weatherDataService 的 syncDataByCityId 方法将对应 Id 的城市天气数据更新到 Redis 缓存中
// 同步天气数据
public class WeatherDataSyncJob extends QuartzJobBean{
private final static Logger logger = LoggerFactory.getLogger(WeatherDataSyncJob.class);
@Autowired
private CityDataService cityDataService;
@Autowired
private WeatherDataService weatherDataService;
@Override
protected void executeInternal(JobExecutionContext arg0) throws JobExecutionException {
logger.info(“Weather Data Sync Job. Start！”);
// 城市 ID 列表
List<City>cityList=null;
try {
// 获取 xml 中的城市 ID 列表
cityList=cityDataService.listCity();
} catch (Exception e) {
// e.printStackTrace();
logger.error(“Exception!”, e);
}
// 遍历所有城市 ID 获取天气
for(City city:cityList) {
String cityId=city.getCityId();
logger.info(“Weather Data Sync Job, cityId:” + cityId);
// 实现根据 cityid 定时同步天气数据到缓存中
weatherDataService.syncDataByCityId(cityId);
}
logger.info(“Weather Data Sync Job. End！”);
}
}
配置 Quartz
TIME 设置的是更新的频率，表示每隔 TIME 秒就执行任务一次。
@Configuration
public class QuartzConfiguration {
private static final int TIME = 1800; // 更新频率
// JobDetail
@Bean
public JobDetail weatherDataSyncJobDetail() {
return JobBuilder.newJob(WeatherDataSyncJob.class).withIdentity(“weatherDataSyncJob”)
.storeDurably().build();
}
// Trigger
@Bean
public Trigger weatherDataSyncTrigger() {
SimpleScheduleBuilder schedBuilder = SimpleScheduleBuilder.simpleSchedule()
.withIntervalInSeconds(TIME).repeatForever();
return TriggerBuilder.newTrigger().forJob(weatherDataSyncJobDetail())
.withIdentity(“weatherDataSyncTrigger”).withSchedule(schedBuilder).build();
}
}
测试结果
天气数据同步结果
