共计 941 个字符,预计需要花费 3 分钟才能阅读完成。
机器学习模型的训练和预测经常是在不同的时间点进行,在工程实现中,一般训练和预测都是在不同的子工程里面进行,训练子工程训练模型后存储到 hive,之后预测子工程项目再将模型重 hive 中 load 出来进行预测
1. 模型存储到 hive
存储很简单,将要存储的模型调用如下 spark 的序列化方法 def serialize(spark: SparkSession) 序列化后再转换拼装成 sql,然后执行 spark.sql(insertSQL) 即可,如下
case class ModleToHive(modelBizType: String,
data: String)
def save(modelUID: String): Unit = {
val instance = ModleToHive(
modelUID,
modelBizType,
model.serialize(spark))val instDf = Seq(instance).toDF()
instDf.createOrReplaceTempView("model")
var sqlString = s"insert into modelTable select modelUID as modelUID, modelBizType as modelBizType, data as saved_model"
sqlString = sqlString + "from model"
spark.sql(sqlString).collect()
这样模型就存储到 hive 了
2. 从 hive 仓库 load 模型并反序列化
val sqlString = s"select saved_model from modelTable where modelUID=modelUID"
val modelHexBinary = spark.sql(sqlString).first()
val ser = new KryoSerializer(sparkConf).newInstance()
val byteBuffer = ByteBuffer.wrap(DatatypeConverter.parseHexBinary(modelHexBinary.getString(0)))
ser.deserialize[T](byteBuffer)
这样模型就又反序列化出来了,可用于预测了
正文完