前言
后面在本地的 windows 通过 apache 的 ab 工具测试了 600 并发下“查问指定手机是否存在再提交数据”的注册性能会呈现反复提交的状况，并且在注册实现时还须要对邀请人进行处分，记录邀请记录，对该新用户主动公布动静信息，发短信或发邮件等其余业务性能。所以这里当并发时，注册性能就变得低效且容易呈现问题。
办法
先对反复提交的问题通过 redis 解决，再把注册贮存用户根本信息当前的操作放到队列中进行异步执行，能够很好的优化注册性能，进步 QPS。
一、环境要求
PHP 版本 >= 5.6.0
PHP 框架：Thinkphp5.1.*
音讯队列：Think-queue2.0
PHP 扩大：Redis
二、下载框架和音讯队列中间件
- 下载 tp5.1。composer create-project topthink/think=5.1.* tp5 –prefer-dist
- 装置 think-queue。composer require topthink/think-queue
- php 装置 redis 扩大和关上 redis 服务端和客户端。
三、解决注册反复提交
-
配置文件中 cache 设置为 redis 驱动，并新建控制器因为 cache 相干命名空间。
use think\Exception; use think\facade\Cache; use think\facade\Env; use think\Queue; - 应用无序汇合存手机号，通过判断以后手机号是否是在指定键里为成员 (如果注册存入数据库失败，通过 sRem 删除该成员)，而后再通过查询数据库判断是否存在。
private $cache;
private $handler;
// 实例化 redis
public function __construct() {$this->cache = Cache::init();
$this->handler = $this->cache->handler();}
// 判断手机号是否在汇合中
$is_existe = $this->handler->sIsMember("register:mobile",$mobile);
if(!$is_existe) {$this->handler->sAdd("register:mobile",$mobile);
}else {//Log::write('--- 压力测试'.date("Y-m-d h:i:s").'--- 手机号已存在');
var_dump('手机号已存在'); // 用户已存在
die;
}
// 查问手机号码是否已注册
$user = db('user')->field('mobile')->where('mobile', $mobile)->find();
if ($user) {//Log::write('--- 压力测试'.date("Y-m-d h:i:s").'--- 手机号注册了');
var_dump('手机号已注册'); // 用户已存在
die;
} 四、音讯队列合成注册性能
- 配置音讯队列，前面以 redis 驱动为例。
<?php
return [
'connector' => 'Redis', // Redis 驱动
'expire' => 60, // 工作的过期工夫，默认为 60 秒; 若要禁用，则设置为 null
'default' => 'default', // 默认的队列名称
'host' => '127.0.0.1', // redis 主机 ip
'port' => 6379, // redis 端口
'password' => '', // redis 明码'select'=> 0, // 应用哪一个 db，默认为 db0'timeout'=> 0, // redis 连贯的超时工夫'persistent' => false, // 是否是长连贯
// 'connector' => 'Database', // 数据库驱动
// 'expire' => 60, // 工作的过期工夫，默认为 60 秒; 若要禁用，则设置为 null
// 'default' => 'default', // 默认的队列名称
// 'table' => 'jobs', // 存储音讯的表名，不带前缀
// 'dsn' => [],
// 'connector' => 'Topthink', // ThinkPHP 外部的队列告诉服务平台，本文不作介绍
// 'token' => '',
// 'project_id' => '',
// 'protocol' => 'https',
// 'host' => 'qns.topthink.com',
// 'port' => 443,
// 'api_version' => 1,
// 'max_retries' => 3,
// 'default' => 'default',
// 'connector' => 'Sync', // Sync 驱动，该驱动的理论作用是勾销音讯队列，还原为同步执行
];- 实现增加新用户后将指定数据退出音讯队列。
<?php
namespace app\index\controller;
use think\Db;
use think\Validate;
use think\Exception;
use think\facade\Cache;
use think\facade\Env;
use think\Queue;
use think\Log;
class Index
{
private $cache;
private $handler;
public function __construct() {$this->cache = Cache::init();
$this->handler = $this->cache->handler();}
public function index()
{$data = input('post.');
unset($data['balance']);
unset($data['credit']);
// $blacklist = [
// "18124198164","13401363108","17688552009","15089352898","13602940094","13346643336","13181351655","18301123028","13598020751","13014568187",
// "13428733909","17337991130","13275342497"
// ];
$rule = [
'mobile' => 'require|number|length:11',
'password' => 'require|length:6,32',
];
$msg = [
'mobile.require' => '手机号必须',
'mobile.length' => '手机号为 11 位数字',
'mobile.number' => '手机号为 11 位数字',
'password.require' => '明码必须',
'password.length' => '明码为 6 -12 位之间',
];
// 验证数据是否非法
$mobile = isset($data['mobile']) ? $data['mobile'] : '';
$validate = new Validate($rule, $msg);
$result = $validate->check($data);
if (!$result) {var_dump($validate->getError());
die;
}
// if(in_array($mobile,$blacklist)) {// var_dump('该手机号已注册了'); // 黑名单
// die;
// }
// 判断手机号是否在汇合中
$is_existe = $this->handler->sIsMember("register:mobile",$mobile);
if(!$is_existe) {$this->handler->sAdd("register:mobile",$mobile);
}else {//Log::write('--- 压力测试'.date("Y-m-d h:i:s").'--- 手机号已存在');
var_dump('手机号已存在'); // 用户已存在
die;
}
// 查问手机号码是否已注册
$user = db('user')->field('mobile')->where('mobile', $mobile)->find();
if ($user) {//Log::write('--- 压力测试'.date("Y-m-d h:i:s").'--- 手机号注册了');
var_dump('手机号已注册'); // 用户已存在
die;
}
// 用户不存在注册
// $data['id'] = getNewUserid();
$data['no'] = date("Ymdhis").rand(100, 999);
$data['avatar'] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_h.png';
$data['password'] = md5($data['password']);
$randomNickname = date("Ymdhis").rand(100, 999);
$data['nickname'] = 'rm_' . $randomNickname;
$data['create_time'] = time();
$data['type'] = 1;
/*** 是否存在邀请人的跑步钱进号 ***/
if(isset($data['pbqj_no']) && !empty($data['pbqj_no'])) {$inviter = db('user')->field('id')->where(["no"=>$data['pbqj_no']])->find();
if($inviter) {$data['inviter_id'] = $inviter['id'];
}
}
/*** 是否存在邀请人的跑步钱进号 ***/
unset($data['pbqj_no']);
$userid = db('user')->insertGetId($data);
if ($userid) {
/****************** 退出音讯队列异步解决后续操作 *******************/
// 1. 当前任务将由哪个类来负责解决。// 当轮到该工作时，零碎将生成一个该类的实例，并调用其 fire 办法
$jobHandlerClassName = 'app\index\job\JobUser';
// 2. 当前任务归属的队列名称，如果为新队列，会主动创立
$jobQueueName = "userJobQueue";
// 3. 当前任务所需的业务数据 . 不能为 resource 类型，其余类型最终将转化为 json 模式的字符串
// (jobData 为对象时，须要在先在此处手动序列化，否则只存储其 public 属性的键值对)
//$jobData = ['ts' => time(), 'bizId' => uniqid() , 'a' => 1];
$jobData = ['userid'=>$userid,'time'=>time(),'mobile'=>$mobile,'inviterid'=>(isset($data['inviter_id']) ? $data['inviter_id'] : 0)];
// 4. 将该工作推送到音讯队列，期待对应的消费者去执行
$isPushed = Queue::push($jobHandlerClassName , $jobData , $jobQueueName);
// database 驱动时，返回值为 1|false ; redis 驱动时，返回值为 随机字符串 |false
if($isPushed !== false) {var_dump('退出队列胜利');
die;
//Log::write('----------- 退出音讯队列胜利 -----------');
//echo date('Y-m-d H:i:s') . "a new Hello Job is Pushed to the MQ"."<br>";
}else{var_dump('退出音讯队列');
die;
//Log::write('----------- 退出音讯队列失败 -----------');
//echo 'Oops, something went wrong.';
}
/****************** 退出音讯队列异步解决后续操作 *******************/
$res['id'] = $userid;
$res['no'] = $data['no'];
// // token 解决类
// $accessToken = new AccessToken();
// $accessToken = $accessToken->getToken($userid);
// if (empty($accessToken)) {// //Log::write('--- 压力测试'.date("Y-m-d h:i:s").'--- 秘钥生成失败');
// var_dump('秘钥生成失败');
// } else {// $res['user_token'] = $accessToken;
// }
// if (method_exists(\chat\User::class, 'getToken')) {// $chat_token = \chat\User::getToken($res['id'], $data['nickname'], $data['avatar']);
// if (!$chat_token) {// //Log::write('--- 压力测试'.date("Y-m-d h:i:s").'--- 聊天秘钥生成失败');
// var_dump('聊天秘钥生成失败');
// } else {// $res['chat_token'] = $chat_token;
// }
// } else {// $res['chat_token'] = '';
// }
//Log::write('--- 压力测试'.date("Y-m-d h:i:s").'--- 注册胜利');
var_dump($res);
die;
} else {//Log::write('--- 压力测试'.date("Y-m-d h:i:s").'--- 数据库谬误');
$this->handler->sRem("register:mobile",$mobile);
var_dump('数据库谬误');
die;
}
}
public function hello($name = 'ThinkPHP5')
{return 'hello,' . $name;}
}
- 创立消费者 (job)，对执行队列中的工作。
(1). 在同一模块下新建 job 文件夹和一个执行类 (JobUser), 须要对应生产者中 jobHandlerClassName。
(2). 后面执行完队列退出胜利后，能够本地应用 redis 客户端通过 lrange queues:userJobQueue 0 -1 查看队列成员 (queues:userJobQueue 中,userJobQueue 是本人在退出队列前本人起的队列名称，与 queues: 拼接就是 redis 的 list 的键名，所以能够间接查看)。(3). 队列中的 data 就是本人传递的数据，前面须要在消费者中通过该数据进行注册性能后的业务操作: 送处分，存储邀请记录，发动静，发短信，发邮件等等。
<?php
namespace app\index\job;
use think\queue\Job;
use think\Db;
use think\Exception;
use think\facade\Cache;
use think\facade\Env;
class JobUser {
private $cache;
private $handler;
public function __construct()
{$this->cache = Cache::init();
$this->handler = $this->cache->handler();}
/**
* fire 办法是音讯队列默认调用的办法
* @param Job $job 以后的工作对象
* @param array|mixed $data 公布工作时自定义的数据
*/
public function fire(Job $job,$data) {$job->delete();
//print("hahah\n");
// print("<info>The user already exists"."</info>\n");
// exit();
if(empty($data) || empty($data['userid']) || empty($data['mobile'])) {$job->delete();
print("canshu buzu\n");
return;
}
// 如有必要, 能够依据业务需要和数据库中的最新数据, 判断该工作是否仍有必要执行.
$isJobStillNeedToBeDone = $this->checkDatabaseToSeeIfJobNeedToBeDone($data);
if(!$isJobStillNeedToBeDone) {print("hahah\n");
$job->delete();
return;
}
$isJobDone = $this->doHelloJob($data);
if ($isJobDone) {
// 如果工作执行胜利，记得删除工作
$job->delete();
print("<info>Hello Job has been done and deleted"."</info>\n");
}else{if ($job->attempts() > 3) {
// 通过这个办法能够查看这个工作曾经重试了几次了
print("<warn>Hello Job has been retried more than 3 times!"."</warn>\n");
//$job->delete();
// 也能够从新公布这个工作
//print("<info>Hello Job will be availabe again after 2s."."</info>\n");
//$job->release(2); //$delay 为延迟时间，示意该工作提早 2 秒后再执行
}
}
}
/**
* 有些音讯在达到消费者时, 可能曾经不再须要执行了
* @param array|mixed $data 公布工作时自定义的数据
* @return boolean 工作执行的后果
*/
private function checkDatabaseToSeeIfJobNeedToBeDone($data) {
// 判断手机缓存汇合中是否存在
// $is_existe = $this->handler->sIsMember("register:mobile",$data['mobile']);
// if($is_existe) {
// return false;
// }
// // 查问以后用户是否在数据库中存在
// $userinfo = Db::name('user')->field('id')->where('id',$data['userid'])->find();
// if($userinfo) {
// return false;
// }
return true;
}
/**
* 依据音讯中的数据进行理论的业务解决
* @param array|mixed $data 公布工作时自定义的数据
* @return boolean 工作执行的后果
*/
private function doHelloJob($data) {
try{if(isset($data['inviterid']) && !empty($data['inviterid'])) {
// 增加邀请记录
$res_record = Db::name('user_inviter')
->insert(['inviterid' => $data['inviterid'],
'userid' => $data['userid'],
'code' => $data['inviterid'] . 'T' . $data['userid'],
'create_time' => $data['time'],
]);
// 给邀请人赠送 300 步币
Db::name('user_credit')
->insert(['userid' => $data['inviterid'],
'type' => 1,
'credit' => 300,
'source' => $res_record,
'create_time' => $data['time']
]);
// 更新邀请人步币（用户表）Db::name('user')->where('id', $data['inviterid'])->setInc('credit', 300);
}
{ // 注册胜利发表动静
$dynamic_data['userid'] = $data['userid'];
$dynamic_data['dynamic'] = base64_encode('号外！号外！我退出跑步钱进了，大家一起走路领红包吧！');
$dynamic_data['images'][] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_d.png';
$dynamic_data['images'] = serialize($dynamic_data['images']);
$dynamic_data['create_time'] = $data['time'];
$result = Db::name('dynamic')->insert($dynamic_data);
}
}catch(\Exception $e) {Log::write('--- 执行音讯队列出错 ---'.$e->getMessage());
return false;
}
return true;
// 依据音讯中的数据进行理论的业务解决...
//var_dump($data);
// print("<info>Hello Job Started. job Data is:".var_export($data,true)."</info> \n");
// print("<info>Hello Job is Fired at" . date('Y-m-d H:i:s') ."</info> \n");
// print("<info>Hello Job is Done!"."</info> \n");
//return true;
}
/**
* 该办法用于接管工作执行失败的告诉，你能够发送邮件给相应的负责人员
* @param $jobData string|array|... // 公布工作时传递的 jobData 数据
*/
public function failed($jobData) {//send_mail_to_somebody() ;
print("Warning: Job failed after max retries. job data is :".var_export($jobData,true)."\n");
}
}(4). 设置工作执行失败后的解决，比方记录日志或发邮件给开发者。
a. 在 tags.php 中配置失败后执行了类。
<?php
// 利用行为扩大定义文件
return [
// 利用初始化
'app_init' => [],
// 利用开始
'app_begin' => [],
// 模块初始化
'module_init' => [],
// 操作开始执行
'action_begin' => [],
// 视图内容过滤
'view_filter' => [],
// 日志写入
'log_write' => [],
// 利用完结
'app_end' => [],
'queue_failed' => [// 数组模式，[ 'ClassName' , 'methodName']
['application\\behavior\\MyQueueFailedLogger', 'logAllFailedQueues']
// 字符串 (静态方法)，'StaicClassName::methodName'
// 'MyQueueFailedLogger::logAllFailedQueues'
// 字符串 (对象办法)，'ClassName'，此时需在对应的 ClassName 类中增加一个名为 queueFailed 的办法
// 'application\\behavior\\MyQueueFailedLogger'
// 闭包模式
/*
function(&$jobObject , $extra){// var_dump($jobObject);
return true;
}
*/
],
];
b. 在 application 目录下创立工作谬误执行后的解决脚本，依据业务需要自定。
<?php
namespace app\behavior;
use think\Db;
class MyQueueFailedLogger
{
const should_run_hook_callback = true;
/**
* @param $jobObject \think\queue\Job // 工作对象，保留了该工作的执行状况和业务数据
* @return bool true // 是否须要删除工作并触发其 failed() 办法
*/
public function logAllFailedQueues(&$jobObject) {
$failedJobLog = ['jobHandlerClassName' => $jobObject->getName(), // 'application\index\job\Hello'
'queueName' => $jobObject->getQueue(), // 'helloJobQueue'
'jobData' => $jobObject->getRawBody()['data'], // '{'a': 1}'
'attempts' => $jobObject->attempts(), // 3];
var_export(json_encode($failedJobLog,true));
$data = ["content" => json_encode($failedJobLog,true),
"create_time" => time(),];
Db::name('ztest')->insertGetId($data);
// $jobObject->release(); // 重发工作
//$jobObject->delete(); // 删除工作
//$jobObject->failed(); // 告诉消费者类工作执行失败
return self::should_run_hook_callback;
}
}五、通过命令运行音讯队列，以下以 windows 举栗
- cmd 进入以后我的项目, 而后输出 “php think queue:listen –queue userJobQueue” (userJobQueue 是本人的队列名)。
- 也能够在我的项目的根目录创立 bat 文件，文件写入 ”php think queue:listen –queue userJobQueue”，保留只需双击就能够执行。
六、测试
后果应用了音讯队列后，同样 610 的并发，应用工夫就缩短了