前言
后面在本地的windows通过apache的ab工具测试了600并发下“查问指定手机是否存在再提交数据”的注册性能会呈现反复提交的状况，并且在注册实现时还须要对邀请人进行处分，记录邀请记录，对该新用户主动公布动静信息，发短信或发邮件等其余业务性能。所以这里当并发时，注册性能就变得低效且容易呈现问题。
办法
先对反复提交的问题通过redis解决，再把注册贮存用户根本信息当前的操作放到队列中进行异步执行，能够很好的优化注册性能，进步QPS。
一、环境要求
PHP版本 >= 5.6.0
PHP框架：Thinkphp5.1.*
音讯队列：Think-queue2.0
PHP扩大：Redis
二、下载框架和音讯队列中间件
- 下载tp5.1。composer create-project topthink/think=5.1.* tp5 --prefer-dist
- 装置think-queue。composer require topthink/think-queue
- php装置redis扩大和关上redis服务端和客户端。
三、解决注册反复提交
配置文件中cache设置为redis驱动，并新建控制器因为cache相干命名空间。
use think\Exception;use think\facade\Cache;use think\facade\Env;use think\Queue;- 应用无序汇合存手机号，通过判断以后手机号是否是在指定键里为成员(如果注册存入数据库失败，通过sRem删除该成员)，而后再通过查询数据库判断是否存在。
private $cache;private $handler;// 实例化redispublic function __construct() { $this->cache = Cache::init(); $this->handler = $this->cache->handler();}// 判断手机号是否在汇合中$is_existe = $this->handler->sIsMember("register:mobile",$mobile);if(!$is_existe) { $this->handler->sAdd("register:mobile",$mobile);}else { //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号已存在'); var_dump('手机号已存在'); // 用户已存在 die;}// 查问手机号码是否已注册$user = db('user')->field('mobile')->where('mobile', $mobile)->find();if ($user) { //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号注册了'); var_dump('手机号已注册'); // 用户已存在 die;} 四、音讯队列合成注册性能
- 配置音讯队列，前面以redis驱动为例。
<?phpreturn [ 'connector' => 'Redis', // Redis 驱动 'expire' => 60, // 工作的过期工夫，默认为60秒; 若要禁用，则设置为 null 'default' => 'default', // 默认的队列名称 'host' => '127.0.0.1', // redis 主机ip 'port' => 6379, // redis 端口 'password' => '', // redis 明码 'select' => 0, // 应用哪一个 db，默认为 db0 'timeout' => 0, // redis连贯的超时工夫 'persistent' => false, // 是否是长连贯 // 'connector' => 'Database', // 数据库驱动 // 'expire' => 60, // 工作的过期工夫，默认为60秒; 若要禁用，则设置为 null // 'default' => 'default', // 默认的队列名称 // 'table' => 'jobs', // 存储音讯的表名，不带前缀 // 'dsn' => [], // 'connector' => 'Topthink', // ThinkPHP外部的队列告诉服务平台 ，本文不作介绍 // 'token' => '', // 'project_id' => '', // 'protocol' => 'https', // 'host' => 'qns.topthink.com', // 'port' => 443, // 'api_version' => 1, // 'max_retries' => 3, // 'default' => 'default',// 'connector' => 'Sync', // Sync 驱动，该驱动的理论作用是勾销音讯队列，还原为同步执行];- 实现增加新用户后将指定数据退出音讯队列。
<?phpnamespace app\index\controller;use think\Db;use think\Validate;use think\Exception;use think\facade\Cache;use think\facade\Env;use think\Queue;use think\Log;class Index{ private $cache; private $handler; public function __construct() { $this->cache = Cache::init(); $this->handler = $this->cache->handler(); } public function index() { $data = input('post.'); unset($data['balance']); unset($data['credit']); // $blacklist = [ // "18124198164","13401363108","17688552009","15089352898","13602940094","13346643336","13181351655","18301123028","13598020751","13014568187", // "13428733909","17337991130","13275342497" // ]; $rule = [ 'mobile' => 'require|number|length:11', 'password' => 'require|length:6,32', ]; $msg = [ 'mobile.require' => '手机号必须', 'mobile.length' => '手机号为11位数字', 'mobile.number' => '手机号为11位数字', 'password.require' => '明码必须', 'password.length' => '明码为6-12位之间', ]; //验证数据是否非法 $mobile = isset($data['mobile']) ? $data['mobile'] : ''; $validate = new Validate($rule, $msg); $result = $validate->check($data); if (!$result) { var_dump($validate->getError()); die; } // if(in_array($mobile,$blacklist)) { // var_dump('该手机号已注册了'); // 黑名单 // die; // } // 判断手机号是否在汇合中 $is_existe = $this->handler->sIsMember("register:mobile",$mobile); if(!$is_existe) { $this->handler->sAdd("register:mobile",$mobile); }else { //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号已存在'); var_dump('手机号已存在'); // 用户已存在 die; } // 查问手机号码是否已注册 $user = db('user')->field('mobile')->where('mobile', $mobile)->find(); if ($user) { //Log::write('---压力测试'.date("Y-m-d h:i:s").'---手机号注册了'); var_dump('手机号已注册'); // 用户已存在 die; } // 用户不存在注册 // $data['id'] = getNewUserid(); $data['no'] = date("Ymdhis").rand(100, 999); $data['avatar'] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_h.png'; $data['password'] = md5($data['password']); $randomNickname = date("Ymdhis").rand(100, 999); $data['nickname'] = 'rm_' . $randomNickname; $data['create_time'] = time(); $data['type'] = 1; /***是否存在邀请人的跑步钱进号***/ if(isset($data['pbqj_no']) && !empty($data['pbqj_no'])) { $inviter = db('user')->field('id')->where(["no"=>$data['pbqj_no']])->find(); if($inviter) { $data['inviter_id'] = $inviter['id']; } } /***是否存在邀请人的跑步钱进号***/ unset($data['pbqj_no']); $userid = db('user')->insertGetId($data); if ($userid) { /******************退出音讯队列异步解决后续操作*******************/ // 1.当前任务将由哪个类来负责解决。 // 当轮到该工作时，零碎将生成一个该类的实例，并调用其 fire 办法 $jobHandlerClassName = 'app\index\job\JobUser'; // 2.当前任务归属的队列名称，如果为新队列，会主动创立 $jobQueueName = "userJobQueue"; // 3.当前任务所需的业务数据 . 不能为 resource 类型，其余类型最终将转化为json模式的字符串 // ( jobData 为对象时，须要在先在此处手动序列化，否则只存储其public属性的键值对) //$jobData = ['ts' => time(), 'bizId' => uniqid() , 'a' => 1]; $jobData = ['userid'=>$userid,'time'=>time(),'mobile'=>$mobile,'inviterid'=>(isset($data['inviter_id']) ? $data['inviter_id'] : 0)]; // 4.将该工作推送到音讯队列，期待对应的消费者去执行 $isPushed = Queue::push($jobHandlerClassName , $jobData , $jobQueueName); // database 驱动时，返回值为 1|false ; redis 驱动时，返回值为 随机字符串|false if($isPushed !== false) { var_dump('退出队列胜利'); die; //Log::write('-----------退出音讯队列胜利-----------'); //echo date('Y-m-d H:i:s') . " a new Hello Job is Pushed to the MQ"."<br>"; }else{ var_dump('退出音讯队列'); die; //Log::write('-----------退出音讯队列失败-----------'); //echo 'Oops, something went wrong.'; } /******************退出音讯队列异步解决后续操作*******************/ $res['id'] = $userid; $res['no'] = $data['no']; // // token解决类 // $accessToken = new AccessToken(); // $accessToken = $accessToken->getToken($userid); // if (empty($accessToken)) { // //Log::write('---压力测试'.date("Y-m-d h:i:s").'---秘钥生成失败'); // var_dump('秘钥生成失败'); // } else { // $res['user_token'] = $accessToken; // } // if (method_exists(\chat\User::class, 'getToken')) { // $chat_token = \chat\User::getToken($res['id'], $data['nickname'], $data['avatar']); // if (!$chat_token) { // //Log::write('---压力测试'.date("Y-m-d h:i:s").'---聊天秘钥生成失败'); // var_dump('聊天秘钥生成失败'); // } else { // $res['chat_token'] = $chat_token; // } // } else { // $res['chat_token'] = ''; // } //Log::write('---压力测试'.date("Y-m-d h:i:s").'---注册胜利'); var_dump($res); die; } else { //Log::write('---压力测试'.date("Y-m-d h:i:s").'---数据库谬误'); $this->handler->sRem("register:mobile",$mobile); var_dump('数据库谬误'); die; } } public function hello($name = 'ThinkPHP5') { return 'hello,' . $name; }}- 创立消费者(job)，对执行队列中的工作。
(1). 在同一模块下新建job文件夹和一个执行类(JobUser), 须要对应生产者中jobHandlerClassName。
(2). 后面执行完队列退出胜利后，能够本地应用redis客户端通过lrange queues:userJobQueue 0 -1 查看队列成员 (queues:userJobQueue中,userJobQueue是本人在退出队列前本人起的队列名称，与queues: 拼接就是redis的list的键名，所以能够间接查看 )。
(3).队列中的data就是本人传递的数据，前面须要在消费者中通过该数据进行注册性能后的业务操作: 送处分，存储邀请记录，发动静，发短信，发邮件等等。
<?phpnamespace app\index\job;use think\queue\Job;use think\Db;use think\Exception;use think\facade\Cache;use think\facade\Env;class JobUser { private $cache; private $handler; public function __construct() { $this->cache = Cache::init(); $this->handler = $this->cache->handler(); } /** * fire办法是音讯队列默认调用的办法 * @param Job $job 以后的工作对象 * @param array|mixed $data 公布工作时自定义的数据 */ public function fire(Job $job,$data) { $job->delete(); //print("hahah\n"); // print("<info>The user already exists "."</info>\n"); // exit(); if(empty($data) || empty($data['userid']) || empty($data['mobile'])) { $job->delete(); print("canshu buzu\n"); return; } // 如有必要,能够依据业务需要和数据库中的最新数据,判断该工作是否仍有必要执行. $isJobStillNeedToBeDone = $this->checkDatabaseToSeeIfJobNeedToBeDone($data); if(!$isJobStillNeedToBeDone) { print("hahah\n"); $job->delete(); return; } $isJobDone = $this->doHelloJob($data); if ($isJobDone) { //如果工作执行胜利， 记得删除工作 $job->delete(); print("<info>Hello Job has been done and deleted"."</info>\n"); }else{ if ($job->attempts() > 3) { //通过这个办法能够查看这个工作曾经重试了几次了 print("<warn>Hello Job has been retried more than 3 times!"."</warn>\n"); //$job->delete(); // 也能够从新公布这个工作 //print("<info>Hello Job will be availabe again after 2s."."</info>\n"); //$job->release(2); //$delay为延迟时间，示意该工作提早2秒后再执行 } } } /** * 有些音讯在达到消费者时,可能曾经不再须要执行了 * @param array|mixed $data 公布工作时自定义的数据 * @return boolean 工作执行的后果 */ private function checkDatabaseToSeeIfJobNeedToBeDone($data) { // 判断手机缓存汇合中是否存在 // $is_existe = $this->handler->sIsMember("register:mobile",$data['mobile']); // if($is_existe) { // return false; // } // // 查问以后用户是否在数据库中存在 // $userinfo = Db::name('user')->field('id')->where('id',$data['userid'])->find(); // if($userinfo) { // return false; // } return true; } /** * 依据音讯中的数据进行理论的业务解决 * @param array|mixed $data 公布工作时自定义的数据 * @return boolean 工作执行的后果 */ private function doHelloJob($data) { try{ if(isset($data['inviterid']) && !empty($data['inviterid'])) { // 增加邀请记录 $res_record = Db::name('user_inviter') ->insert([ 'inviterid' => $data['inviterid'], 'userid' => $data['userid'], 'code' => $data['inviterid'] . 'T' . $data['userid'], 'create_time' => $data['time'], ]); // 给邀请人赠送300步币 Db::name('user_credit') ->insert([ 'userid' => $data['inviterid'], 'type' => 1, 'credit' => 300, 'source' => $res_record, 'create_time' => $data['time'] ]); // 更新邀请人步币（用户表） Db::name('user')->where('id', $data['inviterid'])->setInc('credit', 300); } { // 注册胜利发表动静 $dynamic_data['userid'] = $data['userid']; $dynamic_data['dynamic'] = base64_encode('号外！号外！我退出跑步钱进了，大家一起走路领红包吧！'); $dynamic_data['images'][] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_d.png'; $dynamic_data['images'] = serialize($dynamic_data['images']); $dynamic_data['create_time'] = $data['time']; $result = Db::name('dynamic')->insert($dynamic_data); } }catch(\Exception $e) { Log::write('---执行音讯队列出错---'.$e->getMessage()); return false; } return true; // 依据音讯中的数据进行理论的业务解决... //var_dump($data);// print("<info>Hello Job Started. job Data is: ".var_export($data,true)."</info> \n");// print("<info>Hello Job is Fired at " . date('Y-m-d H:i:s') ."</info> \n");// print("<info>Hello Job is Done!"."</info> \n"); //return true; } /** * 该办法用于接管工作执行失败的告诉，你能够发送邮件给相应的负责人员 * @param $jobData string|array|... //公布工作时传递的 jobData 数据 */ public function failed($jobData) { //send_mail_to_somebody() ; print("Warning: Job failed after max retries. job data is :".var_export($jobData,true)."\n"); }}(4). 设置工作执行失败后的解决，比方记录日志或发邮件给开发者。
a. 在tags.php中配置失败后执行了类。
<?php// 利用行为扩大定义文件return [ // 利用初始化 'app_init' => [], // 利用开始 'app_begin' => [], // 模块初始化 'module_init' => [], // 操作开始执行 'action_begin' => [], // 视图内容过滤 'view_filter' => [], // 日志写入 'log_write' => [], // 利用完结 'app_end' => [], 'queue_failed' => [ // 数组模式，[ 'ClassName' , 'methodName'] ['application\\behavior\\MyQueueFailedLogger', 'logAllFailedQueues'] // 字符串(静态方法)，'StaicClassName::methodName' // 'MyQueueFailedLogger::logAllFailedQueues' // 字符串(对象办法)，'ClassName'，此时需在对应的ClassName类中增加一个名为 queueFailed 的办法 // 'application\\behavior\\MyQueueFailedLogger' // 闭包模式 /* function( &$jobObject , $extra){ // var_dump($jobObject); return true; } */ ], ];b. 在application目录下创立工作谬误执行后的解决脚本，依据业务需要自定。
<?phpnamespace app\behavior;use think\Db;class MyQueueFailedLogger{ const should_run_hook_callback = true; /** * @param $jobObject \think\queue\Job //工作对象，保留了该工作的执行状况和业务数据 * @return bool true //是否须要删除工作并触发其failed() 办法 */ public function logAllFailedQueues(&$jobObject) { $failedJobLog = [ 'jobHandlerClassName' => $jobObject->getName(), // 'application\index\job\Hello' 'queueName' => $jobObject->getQueue(), // 'helloJobQueue' 'jobData' => $jobObject->getRawBody()['data'], // '{'a': 1 }' 'attempts' => $jobObject->attempts(), // 3 ]; var_export(json_encode($failedJobLog,true)); $data = [ "content" => json_encode($failedJobLog,true), "create_time" => time(), ]; Db::name('ztest')->insertGetId($data); // $jobObject->release(); //重发工作 //$jobObject->delete(); //删除工作 //$jobObject->failed(); //告诉消费者类工作执行失败 return self::should_run_hook_callback; }}五、通过命令运行音讯队列，以下以windows举栗
- cmd进入以后我的项目, 而后输出 "php think queue:listen --queue userJobQueue" (userJobQueue是本人的队列名)。
- 也能够在我的项目的根目录创立bat文件，文件写入"php think queue:listen --queue userJobQueue"，保留只需双击就能够执行。
六、测试
后果应用了音讯队列后，同样610的并发，应用工夫就缩短了