柑橘是我国南方的主要经济作物，柑橘受地理气候环境等影响难以避免出现周期性的病虫害，造成大面积减产和质量问题，实施精准病虫害检测防治工作显得尤为重要。因此，文章提出了改进Faster RCNN网络模型，在RPN网络中融入FPN特征金字塔网络，提高不同尺度的分类预测效率，在全连接分类网络中加入位置敏感特性的vote机制，对位置和分类进行设定提高边框定位的准确率；实验结果设置优mAP检测精度、recall精度、IOU边框损失、目标检测准确度、分类识别等性能方面进行测试，得出改进后的Faster RCNN模型的总体检测性能、柑橘病虫害检测准确率、柑橘病虫害识别准确率的明显提高。