发基于智能手机的城市建筑震动响应智能感知技术、基于智能手机和无人机的建筑结构内外部地震损伤的计算机视觉识别技术，全面获得城市建筑群结构地震损伤的多源多尺度大数据信息；融合课题二至课题四研发的基于MEMS传感器监测数据的建筑结构震害风险评估结果，以及智能手机/无人机智能感知技术获得的城市建筑群震害信息，更为准确全面地评估城市建筑群地震灾情；建立城市建筑群地震灾害风险感知与灾情评估可视化平台，并在9个城市开展示范应用；编制相关技术标准，指导我国城市地震灾情智能感知系统建设和推广应用。
1.研究目标
为了更为全面掌握城市建筑群地震灾情，研发基于智能手机和无人机的建筑结构地震震动响应和震后结构内外部损伤图像信息的智能感知技术，获取城市建筑群震害多尺度全方位信息；研发融合MEMS传感器和智能感知技术获取信息的建筑结构震害评估技术，更为准确、全面地评估城市建筑群地震灾情。基于物联网和云平台等信息技术，研发城市建筑群地震灾害风险在线监测、评估与预警的可视化平台，开展项目工程示范应用，编制相关技术标准，规范项目研究成果的推广和应用。
2.主要研究内容
根据课题研究内容，如技术路线图1所示，本课题分为6个专题开展研究工作。第一至第三专题分别研究基于智能手机和无人机的建筑结构震动和结构内外部构件损伤信息的智能感知和评估技术，第四专题研究融合MEMS传感器和智能感知技术获取信息的建筑结构震害评估技术，第五专题基于云平台的数据传输模式、模型应用模式和系统集群技术，研发一套在云端部署的城市建筑群地震灾害风险感知与灾情在线监测、评估与预警一体化软件平台并开展示范应用并编制，第六专题负责在地震频发的川滇地区、地位特殊的首都圈地区以及台风频发的粤港澳大湾区的9个城市（其中包含3个特大城市）各选择10-20栋典型建筑开展工程示范应用。六个专题的具体研究内容如下：
图1 课题五技术路线
（1）基于智能手机的城市建筑地震震动群智感知技术
针对MEMS传感器布置数量有限、难以全面监测广域城市建筑群结构地震震动响应的问题，研发基于智能手机的城市建筑地震震动群智感知技术。开发基于Android平台的智能手机APP程序，利用智能手机集成的加速度计和倾角仪等传感器收集地震灾害过程中的手机振动数据；研究基于深度学习的智能手机监测振动数据的识别算法，从海量监测振动数据中筛选反映建筑结构地震响应的数据用于结构震害评估；结合智能手机的位置信息，采用主成分分析方法对于相近位置不同手机监测振动数据进行融合，提取反映建筑结构震害损伤的振动信息进行建筑结构震害状态评估。
图2 建筑振动响应智能手机智能感知技术研究路线图
（2）基于智能手机的建筑内部损伤计算机视觉感知与识别技术
针对基于结构震动数据难以识别建筑内部局部小损伤，而传统的震后人工巡检速度慢难以满足抗震救灾实际需求的问题，研发基于智能手机拍摄图像的建筑结构内部损伤计算机视觉识别技术。开发基于Android智能手机的建筑结构震后损伤图像信息的群智感知系统，利用人们普遍使用的智能手机自动获取海量建筑结构震害损伤的图像信息。开发包含混凝土裂缝、剥落，钢筋暴露等多类结构构件损伤的图像数据库，研究基于计算机视觉和深度学习的多类型损伤识别算法，从大量智能手机拍摄的建筑结构内部图像中识别损伤的类型、程度、外观形态以及损伤的实例标注；并利用图像的EXIF信息和实例级别的损伤识别的结果合并多尺度和多视角的损伤信息，整合建筑结构内部损伤的空间位置分布，进行建筑结构震害状态评估。
图3 建筑内部损伤智能手机计算机视觉感知与识别技术研究路线图
（3）基于无人机的城市广域建筑群外部损伤计算机视觉感知与识别技术
针对人工巡检、普通手机以及相机较难到达和拍摄建筑的高层外立面，无法大规模获取建筑群的图像和视频数据的问题，研发基于无人机拍摄图像和视频的建筑结构外部损伤计算机视觉识别技术。开发包含墙体裂缝、结构倾斜、柱脚破坏等多类型建筑外表面损伤的图像视频数据库。研究基于计算机视觉和深度学习的多类型损伤识别和定位算法，从大量无人机拍摄的图像和视频中识别损伤的类型、程度和外观形态，并利用无人机的GPS定位信息进行损伤位置的粗定位，利用计算机视觉SLAM或SFM的方法进行损伤位置的三维精确定位。最后融合损伤的类型、程度和空间位置等信息进行建筑结构和建筑群的震害状态评估。
图4 建筑外部损伤无人机计算机视觉感知与识别技术研究路线图
（4）基于MEMS传感器和群智感知融合的城市建筑群地震灾害评估技术
针对多种来源、多种结构的海量数据难以实时处理与分析得到有效信息的问题，进行多维度信息提取、融合与展示技术的研究。开发基于分布式系统基础架构的数据处理系统，以达到低延迟存储、读取和处理海量数据能力；研究基于机器学习与深度学习的信息融合与关联分析技术，将多种形式的地震灾情数据互相对照，提取得出有效信息，为决策归纳总结灾情综合情报；研究基于统计与机器学习的多维数据可视化方法，多角度展现灾情实时情况，为可视化系统提供数据基础。
图5 群智感知融合的城市建筑群地震灾害评估技术研究路线图
（5）城市建筑群地震灾害评估可视化平台研发和相关标准编制
针对传统结构监测系统独立分散、运维困难等问题，本专题将研究基于云平台的数据传输模式、模型应用模式和系统集群技术，研发一套在云端部署的城市建筑群地震灾害风险感知与灾情在线监测、评估与预警一体化软件平台，提升各地政府对城市建筑群地震灾害精准感知、防治和快速处置能力。针对国外和国内关于建筑群地震灾害风险监测技术及其标准规范进行详细的调研，融合各课题的研究成果和示范应用的经验，研究编制建立适合我国国情的建筑群地震灾害风险监测技术行业标准，向全国推广相关的技术产品。
图6 震害评估可视化平台与标准编制研究技术路线图
（6）典型城市群大规模示范应用及工程示范效果评价反馈
融合各课题的研究成果，在地震频发的川滇地区、地位特殊的首都圈地区以及台风频发的粤港澳大湾区选取昆明、大理、西昌、康定、北京、天津、唐山、深圳、河源等9个城市作为示范应用地点，其中包含北京、天津、深圳3个超大城市，在各城市分别选取具有代表性的10-20栋楼作为典型建筑，共安装648套结构智能监测仪开展大规模示范应用，结合地震、台风等极端自然灾害的发生，对项目研发的建筑群地震灾害风险监测系统的可行性、可靠性和先进性进行全面的实测验证，形成评价反馈，指导项目成果的实际应用推广。
图7 工程示范应用研究技术路线图
3.拟解决的重大科学问题或关键技术问题
（1）研发基于智能手机和无人机的地震灾害群智感知监测技术，获得更加全面的多尺度、广域的城市建筑震害信息，弥补当前方法信息获取不充分的问题；
（2）研究融合MEMS传感器和群智感知信息的城市建筑群地震灾情评估技术，显著的提升震害评估结果的全面性和可靠性；
（3）建立城市建筑群地震灾害风险感知与灾情在线监测、评估与预警一体化和可视化的软件平台，填补当前国内建筑群地震灾害风险评估领域的空白，实现灾情快速、高效、精确评估。
图8 课题五技术路线图
4.考核指标及评测手段/方法
考核指标：
（1）基于智能手机的城市建筑地震震动响应感知与结构内部损伤计算机视觉识别方法；
（2）基于无人机的建筑外部损伤计算机视觉识别技术；
（3）MEMS 传感器和智能手机/无人机群智感知多源海量数据的融合技术；
（4）城市建筑群地震灾害风险感知与灾情评估可视化平台与技术标准；
（5）培养研究生10名，其中博士研究生3名、硕士研究生7名；
（6）申请发明专利6项，申请软件著作权6项，研发系统平台4套，形成行业标准（征求意见稿）1部，发表论文20篇，其中SCI/EI论文12篇。
测评方法：
第三方测试报告、专家鉴定验收证明、相关机构证书、论文收录或检索证明及学位论文等。
5.参加单位任务分工
兰州大学负责基于智能手机的建筑地震震动和震后建筑结构内部损伤的计算机视觉识别技术；哈尔滨工业大学（深圳）负责基于无人机的建筑震后结构外部损伤的计算机视觉识别技术；东莞理工学院负责高维异构多源海量数据的融合技术与挖掘技术；深圳防灾减灾技术研究院负责城市建筑群地震震害快速评估可视化平台建设与规范编制；中国铁塔股份有限公司负责典型城市群大规模示范应用及工程示范效果评价反馈。
