庞文君：保险业NLP机器人评测标准白皮书正式发布

　　2020年1月3日，『慧保天下』举办的主题为“穿越周期 韧性前行” 2020保险大会在上海浦东丽思卡尔顿酒店召开。亚太保险实验室发起人庞文君出席会议并发表主题演讲。

　　庞文君表示，保险总共分为销售、承保、客服、理赔几大核心领域。每个领域，希望它完成的指标是什么样的，怎么样评价机器人做到哪些点，以及相应的一些算法的核心是怎么样的评价。

　　以下为庞文君发言实录：

　　大家晚上好！能够坚持到现在，我相信都是对保险行业的创新和发展都是真爱。我是亚太保险科技实验室的发起人，也是企保科技的创始人。有多少人没有听说过亚太保险科技实验室？请举手。我们成立时间不长，还是一个小baby。我介绍一下什么是亚太保险科技实验室，我们为什么要做这样一件事情。

　　亚太保险科技实验室是在今年年中成立的，由美国再保险集团、太平金服、水滴保险、“慧保天下”以及企保科技共同联合发起设立，以推动保险行业的前沿技术，例如AI、NLP等技术真正在行业来落地，这个领域的各成员单位有全球再保险集团，健康险、寿险、产险以及金融的服务公司，我们是互联网保险的代表，以前沿的人工智能技术真正能够在行业应用并落地为已任。

　　……

　　集结大家共同的智慧和经验，保险业NLP机器人评测标准白皮书正式发布！ 白皮书里面包括几大板块，这是一本工具书，大家用这个很方便的查阅到跟自己相关的一些场景。保险总共分为销售、承保、客服、理赔几大核心领域。每个领域，希望它完成的指标是什么样的，怎么样评价机器人做到哪些点，以及相应的一些算法的核心是怎么样的评价。在每一个章节当中大家都会看到。在白皮书最后，大家会看到相应的工程技术指标。我们的机器人最终依托于算法，最终它对于技术的稳定性，工程性，对于资源的占用，这一块给出了相应的标准供大家参考。

　　首先在销售领域，大家对这一点非常关注，这里有一个销售机器人的视频介绍，时间关系就不播放了。在这样的场景下，可以理解为通常所讲的保险顾问，现在非常多互联网的平台都有这样的保险顾问。如果你想用一个机器人来做这样一个工作，你应该看哪些方面的指标呢？并且区分过程类和结果类，以便与大家在操作的时候具体使用。

　　从算法的角度来讲，如何理解这件事情？去看哪几个关键值，比如说召回。衡量正确抽取和理解，应该占到被正确理解的比例是多少。它是召回，就是准确率之外的参考指标。准确率，它和召回率是两个概念，必须结合使用。这个时候单去看这两个值之外，还给大家比较方便的参考指标，F1值，这是我们在算法值有一个综合值，用这个值反映和体现机器人的好坏到底是怎么样，用这样一个值综合的代表。在推荐过程中，我们毕竟是一个销售环节，它的产品相关的关联度也会有一个指标，也会衡量参考。

　　在销售场景也是保险行业非常高频的会用到的电话场景。电话场景的销售和我们所讲的在线销售是不同的。这个场景就是用在电话的场景，我们有一个非常聚焦的目标，无论是续保或者新赠险或者销售某一款保险产品，是这样一个场景，这是一个广义的场景，以销售为目标的电话场景。这个时候看过程类和结果类，如何看这个机器人做的好或者不好。接下来算法相关的指标，在这个部分通过三个点，一是状态的正确率，二是策略正确率以及回复的bleu，来反映综合的指标。大家用这个非常方便的看，有一些机器人的场景，怎么衡量你的机器人到底好还是不好，真智能或者假智能都可以通过这样的方法来实现。

　　承保的领域，我们会一些文档读取，比如说体检报告，大家可以看到体检报告的读取过程，像人工核保师一样需要理解这样一份体检报告的数据以及所带出来的相关人体的健康信息和对疾病发生的概率的影响。在这个部分，我们也有相应的一些指标来衡量它们，以及它的评价指标，主要对于核保因子的准确和召回的体现。

　　客服领域，我们主要分为三大类别，一是业务咨询，业务咨询分为机器人作业和人机耦合，就是机器人协助人类作业，以及业务办理这样三个场景。在这三个场景当中，会看到机器人单独作业的时候，它的指标，比如说知识图谱，其实是支持整个环节是不是能做到很专业的服务，一个非常重要和关键的指标。从结果的角度来讲，客户是不是满意，解答的答案的解决率是怎样，因为时间关系，这里有一些样例就不给大家展示了，在这样环节里它的算法的评价指标。

　　人机协作，这个里面会有一个三级板块，对我们的人工客服有三级辅助，在整体意图、流程、具体的每一句话术上有辅助和协助的作业。在这个部分的算法的评价指标。这是人机协作情况下，这种情况和机器人单独作业对它的要求和标准是有差异的。在这里可以看到应答率和采纳率，人有机会给它一个反馈的信号和值。

　　理赔领域，包括接报案机器人，无论是在线的方式或者是用电话的方式去受理或者办理接报案，机器人独立作业的评价指标。如果对这一块感兴趣的朋友我们可以下来交流。这是算法的评价指标，也是保险行业第一次从自己业务的场景，销售、客服、核保、核赔4个重要的场景里，再看每个场景里面细分有哪些机器人，他是怎样被应用的，以及相应的有些什么评价指标，这是过去大半年时间以来我们自身的实践。