Source

结合你们的项目,说一下你是怎么优化或者迭代提示词的?

AI电商客服的提示词优化,核心是让模型能更精准的匹配电商售后的场景的复杂规则,还有用户的碎片化需求,所以我们全程会围绕业务指标闭环去展开。那具体呢会分为根因定位、精准优化、验证沉淀三个大阶段。

首先是定位问题和根因的拆解。在我们电商客服的场景中,问题大多数集中在规则混淆,比如说预售或者是普通订单的一些退款差异;然后以及指令理解偏差,比如说用户非常口语化的提问,我们没有办法识别到;还有就是一些输出的内容不够落地,比如说没有给出具体操作的入口。所以我们会先聚焦电商客服的核心指标,去缩小我们问题边界,并对问题进行分类,再去定位根因判断。

首先我们会聚焦业务的核心指标,我们主要是看人工的转接率,用户的一次性解决率,以及售后的投诉率。这三个指标,核心指标下滑,还是说特定的场景在下滑,还是最近出现了什么样的更新导致这些指标下滑。然后我们再去收集用户对话的数据,我们会归类电商场景的一些典型问题,比如说规则混淆、答非所问、输出无效、语气不当等等。再将这些问题和我们的提示词结构去进行一一匹配。

我们的提示词是由角色、任务、规则、约束、格式等内容组成,所以呢我们会对每一部分进行对话数据和提示词关系的校验。比如说在角色定位上,我们会看是否没有明确电商专属售后客服的角色,导致模型会用一些通用的逻辑去回答。再一个在任务指定层面上是否模糊,比如说用户的一些售后问题,还有一些基于电商规则的问题,我们是不是答的够清楚。还有就是一些规则的嵌入,是否缺失了一些场景的细分,比如说对预售的场景,对普通的场景,对这个生鲜订单的这种退款和理赔的规则,是不是没有做细分约束。

还有呢就是一些约束条件,我们会给一些明确的红线,比如说禁止承诺24小时到账,或者这种未明确的这种时效性的一些内容,如果说他这个约束条件没做到,那我们再会去进一步的约束。还有就是一些格式上的要求,那我们这个输出它是不是和我们格式定的一些要求,比如说包含APP的操作入口,或者是一些客服的兜底话术,是不是都没有出来,那这种格式上的要求我们也会去进行修改。

所以定位到这几个问题之后,我们会去按照场景再去做精准优化。那具体是怎么优化呢?关注我,下期带你们解决。

Workspace

Characters: 777
Duration: 03:00