在完成核心AI功能模块开发后,系统整合成为关键环节。
多模态交互对话

此处以普通语音聊天为例,需要用户将输入的文本信息传给ai,之后再将ai返回的文本内容经过tts技术转化为音频交给前端,实现如下:
这里我们拿到的模型返回结果是包含<think> </think>深度思考内容的,我们需要做一个提取操作:
其他两种对话与上述实现类似,此处不做赘述。
记愈、聊愈分析总结
在这里需要做的是在保存用户记愈后的日记和聊愈后生成的纸条时,要对本次用户记录下的内容/对话信息使用大语言模型做一个分析,以总结用户的心情、本次对话的核心、用户的个性标签等内容。
为了实现上述内容,我们需要设计合理的prompt提示词,此处以用户标签生成为例:
然后对返回的内容做处理,并将其作为一个字段保存到数据库中即可;

对接口做测试↑