OmniMeetProTrack 全维会议链智能追录系统——山东大学软件学院创新实训项目博客（六）

撰稿人：hlq

应用开发进入收尾阶段，我们的OmniMeetProTrack全维会议智能追录系统目前的架构功能如下所示：

一、系统概述

1.项目名称：OmniMeetProTrack全维会议链智能追录系统

2.项目目标：构建一个智能化、多模态、可持续学习的会议追踪和分析系统，助力企业和团队提升会议效率，在具有基本的会议管理功能的基础上，实现全方位信息捕捉、高效知识管理、深度项目跟踪及智能决策支持。

3.技术要点：前后端分离开发（VUE&SpringBoot），Flask，ASR（自动语音识别），CLIP（视觉识别），多模态数据融合，RAG（增量学习&知识链条），Milvus，MongoDB，MySQL，Neo4j，deepseek，InceptionResNet

4.项目背景：在数字化和人工智能技术飞速发展的背景下，企业、政府机构迫切需要一个能够整合总结会议信息，实现高效会议管理的一体化会议助手。传统会议方式采用手动记录，效率低，信息易遗漏；面对企业庞大的项目工程，传统会议中人们难以迅速检索回顾关键内容等问题亟待解决。

5.项目介绍：

（1）基本的会议管理功能

•基于VUE+SpringBoot前后端框架实现

•公司管理人员发送会议公告

•公司成员收到会议公告可做出反馈

•在会议进行中时参会人员可进行线上发言讨论会议内容

•会议内人员可开启麦克风、摄像头、可以共享屏幕信息

•会议内人员可以对视频和音频进行录制

（2）智能AI会议助手

•基于deepseek实现智能AI会议助手，在会议中遇到各种问题，可随时向助手提问，AI助手检索多方面信息后即可迅速做出准确解答

•实现了流式输出，减少了等待时间

•能够感知历史对话信息，使得回答更加准确

•设置了知识库的检索，增强回答的准确性

•设置个性化AI助理，选择不同的AI助理身份以及行业领域，个性化AI回答的风格与内容

（3）多模态数据输入、处理与输出

•基于deepseek原有的文本处理功能实现对会议文档等内容的分析

•通过引入自动语音识别ASR技术实现会议内实时语音到文本的转换

•采用视觉识别技术CLIP对PPT、白板、现场照片等视觉数据进行深度解析

•输出会议总结等多模态的结果

（4）RAG技术实现滚雪球式连续性知识链

•使用向量数据库构建本地数据库实现对公司敏感隐私内容的管理

•构建对知识库和知识库内文档的增删改查管理，更加细致地管理知识库内容

•通过检索本地数据库，可以使AI助手的解答更为专业，减少幻觉，提高定制化能力，构建增强AI

•在每次会议结束后即可将数据库内容实时更新并学习，使得信息量滚雪球式增长，并形成知识链条

（5）知识图谱的生成与智能问答

•利用neo4j构建文件知识图谱，创建不同的图谱库对上传的文件中的知识进行存储

•用户可以选择指定知识库来对问题进行知识图谱检索，得到基于知识库信息的答案

（6）会议计划与PPT的生成

•根据用户指定的内容生成会议计划安排Word文档

•根据上传的文件以及用户输入的内容生成会议PPT

（7）直观友好的用户交互界面

•参考钉钉PC端页面的构造

•添加一个应用首页实现更友好的导航功能

•在前述功能的基础上添加日历，各种统计图等可视化功能

（8）基于人脸识别与定位的签到功能

通过微调InceptionResNetV1模型构建支持人脸识别匹配的模型，并通过其实现会议签到的人脸识别功能，然后调用百度地图API实现实时定位，留下签到信息

二、注意事项

请用户先进行人脸注册，否则将无法正常使用会议功能

三、项目运行说明

项目文件：

进入omni-meeting-master可以看到前后端（xm_meeting_reservation）和模型端（model-end）

Step1.IDEA打开xm_meeting_reservation,VSC打开model-end

Step2.启动docker中的milvus向量数据库

Step3.启动模型端服务

python.\face_api.py

python.\loadfile_api.py

python.\rag_api.py

python.\photo_api.py

python.\neo4j_api.py

python.\summary_api.py

Step4.启动neo4j数据库

Win+Rcmd输入命令neo4jconsole

Step5.启动前后端程序

启动成功：

四、功能模块详解

（一）注册与登录页面

本页面为系统入口，用于用户角色输入账号、密码及选择身份，完成登录或注册新账号，进入系统开展会议管理等操作。

1.账号输入：点击“请输入账号”输入框，录入已注册的系统账号。

2.密码输入：点击“请输入密码”输入框，输入对应账号的密码，注意区分大小写。

3.身份选择：点击身份下拉框（默认“管理员”），按需选择用户身份（如普通员工、管理员等，不同身份权限不同）。

4.登录确认：点击蓝色“登录”按钮，系统校验账号、密码及身份匹配性，校验通过则进入系统主界面；若失败，按提示重新输入或联系管理员。

本页面用于新用户注册账号，填写账号、密码信息，完成注册流程，以便后续登录系统使用会议管理功能。

1.填写账号：点击“请输入账号”输入框，录入拟注册的账号信息。

2.设置密码：点击“请输入密码”输入框，设置密码；再点击“请确认密码”输入框，再次输入相同密码，确保两次输入一致。

3.提交注册：确认账号、密码（及确认密码）填写无误后，点击蓝色“注册”按钮，系统校验信息合规性（如账号唯一性、密码匹配度等）。校验通过则完成注册，可跳转登录页登录；若失败，按页面提示修正。

4.已有账号处理：若已注册过账号，点击页面下方“已有账号？请登录”链接，快速跳转至系统登录页面，进行登录操作。

（二）主页面

点击左侧菜单栏“主页面”，进入系统首页，可概览系统关键信息，快速掌握系统核心动态。

（三）数据可视化统计

本页面呈现“一周用户会议参与情况”“签到地点词云”“用户签到位置分布”三类数据可视化内容，助力用户直观洞察会议参与及签到相关信息，辅助分析决策。

（四）会议日历

本页面以日历形式展示当月会议安排，支持月份切换、快速定位今日，方便用户查看和管理会议日程。

（五）系统公告

本页面用于展示系统发布的公告信息，用户可查看公告内容、发布时间，及时了解系统相关动态。

（六）AI助手

点击“AI助手”，唤起智能交互界面。

本页面为DeepSeekAI智能助手交互界面，支持创建新会话、管理历史会话，可选择知识库与AI助理，实现问答交互，辅助会议相关工作及信息查询。

1.新建会话：点击左上角“+新建会话”，生成新会话，右侧窗口清空待交互。

2.管理历史会话：点左侧目标会话回顾内容，点“管理”可重命名/删除。

3.选知识库与助理：点“选择知识库”“选择AI助理”下拉框，按需选关联内容/角色。

4.交互问答：在“输入消息...”框输问题，点“send”/回车发送，查看回复持续交流。

（七）文档上传

1.新建知识库：点击页面左侧“新建知识库”按钮，系统自动创建新知识库，可后续关联文档上传。

2.选择知识库：点击“选择知识库”下拉框，按需选定已创建的知识库（若有多个），后续上传文档将归属该知识库。

3.上传文档：点击或拖拽文件至“点击或将文件拖拽到此处上传”区域，选择本地PDF、Word、TXT、Markdown格式文档，完成上传，构建知识内容。

4.查看统计数据：页面下方展示“知识库数量”“总文档数”“知识片段”统计卡片，实时查看当前系统知识资产数据（上传文档后数据更新）。

（八）知识库管理

知识库的管理界面，可以实现对知识库详细信息的查询和删除

知识库内的文档信息的查询与删除界面

（九）综合功能

进入“综合功能”，包含多样辅助工具，有会议计划生成器、个性化AI助理设置、个性化AI助理设置。

按需选择功能，填写参数并启动，满足会议个性化、功能性需求。

第一个功能为会议计划Word文档生成功能，根据用户输入的信息自动生成会议计划Word文档。

生成的会议计划文档如下所示：

第二个功能为会议PPT的生成功能，根据用户输入的主题，细节描述，以及上传的文档可以生成PPT格式的会议文件，选择不同的主题风格可以设置不同的颜色背景。

生成的PPT以及对应的Markdown格式文件如下图所示

选择下载PPT，保存到本地的PPT文件如下图所示：

第三个功能为个性化AI助理的创建，用户可以选择不同身份风格和行业领域的AI助理，并通过定制要求来创建个性化智能助手。

（十）知识图谱

知识图谱的可视化展示界面，用户可以在此页面创建知识库，对知识库进行删除，修改等操作，还可以上传文件进行知识图谱的构建。

知识图谱智能问答界面，大模型检索当前知识库，对用户提出的问题给出基于知识库的回答。

（十一）会议信息

1.会议信息管理界面

用于查询、管理会议，支持按标题和状态筛选，可查看会议基础信息，执行参会人员查看、纪要下载等操作，还能发起新会议。

（1）查询会议：在“请输入会议标题查询”框输关键词，或“请选择会议状态”选状态（如进行中、已结束），点击“查询”按钮，筛选目标会议；点“重置”可清空筛选条件。

（2）发起新会议：点击“发起新的会议”按钮，跳转至新建会议页面，填写会议日期、时间、标题等信息，完成新会议创建。

（3）查看会议详情：在会议列表，点击“查看参会人员”“下载（会议纪要）”“查看（聊天记录）”按钮，按需查看会议关联信息；通过会议状态、发起人等字段，了解会议基本情况。

（4）会议操作：点击“操作”列对应按钮（如蓝色箭头），可进行会议编辑、提醒发送等操作；底部页码按钮可切换会议列表分页，浏览更多会议。

2.会议系统的准备界面

点击进入操作，能够进入我们的会议系统

用于入会前填写真实姓名、选择头像，可控制麦克风、摄像头状态，完成准备后进入会议。

1.填写姓名：点击“请填写您的真实姓名”输入框，录入真实姓名（字符限制0/20内）。

2.选择头像：在“请选择您喜欢的头像”区域，点击心仪头像完成选择（已选头像带绿色对勾标识）。

3.进入会议：确认姓名、头像设置无误后，点击底部“进入会议”按钮，进入会议房间参与会议。

人脸信息的注册功能，拍照，然后通过微调后的模型对人脸特征进行转换并将人脸嵌入信息保存到数据库中。

入会界面，经过人脸识别，人名与数据库中识别到的名字一致后，方可实现签到功能，并成功入会。

签到成功后会留下签到记录，在人脸识别匹配成功的基础上，通过调用百度地图API实现定位功能。

3.会议主页面

点击进入会议，就可以进入我们的会议主页面了

（1）音视频控制：点击底部麦克风图标开关音频，摄像头图标控制摄像头开启/关闭；当前默认摄像头关闭，显示“摄像头处于关闭状态”。

（2）发送消息：在左下角“发送消息”输入框填内容，点击“发送”按钮，向会议内成员发送文字消息。

（3）使用辅助功能：点击底部“录制音视频”“录音频”按钮，按需录制会议音视频；点击“AI助手”按钮，唤起智能辅助功能。

（4）会议退出/挂断：点击红色挂断图标，可退出会议或挂断当前通话；其他图标（表情、屏幕共享等）按需点击使用对应功能。

右下角有语音识别的输出结果，可以对说话人的语音识别实时转录成文字。

屏幕共享功能的展示，账号可以看到其他账号屏幕共享的信息。

音频和视频的录制功能，录制完成后保存到本地。

多设备入会演示，账号一开启摄像头，账号二共享屏幕

4.会议内嵌AI助手

会议总结的生成。会议内AI能够感知本次会议的前文知识，并生成会议总结

图片分析功能，会议内调用大模型对摄像头拍摄到的场景，以及屏幕共享的内容进行分析

（十二）签到信息

用于查询、导出会议签到数据，支持按会议ID筛选，查看签到人员姓名、状态、时间、位置等信息，辅助会议考勤与数据统计。

1.筛选签到数据：在“输入会议ID筛选”框填入会议ID，点击“查询”按钮，筛选对应会议的签到记录；若需重置筛选，重新输入或清空内容再查询。

2.导出签到数据：确认需导出的数据（可先查询筛选），点击“导出数据”按钮，系统将符合条件的签到信息导出为文件，用于离线分析。

3.浏览签到详情：在列表中查看每条签到记录的ID、姓名、会议ID、状态、签到时间、位置等信息，滚动页面或切换页码（点击底部数字/箭头），浏览更多记录。

4.调整显示条数：点击“10条/页”下拉框，选择每页显示的签到记录数量（如20条/页），适配不同浏览需求。

（十三）我的会议

用于查询、展示会议详细信息，支持按标题、状态筛选会议，查看会议标题、描述、日期、时间、发起人、参会人员及状态，辅助了解会议全貌。

1.筛选会议：在“请输入会议标题查询”框填标题关键词，或“请选择会议状态”选状态（如进行中），点击“查询”按钮，筛选目标会议；点“重置”清空筛选条件。

2.查看详情：查询到目标会议后，在展示区域查看会议标题、描述（若有）、日期、时间、发起人、参会人员头像及昵称、会议状态等信息，快速了解会议关键内容。

3.切换分页：若有多个会议需浏览，点击底部页码区域的箭头（<、>），切换至其他分页，查看更多会议详情。

（十四）个人信息修改

修改个人资料、密码等信息。

五、常见问题及解决

文档上传失败：检查文档格式是否支持、大小是否超限，若格式正确仍失败，尝试刷新页面或重新登录系统重试。

AI助手无响应：确认网络连接正常，若网络良好，稍等片刻或重新唤起AI助手。

会议日历不显示新增会议：检查新增会议时填写的时间等信息是否准确，保存后刷新日历页面。