Phi-3-mini-4k-instruct-gguf开源模型实践：构建研发团队周会纪要自动生成工具

Phi-3-mini-4k-instruct-gguf开源模型实践构建研发团队周会纪要自动生成工具1. 项目背景与目标每周研发团队会议后整理会议纪要是一项耗时且容易遗漏重要信息的工作。传统方式需要人工记录、整理和归档效率低下且质量参差不齐。本项目利用Phi-3-mini-4k-instruct-gguf这一轻量级开源模型构建一个自动化的会议纪要生成工具帮助研发团队提升工作效率。Phi-3-Mini-4K-Instruct是一个38亿参数的轻量级开源模型在常识理解、逻辑推理等方面表现出色。通过vLLM部署该模型并结合Chainlit构建前端界面我们可以创建一个简单易用的会议纪要生成系统。2. 环境准备与模型部署2.1 系统要求Linux系统推荐Ubuntu 20.04Python 3.8NVIDIA GPU建议显存≥8GBvLLM 0.2.0Chainlit 1.0.02.2 快速部署步骤安装vLLM框架pip install vllm下载Phi-3-mini-4k-instruct-gguf模型文件wget https://huggingface.co/.../phi-3-mini-4k-instruct-gguf/resolve/main/...使用vLLM启动模型服务python -m vllm.entrypoints.api_server \ --model /path/to/phi-3-mini-4k-instruct-gguf \ --tensor-parallel-size 1 \ --max-model-len 4096验证服务是否启动成功cat /root/workspace/llm.log看到类似以下输出表示部署成功INFO 05-20 12:34:56 api_server.py:150] Serving on http://0.0.0.0:80003. 前端界面开发3.1 Chainlit应用搭建创建一个简单的Python应用文件meeting_minutes.pyimport chainlit as cl import requests API_URL http://localhost:8000/generate cl.on_message async def main(message: str): # 构建会议纪要生成提示词 prompt f请根据以下会议讨论内容生成结构化的会议纪要 会议讨论内容 {message} 要求 1. 按会议主题、讨论要点、决策事项、待办任务四部分组织 2. 每个待办任务需明确负责人和截止时间 3. 使用Markdown格式输出 4. 保持专业简洁的风格 # 调用vLLM API response requests.post(API_URL, json{ prompt: prompt, max_tokens: 1024, temperature: 0.7 }) # 返回生成的会议纪要 await cl.Message(contentresponse.json()[text]).send()3.2 启动Chainlit应用chainlit run meeting_minutes.py -w应用启动后在浏览器中打开显示的URL即可使用界面。4. 会议纪要生成实践4.1 输入会议讨论内容在前端界面中输入实际的会议讨论内容例如今天团队讨论了项目A的进度问题。张工提到后端API开发已完成80%但遇到了性能瓶颈。李工表示前端界面设计已经完成等待接口对接。测试团队王工建议增加压力测试场景。经过讨论决定1) 张工本周五前优化API性能 2) 李工下周一开始对接接口 3) 王工准备测试用例 4) 下周三进行集成测试。4.2 生成结果示例模型将生成结构化的会议纪要# 会议主题项目A进度讨论 ## 讨论要点 1. 后端API开发进度80%但遇到性能瓶颈 2. 前端界面设计已完成等待接口对接 3. 测试团队建议增加压力测试场景 ## 决策事项 1. 优化API性能解决方案 2. 确定接口对接时间节点 3. 增加压力测试场景 ## 待办任务 - [负责人张工] 本周五前完成API性能优化 - [负责人李工] 下周一启动接口对接工作 - [负责人王工] 准备完整的测试用例 - [团队协作] 下周三进行集成测试4.3 提示词优化技巧为了提高生成质量可以优化提示词明确角色你是一位专业的项目经理需要...指定格式使用表格列出待办任务...提供示例类似这样的格式## 主题...控制长度用200字左右总结...5. 系统优化与扩展5.1 性能优化建议使用流式响应提升用户体验cl.on_message async def main(message: str): response requests.post(API_URL, json{ prompt: prompt, max_tokens: 1024, stream: True }, streamTrue) msg cl.Message(content) await msg.send() for chunk in response.iter_content(): await msg.stream_token(chunk.decode())添加历史记录功能保存过往会议纪要5.2 功能扩展方向支持多语言会议纪要生成集成语音识别直接处理会议录音添加自动邮件发送功能与企业IM工具如钉钉、企业微信集成6. 总结通过Phi-3-mini-4k-instruct-gguf模型和vLLM部署方案我们成功构建了一个高效的研发团队周会纪要自动生成工具。该系统具有以下优势轻量高效38亿参数模型在保持高质量输出的同时资源消耗低易于部署vLLM框架简化了模型服务化过程使用简单Chainlit提供了友好的交互界面效果专业生成的会议纪要结构清晰、重点突出实践表明该工具可以将会议纪要整理时间从原来的30-60分钟缩短到5分钟以内大幅提升了团队工作效率。未来可以进一步优化提示词工程并扩展更多实用功能。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。