及时跟进AI模型和产品发展情况:对于模型最新的能力、限制、风险、成本有足够了解,这个是进行场景适配挖掘和方案设计的基础。其次是对于所在方向的AI产品有一定了解,可以开拓自己的思路。
在AI能力中,适配与挖掘有价值的业务场景:
适配:即已有的哪些场景加入AI可以做的更好/效率更高,例如基于AI文本理解能力,可以对用户评价进行内容合规检测、情感分析、关键词提取,提升内容审核效率与准确性和前台评价查看效率促进转化;
挖掘:即哪些场景原来做不了,有了AI可以做了。例如淘宝AI万能搜,在大模型技术出来前,个性化导购是无法实现的。
列出所有可能的业务场景,然后计算各个场景的ROI,筛选出ROI为正向的场景。
在AI限制与风险下,寻找产品方案:虽然AI能力很强,但是也存在很多限制,如幻觉问题、上下文长度有限、知识不是最新的、无法使用工具等。如果你的产品对于AI回答准确性有较高要求,比如AI客服产品,在设计方案时就需要考虑降低幻觉率(如提示词设计、RAG或微调)和兜底(如AI只做回答推荐,发送回复还是由真人客服操作)。
根据数据与反馈,评估验证与优化产品效果:不同的提示词和RAG检索策略,最终的产品效果可能差别很大,好的AI产品效果是不断调出来的。对于AI产品经理来说,需要建立一个体系来评估与验证产品效果,比如个性化推荐产品可使用点击率、AI对话产品正负反馈率/留存率等。
graph LR
A["1. 需求分析"] --> B["2. 数据集构建"]
B --> C["3. 提示词设计"]
C --> D["4. 模型选型"]
D --> E["5. 产品设计"]
E --> F["6. 产品开发"]
F --> G["7. 测试上线"]
G --> H["8. 迭代优化"]
H --> A
需求分析:由于模型接口调用(按Token数计费)或部署(GPU显卡)相较于传统服务器的成本高得多,同时模型能力也有一定限制,因此需求分析阶段核心回答 3 个问题:
实现价值:能够带来什么用户价值、业务价值和商业价值。
能不能做:分析需求预期和现有模型能力的匹配度。
值不值做:分析实现成本和价值比,决定是否值得做。
数据集构建:收集、清洗和标注高质量的训练/测试数据,这是AI产品效果的关键。需要设计合理的数据采集策略,制定标注规范,确保数据的准确性、多样性、安全性。
提示词设计:编写清晰、准确的提示词来引导大模型输出期望的结果。需要反复测试和优化,掌握提示词工程的各种技巧,以提升AI回答的准确性和相关性。
模型选型:根据业务场景、成本预算和性能要求,选择最合适的AI模型。需要对比不同模型的能力特点、API调用成本、响应速度等因素,需要在多个模型间进行测试评估,找到性价比最优的解决方案。
产品设计:设计用户交互界面和产品功能流程,确保AI能力与用户体验完美结合。需要考虑AI输出的不确定性,设计合理的反馈机制和兜底方案。同时要平衡功能复杂度和易用性,让AI产品真正解决用户问题。
产品开发:协调技术团队完成产品功能实现,包括前后端开发、模型接入、数据处理等。
测试上线:进行全面的功能测试、性能测试和AI效果测试。
迭代优化:基于用户反馈和数据分析持续改进产品。优化提示词、调整模型参数、改进RAG检索策略等,不断提升AI产品的准确性和用户满意度。同时关注新技术发展,适时引入新能力,保持产品竞争力。
AI产品经理,虽然加了AI,但归根结底还是产品经理,因此产品专业能力、业务能力和商业能力依旧是核心。
产品专业能力:包括需求分析管理、产品文档撰写与原型设计、竞品分析、数据分析、产品规划、商业设计等。
业务能力:了解所处行业的业务运作流程模式,用户痛点。
技术能力:与互联网产品设计,需要对前后端技术有一定了解一样,AI产品经理需要对不同模型API调用、微调、RAG等技术和成本结构有一定了解,能够设计出可落地的方案。