开源模型应用落地-安全合规篇-用户输入合规性检测（一）

一、前言

    在前面的“业务优化篇系列文章”的学习中，我们学会了如何使用线程池、Redis和向量数据库等工具。现在，我们要加快学习的速度。一方面，我们会继续改进AI服务的性能瓶颈，另一方面，我们还要学习如何进行合规操作。

    接下来，我们将学习如何使用开源组件来检测违禁词，使用云服务商的内容安全审核来检测内容是否合规，以及使用微调模型来检测变种违规词。

    希望大家能跟上我的步伐，逐步学习，最终取得丰硕的成果。

二、术语

2.1、违禁词

    是指在特定环境或上下文中被禁止使用的词语或短语。这些词汇通常包含敏感、冒犯、侮辱、不雅或违法的内容，可能会引起争议、伤害他人或违反相关规定。

    违禁词的范围因文化、社会、国家和机构的差异而异。例如，在社交媒体平台或在线论坛上，违禁词可能包括种族歧视、仇恨言论、色情、暴力、恶意攻击等内容。在法律层面，违禁词可能包括诽谤、诅咒、威胁、侵犯他人隐私或煽动暴力等。

2.2、内容安全审核

    是指对互