解决方案

采用 Amazon SageMaker 异步推理功能，降低模型高并发场景下的推理时延，加快用户请求的处理效率时间。

作为面向全球 6 亿用户的一站式图片编辑和设计工具，Fotor 业务部署在美国东部、美国西部、雅加达、法兰克福、圣保罗等区域，其业务波峰波谷起伏不大，峰谷之间的需求差异不超过 25%，并发需求一直较高。

高并发需求下的推理时延是 Fotor 要解决的关键问题之一。Fotor 采用 Amazon SageMaker 异步推理功能，结合使用 Amazon SQS、Amazon SNS、Amazon EC2 调度能力，高效实现异步推理应对高并发用户需求，使得推理时间比之前加快 50% 以上，每条需求的处理时间从原来的 10~20 秒降低到 7~8 秒，用户等待时间大大减少。

通过 Amazon Bedrock 调用大语言模型，提升素材标注效率和准确度，通过语义拓展提升图片/视频生成效果。

对图片进行标注是 Fotor 一项重要业务场景。以前，采用大规模外包人力来处理这类需求，由人工对素材的特点、色彩、美学等各个维度打上标签，但人工面临着易疲劳、时间长效率下降、过于依赖预置模板等问题，导致标注效果不尽如意。

现在，针对 Fotor 的海外业务，通过 Amazon Bedrock 调用 LLM（Large Language Model，大语言模型）模型，对图片或影像素材进行标注，不仅标注效率比传统人工标注高很多，而且标签的准确度和丰富性也得到了显著提升，极大地提升了以此为素材训练的模型的泛化能力，使得生成的内容更丰富、准确度更高。

在用户利用 LLM 实现文生成图或视频过程中，若输入或提示词不完整，Fotor 可结合用户的历史信息和输入，对其进行提取并识别用户的倾向或意图，通过 LLM 结合 Prompting（提示词工程）优化，进行语义扩展，生成更贴合用户需求的图片或视频等。

对于图生图场景，Fotor 可通过 LLM 对原图先进行反推，获取到用户未直接描述的语义信息，然后基于反推出的信息再做下一步编辑，在原图基础上根据语义拓展生成更符合期望的图片。

通过 Amazon Rekognition 高效进行图片审核，直接给出置信度以迅速处理。

如何对 LLM 生成的内容进行高效审核和过滤，是生成式 AI 应用中面临的共同问题。用户在利用 Fotor 生成的图片中，可能涉及到不合法、不健康的内容，因此 Fotor 需要对用户生成的图片进行审核，并将不满足审核要求的内容过滤出去。借助亚马逊云科技 Amazon Rekognition，利用机器学习自动执行图像识别和视频分析并降低成本，针对包含暴力、低俗等在内的 10 多类不合法、不健康内容，采用预先训练和可定制的计算机视觉功能，从图片中提取信息、获取洞察，并针对审核的素材直接给出具体置信度，如判断某图片跟暴力相关的置信度为 96%，Fotor 无需自己开发模型，即可直接参考该置信度，迅速做出下一步处理。

采用 Amazon SageMaker 的模型训练等功能，加快定制开发自有图片和视频模型
基于开源模型调优是 Fotor 应用 LLM 的方式之一。但一方面，开源模型普遍存在知识产权不够明晰的问题，另一方面，前期实践表明，基于开源模型生成的内容，即便经过多轮调优，在图文准确度和美学等方面与 Fotor 的业务需求还存在差距。为了生成符合期望的图片和视频， Fotor 采用 Amazon SageMaker 的模型训练等功能，基于自身在图片图像编辑领域的深厚经验和长期积累的数据，在开源模型基础上加快定制开发自有知识产权的图片和视频模型。