GenkoyAI 是一个 AI 驱动的剧本到视频生成平台,目标是让创作者从文字脚本出发,经过 AI 辅助的分镜、素材、配音和剪辑流程,最终生成完整的视频内容。
当前没有可供访客访问的公开源码仓库入口。
设计目标
这个项目的核心问题是:如何让 AI 辅助创作而不是替代创作? 具体来说:
- 创作者保留对内容的最终控制权。
- AI 负责重复性和机械性的任务(如素材匹配、字幕生成)。
- 每一步都有人工审核的节点,而不是一键生成。
- 技术栈服务于创作流程,而不是反过来。
架构概览
项目采用 BFF(Backend for Frontend)架构,前端通过 BFF 层与后端 API 通信:
组件 → Hook/Query → typed v1 client → BFF → proxyToBackend() → hbdr
前端
- Next.js:使用 App Router,支持服务端组件和流式渲染。
- TanStack Query:管理服务器状态,提供缓存、重试和乐观更新。
- Zustand:管理编辑器交互状态和本地 UI 状态。
- BFF 层:保存后端的
snake_case命名,只有 client 层负责camelCase转换。
内容管理
- OpenAPI 类型生成:后端 API 的类型定义从 OpenAPI 规范自动生成,不手动编辑。
- Mock/Real 切换:
NEXT_PUBLIC_USE_MOCK为true时使用 Mock 数据,否则使用真实 API。 - 失败隔离:Real 失败不会静默回退到 Mock,确保开发者能及时发现问题。
编辑器
- 多步骤流程:脚本 → 分镜 → 素材 → 配音 → 剪辑 → 导出,每步独立可操作。
- 实时预览:编辑过程中可以预览当前状态,不需要等到最后一步。
- 版本控制:支持撤销/重做,编辑历史可追溯。
明确边界
这个项目不是:
- 一个视频编辑器:它专注于从脚本到视频的生成流程,不是通用的视频编辑工具。
- 一个 AI 创作工具:AI 是辅助手段,不是创作主体。
- 一个社交平台:创作者对自己的内容有完全的控制权。
当前状态
项目处于持续开发阶段,核心的编辑流程已经可以走通,但还有很多细节需要完善:
- 分镜生成的 AI 模型需要调优。
- 素材匹配的准确率需要提升。
- 音频处理流程还需要优化。
- 导出功能支持的格式有限。
这些是功能层面的待办,不是架构层面的问题。架构本身是稳定的,后续的工作是在这个架构上逐步完善功能。