数字人视频生成技能

此技能允许您使用Flyworks（又名HiFly飞影数字人）的数字人生成视频。可用功能：

1. 公共数字人视频：使用预制的高仿真数字人，从文本或音频创建视频。
2. 照片说话：从单张图片和文本/音频创建“照片说话”视频。
3. 语音克隆：从音频样本克隆语音，用于文本转语音。

详细文档请参见references/文件夹：

• authentication.md- API令牌设置
• avatars.md- 使用数字人
• voices.md- 语音选择与克隆
• video-generation.md- 视频创建流程

API令牌与限制

此技能使用默认的免费层级令牌，但存在限制：

• 水印: 生成的视频将带有水印。
• 时长限制: 视频时长限制为30秒。

如需解除限制：

1. 请在hifly.cc或flyworks.ai注册。
2. 从用户设置中获取您的API密钥。
3. 设置环境变量：export HIFLY_API_TOKEN="your_token_here"

工具

scripts/hifly_client.py

所有操作的主要入口点。

用法

# List available public avatars
python scripts/hifly_client.py list_public_avatars

# List available public voices
python scripts/hifly_client.py list_public_voices

# Create a video with a public avatar (TTS)
python scripts/hifly_client.py create_video --type tts --text "Hello world" --avatar "avatar_id_or_alias" --voice "voice_id_or_alias"

# Create a video with a public avatar (Audio URL or File)
python scripts/hifly_client.py create_video --audio "https://... or path/to/audio.mp3" --avatar "avatar_id_or_alias"

# Create a talked photo video using bundled assets
python scripts/hifly_client.py create_talking_photo --image assets/avatar.png --title "Bundled Avatar"

# Clone a voice using bundled assets
python scripts/hifly_client.py clone_voice --audio assets/voice.MP3 --title "Bundled Voice"

# Check status of generated tasks
python scripts/hifly_client.py check_task --id "TASK_ID"

# Manage local aliases (saved in memory.json)
python scripts/hifly_client.py manage_memory add my_avatar "av_12345"
python scripts/hifly_client.py manage_memory list

示例

1. 创建简单的问候视频

# First find a voice and avatar
python scripts/hifly_client.py list_public_avatars
python scripts/hifly_client.py list_public_voices

# Generate
python scripts/hifly_client.py create_video --type tts --text "Welcome to our service." --avatar "av_public_01" --voice "voice_public_01"

2. 使用自定义的说话照片

# Create the avatar from an image URL
python scripts/hifly_client.py create_talking_photo --image "https://mysite.com/photo.jpg" --title "CEO Photo"
# Output will give you an Avatar ID, e.g., av_custom_99

# Save it to memory
python scripts/hifly_client.py manage_memory add ceo av_custom_99

# Generate video using the new avatar
python scripts/hifly_client.py create_video --type tts --text "Here is the quarterly report." --avatar ceo --voice "voice_public_01"

智能体行为准则

在协助用户生成视频时，请遵循以下指南：

需要选择语音

视频生成需要文本和语音两者兼备。如果用户提供了文本但未指定语音：

1. 首先检查本地记忆：运行manage_memory list以查看用户是否保存了任何语音别名。

2. 请用户选择：

   • "我看到您想用文本'[文本内容]'创建一个视频。您希望使用哪种语音？"
   • 如果他们有保存的语音："您保存了这些语音：[列表]。或者您更倾向于使用公共语音？"
   • 如果没有保存的语音："您想使用公共语音，还是先从音频样本克隆您自己的语音？"

3. 协助他们选择：

   • 要查看公共语音：list_public_voices
   • 要克隆语音：clone_voice --audio [文件] --title [名称]

完整工作流程示例

对于类似这样的提示："用我的照片创建一个会说话的视频，内容是'这是我的AI分身'"：

1. 询问："您希望您的AI分身使用哪种声音？您可以选择公共声音或克隆您自己的声音。"
2. 如果他们想要克隆：帮助他们进行克隆声音
3. 创建包含文字和声音的会说话照片：

   python scripts/hifly_client.py create_talking_photo \
     --image user_photo.jpg \
     --text "this is my AI twin" \
     --voice SELECTED_VOICE_ID \
     --title "My AI Twin"
   

稍后保存

在创建虚拟形象或克隆声音后，提供保存选项：

python scripts/hifly_client.py manage_memory add my_avatar AVATAR_ID --kind avatar
python scripts/hifly_client.py manage_memory add my_voice VOICE_ID --kind voice