历象 · 实验日志

驭光者的实验观测簿:工作怎么做、败在哪里、如何复现,可披露的逐日在录。

驭光者@羲和:~$ tail -f 历象.log

分类
状态

1 / 1 篇

日志列表

2026

已完成器物LOG-2026-001

青鸟关注回复视频:一条 6 秒视频的五版迭代

背景公众号关注回复缺一条开场视频:青鸟开口说「你好,我是青鸟。终于,等到你了。」,画面与声音全部本地生成,口型同步,不动用付费语音服务。

做法四步管线:Z-Image t2i 首帧 → H3 AV 双出 i2v(音视频联合生成,口型生来对齐)→ PIL 投射层/字幕层 → ffmpeg 合成。v2 线(2026-09,ComfyUI 0.36.0)打通流程;v3 线(2026-10-27,桌面版 0.42.5)按「古典×赛博融合」重制视觉。

结果v3 首帧批 1 四张全废:「瞳孔青碧光环」「光路/分叉汇流/亮芯」被模型字面放大成虹膜异色与玉内闪电纹;批 2 以「双眼清亮含笑」零修饰+玉牌尺寸锚「两指宽四指长」定稿(seed 20261137)。新栈实测:Z-Image 提速属实(768×1344 约 20–25s/张),H3 反而慢约 1.4×(141 帧整单约 50min,MPS int8 路径负优化);cfg 1.0 下负面词不参与计算,防线靠正面措辞。质检:五时刻抽帧身份稳定、口型开合,音轨 max -0.8dB 无削波,成片 668KB(<10MB 预算),metadata 双字段回读。

结论即兴问题在输入端解决,不在输出端打补丁(剪接缝合验证两轮被叫停,台词自设计一次到位);静态图成立的方案进视频管线不一定成立(v2.1 叠字);能参数化的动效就参数化:141 帧序列脚本失传,单张 RGBA+ffmpeg fade 视觉等价;升级红利不普惠,须按模型按算子实测,H3 负优化已回写技能手册。

下一步:听感拍板与微信后台上传移交待办;复盘长文《Mac 玩 ComfyUI:一条 6 秒视频,迭代五版》与复现教程完稿在审,随文发布

版本沿革(5)
  1. v2.1废弃2026-09

    「羲和谕令」四字篆书直接叠进玉牌,随 i2v 一起生成动效。

    动效之下字块反复黑闪、不可辨认;静态图成立的方案进视频管线不一定成立。玉牌自此保持素面,四字改由投射动效与字幕承载。

  2. v2.3废弃2026-09

    先做静默视频,再外贴 TTS 合成语音。

    口型在生成时已定,外贴音频是另一条时间线,对不齐即穿帮;修复需付费口型驱动服务(OmniHuman 一类),确认不采用,零调用。

  3. v2.4已替代2026-09-29

    H3 AV 双出原生语音,台词简化成一句交给模型。

    口型同步免费达成,但模型即兴加戏:前置 0.6–1.4s 杂音段、尾部 4.2–5.1s 不成词语节,试听反馈「类似乱码的发音」。剪接缝合(静默版头尾+原声中段 xfade)验证两轮被叫停,问题转交 v2.5 在输入端解决。

  4. v2.5功能定稿2026-09-29

    台词自设计重生成:完整台词「你好,我是青鸟。终于,等到你了。」写进提示词占满时间线,尾接「保持安静,不再发出任何其他声音」收束指令。

    四段念白(0.6 / 1.7 / 3.4 / 4.7s)与台词四段一一对应,即兴空间归零,5.1s 说完收尾。seed:t2i 20261107 / AV 台词线 20261114 / BGM 20261112。口型方案沿用至今。

  5. v3当前使用版2026-10-27

    新栈(桌面版 0.42.5)按「古典×赛博融合」重制视觉:宣纸水墨/襦裙/羽翼底盘不动,赛博限定四件——玉牌荧光脉络、衣缘流光丝线、羽缘青辉、背景青金弧环;机械零件/屏幕 UI/代码雨仍禁。

    首帧定稿 seed 20261137、正片 seed 20261141(古典线 20261121 中途掐断省约 15min);投射层由 141 帧序列(脚本失传)简化为单张 RGBA+ffmpeg fade,新首帧玉牌位更高,四字带整体 --dy -120。台词与四段结构沿 v2.5。

过程记录(7 步)
  1. 成片规格与环境

    • 规格:1080×1920 / 25fps / 5.88s / 668KB(H.264 crf26 + AAC),容器双字段注入 AI-GENERATED|AUDIO-AI 溯源标识。
    • 环境:Mac mini M5 Pro / 64GB;v2 线 ComfyUI 0.36.0(2026-09),v3 线桌面版 0.42.5(torch 2.13、comfy-kitchen 0.2.39,2026-10-27);ffmpeg 9.0.2(brew)。
    • 模型:H3 音视频联合生成四件(本体 minimax_h3_fl2va_pruned_int8_convrot 入 diffusion_models,编码器 qwen3vl_32b 入 text_encoders,视频 VAE fp16 与音频 VAE fp32 入 vae);Z-Image Turbo 三件(本体 z_image_turbo_bf16、编码器 qwen_3_4b、vae ae.safetensors)。
  2. ① t2i 首帧(Z-Image,分钟级)

    • 宽高必须显式传 768×1344:H3 要求宽高为 32 的倍数,脚本默认 1080 非 32 倍数,漏传会被 i2v 拒绝。
    • 批次纪律:每批 4 张候选,v3 线两批共 8 张定稿 1 张;选图标准=五官与手不崩、玉牌形态正(两指宽四指长)、字幕位干净(下方 1/4 留白)、无字符乱码、与既有定妆照是「同一个人」;单张直用是红线。
    • 措辞教训:批 1 写「瞳孔青碧光环」「光路/分叉汇流/亮芯」,被模型字面放大成虹膜异色与玉内闪电纹,四个 seed 全废;批 2 修正三招——眼睛回「双眼清亮含笑」零修饰、玉牌加尺寸锚、玉脉措辞回「星河缓流」词族;人物本体部位宁少勿多,附加元素落在衣料、羽翼、背景。
    • seed 编号规则:年月段+段内序号(202611 段第 31 号即 20261131,不是日期);202610 段为姊妹资产线占用,分段避撞。
    • 负面词说明:Z-Image 为 4 步蒸馏采样、cfg 固定 1.0,此配置下负面词实际不参与计算(惰性),防线靠正面措辞;负面词文件保留作配置完整性记录。
    调用命令(批 2,定稿 seed 20261137)
    python3 ~/.claude/skills/comfyui-local/scripts/comfy_api.py t2i \
      --prompt-file 提示词/t2i-正面-融合v3.txt \
      --neg "$(cat 提示词/t2i-负面-融合v3.txt)" \
      --width 768 --height 1344 \
      --seed 20261135 --count 4 --out 迭代-v3/首帧候选-融合/
    正面提示词全文(提示词/t2i-正面-融合v3.txt)
    Image scene: 青鸟信使半身像,竖幅构图——一位温婉的东方古典仙女正面立于画面中央,胸口以细绳悬一枚小巧的青玉玉牌,玉肉深处隐约透出青碧色微光脉络;背景是暖米色宣纸底的水墨渐变与淡淡祥云,云间悬浮着星尘般的细小光点与一缕若隐若现的青金色全息弧光。
    
    Visual elements:
    - 背景:暖米色宣纸质感底,自上而下由淡赭色渐入暖米色,中下层铺极淡的水墨晕染祥云,云脚柔和写意;远景一抹极淡的青色水墨远山;祥云之间悬浮极稀疏的细小星尘光点,微微发亮,云间仅一缕以青碧色与暖金色微光勾勒的极细全息弧光,如全息投影的淡残影,似有若无;画面下方四分之一为干净素净的宣纸留白,无云纹、无水墨、无任何元素侵入
    - 主体:画面中央偏上,一位年轻温婉的东方古典仙女半身像,正面朝向观者;青绿色长发,头顶半挽发髻缀一枚小小的金色发饰,余发披垂肩后,额前细碎刘海;眉目温柔,双眼清亮含笑,嘴角上扬呈温暖的微笑;身着天青色交领宽袖襦裙,衣料带水墨晕染质感,领口露出白色中衣衬领,衣缘与袖口有一线极细的青碧色流光滚边,细如一根发光的丝线,若隐若现;左右两肩各附一小簇收拢的羽翼,羽色灰褐与月白色相间,羽尖深色,羽枝分明,最外层羽缘泛极淡的青色辉光,形态温润不夸张
    - 细节:颈间一根深色细绳,悬一枚小巧的竖长方形青玉玉牌,两指宽、四指长,四角圆润,轻贴胸前;玉质温润通透;玉牌玉肉深处隐约透出极细的青碧色微光脉络,如星河在玉中缓缓流动,又似天然的玉脉肌理,似有若无,不夺玉牌温润本色,偶有一粒更亮的青碧光点沿脉络缓缓滑过,似一线微光流经玉中;绳与玉牌连接处缀一颗小金珠;玉牌周围泛暖金与一抹青碧交融的柔和光晕,是画面最暖的一点光
    - 光效:整体柔和漫射光,人物面部受光均匀;玉牌柔和光晕、衣缘细流光与背景全息弧光是画面仅有的发光处,克制而有秩序;人物青蓝冷调与背景暖米宣纸形成冷暖对比,古典水墨与微光科技同框,画面安静而有余韵
    
    Atmosphere: 古典雅致而暗藏未来感——宣纸水墨之上,一点荧光脉络如星河藏玉,静水深流中透出精密微光
    
    Style: 东方古典水墨人物插画与轻赛博朋克融合,工笔与写意结合,古风唯美,竖构图,clean composition, 8K ultra detailed, soft cinematic lighting
    负面提示词全文(提示词/t2i-负面-融合v3.txt)
    text, letters, words, captions, watermark, logo, signature, brand markings, red seal, seal stamp, clutter, blurry, deformed hands, extra fingers, metal gears, mechanical parts, glitch effect, digital screen, code characters, holographic UI, sci-fi armor, circuit board
  3. ② i2v 音视频联合生成(H3 AV 双出,单次约 50 分钟挂机)

    • AV 双出原理:H3 输出音视频联合的中间表示(LATENT),接两路解码器分别得到画面与音轨——多解码一路就有音轨,采样开销不增加;对照旧方案算总账,v2.3 的静默视频同样要跑一遍 i2v,之后还有 TTS 合成与贴音两步,AV 双出耗时没有增加,口型同步还不用后处理。
    • 参数:768×1344(32 的倍数)/ 141 帧(25fps ≈ 5.64s)/ 4 步蒸馏采样 / seed 20261141;驱动脚本无代理绕行逻辑,--base 必须显式传。
    • 执行三坑:挂机期间机器整单占用,任务排好再提交,方向不对当场掐断(古典线 seed 20261121 中断省约 15min);一次任务出一对文件,后缀编号与文件类型无固定对应(本片音频 _00001.flac、视频 _00002_.webm),从任务记录按 pid 取,不猜;上正片前先冒烟——544×960、73 帧小规格验证链路(人物无崩坏、音轨峰值 -2.3dB 为过线参照)。
    • 语音运动提示词设计:台词完整写进提示词占满时间线,四段念白(0.6 / 1.7 / 3.4 / 4.7s)与台词四段一一对应,尾接收束指令——即兴空间归零;提示词里不写秒数,只定念白顺序、段间停顿与收束。v2.4 单句版的反面记录:口型同步达成但模型即兴加戏(前置杂音段+尾部乱码音节),即兴问题在输入端解决,不在输出端打补丁。
    调用命令(正片,seed 20261141)
    python3 i2v_av.py \
      --image 首帧-融合-seed20261137.png \
      --prompt-file i2vav-语音运动-融合v3.txt \
      --length 141 --seed 20261141 \
      --base http://127.0.0.1:8199
    语音运动提示词全文(提示词/i2vav-语音运动-融合v3.txt)
    青鸟眼神缓缓亮起,面带温暖微笑注视镜头,轻声温柔地完整说出这一句话:"你好,我是青鸟。终于,等到你了。"——先轻声问候并报出自己的名字,自然停顿半拍,再轻柔地说出"终于,等到你了"作为收束;嘴唇开合与语音自然同步,语气轻柔亲切,是一位年轻女子的清柔嗓音;整句话说完后,嘴唇轻抿含笑,保持安静,不再发出任何其他声音;胸前玉牌玉肉深处的青碧色荧光脉络如光路星河般明暗流转,牌面中央的亮芯随语气轻轻呼吸般脉动;衣缘与袖口的青碧色荧光滚边有微光缓缓游走;额前碎发与肩后青丝被微风轻拂,缓缓飘动;祥云间的星尘光点缓缓上浮,微微明灭,几缕青金色全息光纹缓缓舒展又淡去;肩头羽翼的羽毛极轻微地颤动,羽缘青色辉光微微流转。除此之外,人物身形、服饰、玉牌与整个画面保持稳定,镜头固定不动。
  4. ③ 投射层与字幕层(PIL 生成,秒级)

    • 投射层沿革:v2.x 用 141 帧序列图做投射动效,生成脚本未归档已丢失;v3 简化为单张 RGBA + ffmpeg fade alpha(淡入 st1.5 d0.5 / 淡出 st4.0 d0.8),视觉等价、资产从 141 张降为 1 张。教训:能参数化的动效就参数化,别留只能靠脚本重跑的资产。
    • 落位:v3 定稿首帧(seed 20261137)玉牌位置比旧版高,四字「羲和谕令」带整体 --dy -120 上移,落在领口与玉牌之间;holo=青碧辉光+鎏金主笔(交付用),ink=深墨复刻(古典备选)。字体:敬峰中山王篆 V3.5(OFL 1.1 开源)。
    • 字幕层(归档资产直接复用):双行字幕 + 40px AI 徽章已烘焙进 PNG——Songti SC Bold 约 84px,深墨青 #1F3B36 + 1px 淡金描边 #E8D5A3,水平居中,基线 y≈1920×0.76;AI 徽章由 32px 角标升级而来(32px 在竖屏不可辨认)。
    字中心 x中心 y字号
    羲347938112
    和49094396
    谕640938104
    令812928100
    生成投射层(holo 风格 + 落位上移)
    python3 后期/生成投射层-v3.py --style holo
    python3 后期/生成投射层-v3.py --style holo --dy -120
  5. ④ 合成(ffmpeg 一条命令链,秒级)

    • 七步链:768×1344 lanczos 等比放大至高 1920(宽 1097)→ 居中裁 1080×1920 → tpad 末帧冻结补 0.3s(对齐 5.88s 音轨)→ 投射层 fade alpha 叠加 → 字幕层叠加 → 原生语音与 BGM(0.16 垫底,头 0.8s 淡入、尾 1.1s 淡出)amix → -t 5.88 截断。
    • 踩坑:amix duration=longest 会把输出拖到 BGM 全长,必须外层 -t 5.88 截断(v2 线实录教训);溯源串经 -movflags use_metadata_tags 写入 copyright 与 comment 双字段。
    合成脚本(后期/合成-v3.sh 全文)
    #!/bin/bash
    # v3 合成:融合版 i2v + 全息投射层(单张PNG×fade alpha) + 双行字幕(含AI徽章) + 原生语音 + BGM
    set -e
    cd "$(dirname "$0")/.."
    WEBM="${1:?用法: 合成-v3.sh <webm> <flac> <bgm.flac>}"
    FLAC="${2:?缺少原生语音flac}"
    BGM="${3:?缺少BGM}"
    PROJ="后期/投射层-v3-holo.png"
    SUB="后期/字幕层.png"
    OUT="青鸟关注回复-v3.mp4"
    WM="XIHE-LAB|2026|QINGNIAO-FOLLOW-REPLY-V3|COPYRIGHT-CC-BY-NC-SA-4.0|AUTHOR-略|AI-GENERATED|AUDIO-AI"
    ffmpeg -y -i "$WEBM" -i "$PROJ" -i "$SUB" -i "$FLAC" -i "$BGM" \
      -filter_complex "\
    [0:v]scale=1097:1920:flags=lanczos,crop=1080:1920:8:0,tpad=stop_mode=clone:stop_duration=0.3[base];\
    [1:v]format=rgba,fade=t=in:st=1.5:d=0.5:alpha=1,fade=t=out:st=4.0:d=0.8:alpha=1[proj];\
    [base][proj]overlay=0:0[v1];\
    [v1][2:v]overlay=0:0:format=auto[vout];\
    [3:a]aformat=channel_layouts=stereo[va];\
    [4:a]volume=0.16,afade=t=in:st=0:d=0.8,afade=t=out:st=4.8:d=1.1,aformat=channel_layouts=stereo[bga];\
    [va][bga]amix=inputs=2:duration=longest:dropout_transition=0:normalize=0[aout]" \
      -map "[vout]" -map "[aout]" -r 25 -c:v libx264 -crf 26 -preset slow -pix_fmt yuv420p \
      -c:a aac -b:a 128k -t 5.88 \
      -movflags use_metadata_tags \
      -metadata copyright="$WM" -metadata comment="$WM" \
      "$OUT"
  6. ⑤ 质检(发布前逐项过)

    • 五项全过:规格回读、音轨、帧检、投射字、metadata 回读;AIGC 三层标识缺一不可——40px 徽章每帧可见(视觉层)、溯源串入容器双字段(文件层)、微信后台上传勾选「内容由 AI 生成」声明(平台层)。
    项标准本片实测
    规格回读1080×1920 / 25fps / h264+aac / <10MB668KB,5.88s
    音轨无削波,与画面尾帧对齐mean -14.2dB / max -0.8dB
    帧检五时刻抽帧身份稳定无漂移、口型开合、无字符幻觉、流光 2-3s 前后流动、镜头固定
    投射字2.0s 处清晰可辨鎏金主笔+青碧辉光,后段对比度下降仍可辨
    metadata 回读ffprobe 读回双字段copyright 与 comment 均含 AI-GENERATED|AUDIO-AI
    帧检取帧(五时刻抽帧)
    for t in 0.1 1.0 2.5 4.0 5.5; do ffmpeg -ss $t -i 青鸟关注回复-v3.mp4 -frames:v 1 frame_$t.png; done
  7. 附:seed 链总表(复现索引)

    • 换某一版效果:改对应环节的 seed 重跑该环即可,其余资产不动。
    线用途seed状态
    v2t2i 首帧20261107定稿(素面古典版)
    v2静默线 i2v20261111备选(无语音版)
    v2AV 单句线 i2v20261111废(即兴加戏)
    v2AV 台词线 i2v20261114v2.5 定稿
    v2/v3BGM20261112沿用
    v3t2i 融合批 120261131-34废(措辞事故全 4 张)
    v3t2i 融合批 220261135-38定稿 20261137
    v3i2v 冒烟20261120链路验证过
    v3i2v 古典线20261121中断(方向调整)
    v3i2v 正片20261141当前交付
女娲 执笔 · 驭光者 复核

说明

编号与时间

LOG-YYYY-NNN 连续编号,不跳号、不回填;时间为 ISO 8601 东八区。编号连续性由回归脚本机器对账。

失败同录

失败也如实记录,不讳言败。败绩是可复现性的另一半证据。

状态

  • 进行中
  • 已完成
  • 失败
  • 搁置

披露边界

内部路径、密钥、真实姓名与平台内部数据不上日志;不可披露处以略显式占位。本页为公开披露版,完整记录另存内档,不对外。