Detector de Escenas

Preguntas

¿Se sube el vídeo?

No. El navegador lo decodifica localmente, un lienzo lee los píxeles y WebAssembly los compara. No se envía nada a ninguna parte: esta página no tiene servidor al que enviarlo. Por eso tampoco hay límite de tamaño ni cola.

¿Cómo encuentra los cortes?

Muestrea fotogramas a lo largo del vídeo y observa cuánto cambia la imagen de una muestra a la siguiente. Un corte es una discontinuidad: color y luminancia saltan de golpe, en lugar de derivar como lo hacen en una panorámica o un fundido. El detector busca esos saltos y devuelve los límites entre ellos.

¿Detecta fundidos y encadenados?

En parte. Un corte seco es inequívoco y se encuentra con fiabilidad. Un encadenado lento es, por construcción, un cambio gradual —la misma forma que un movimiento de cámara—, así que puede aparecer algo antes, algo después o fundido con su vecino. Las panorámicas rápidas también pueden leerse como cortes. Toma el resultado como una lista de planos para revisar, no como un veredicto.

¿Qué es la puntuación de calidad de cada plano?

La misma puntuación por fotograma que usa la app de Life2Film para decidir qué conservar: nitidez, exposición, contraste, colorido y entropía combinados en un número. Es una ordenación aproximada de qué planos merecen una segunda mirada, no un juicio sobre qué es interesante.

¿Cuánto tarda?

Recorre el vídeo saltando a cada punto de muestreo, y cada salto cuesta decenas de milisegundos. Un clip de un minuto tarda unos segundos. Los vídeos largos se muestrean de forma más gruesa para que la espera siga siendo razonable: la lista de planos mantiene una precisión de alrededor de medio segundo.

Las demás herramientas

• Trim Video — Drag the handles to the part you want, preview it, save it. Audio stays in sync.
• Compress Video — Make a file smaller and see exactly what it cost. No size limit, because there is no server.
• Video to MP3 — Pull the audio out of a video and keep it as MP3, WAV or OGG.
• Convert Video — MP4, WebM and MOV in any direction, or pull the audio out as WAV.
• Video Splitter — Cut a long video into Reels or Shorts that start on a shot change instead of every 30 seconds, ranked by picture quality.
• BPM Detector — Find a track’s tempo and the time of every beat, then send the grid to Resolve, Premiere, Final Cut or Audacity as markers.
• Scene Detector — Find every cut in a video and get the shot list with thumbnails, timecodes and quality scores.

const engine = await import('https://life2film.com/wasm/va_wasm.js');
await engine.default({ module_or_path: 'https://life2film.com/wasm/va_wasm_bg.wasm' });

// 31 features per frame, from RGB24 pixels
const scored = JSON.parse(engine.score_frame(width, height, rgb24, timestamp, null));

Add shot-boundary detection to my project, running in the browser without uploading the video.

Requirements:
- Use the "life2film-engine" npm package (WebAssembly) for detection and the browser's own decoder for
  frames: <video> plus a canvas works everywhere and needs no WebCodecs.
- Sample frames at ~64 px wide, take the mean RGB of the centre column, and pass pixels + timestamps
  to detect_scenes_slick.
- Sampling rate decides accuracy far more than the algorithm does. Measured against a video with cuts
  at known times: 2 samples/second put boundaries 1-3 seconds out and all sixteen algorithms failed
  the same way; 10/second put them on the frame. Do a coarse pass, then refine around each candidate
  at ten times the resolution and take the largest frame-to-frame change.
- Show a thumbnail per shot. The fastest way to check a shot list is to look at it, and a boundary
  that is wrong is obvious in a picture and invisible in a number.
- Score each shot with score_frame and take the median, not the mean.
- Export as EDL, OTIO, FCPXML, Audacity labels, CSV or JSON, at a frame rate the user chooses.
- Cap the input length: each sample is a seek costing tens of milliseconds.

Reference implementation: https://life2film.com/tools/scene-detector/