Videos mit Gemini Omni verlängern und Frames interpolieren: API und Kontinuitätsprüfung

Sie haben bereits einen kurzen Clip, aber die Handlung endet zu früh; oder nur ein erstes und letztes Bild, ohne Bewegung dazwischen. Mit gemini-omni-1.1-flash können Sie eine Fortsetzung von 3–10 Sekunden anhängen oder den Übergang zwischen zwei Grenzbildern erzeugen; danach wissen Sie, welchen Modus Sie wählen, wie der API-Aufruf aussieht und wie Sie die Auslieferbarkeit prüfen.

Wählen Sie Verlängerung am Ende, wenn Bewegung, Kamera und Ton eines vorhandenen Clips erhalten bleiben sollen; wählen Sie Interpolation von Start- und Endbild, wenn Anfang und Ende feststehen und nur die Mitte fehlt; eine MP4-Antwort beendet die Generierung, aber nicht die Prüfung von Motiv, Bewegung, Naht und Ton.

Clip verlängern oder zwei Bilder interpolieren?

Wenn ein Quellvideo vorhanden ist, beginnen Sie mit der Verlängerung; muss ein bestimmtes Zielbild erreicht werden, beginnen Sie mit der Interpolation. Die Verlängerung nutzt dieses Bild nicht als feste Endgrenze, sodass eine falsche Wahl einen zusätzlichen Generierungs- und Prüfzyklus verursachen kann.

Aufgabe	Eingabe	Geeigneter Einsatz	Wichtigste Kontinuitätsprüfung
Verlängerung am Ende	Ein Video, optional Referenzbilder	Handlung, Kamerafahrt oder Szene um Sekunden fortsetzen	Pose, Tempo, Kamerarichtung, Licht und Ton an der Naht
Start-/Endbild-Interpolation	Erstes Bild, letztes Bild und Übergangsbeschreibung	Bewegung zwischen zwei definierten Zuständen ergänzen	Identität, Raumbezug, Bewegungsbahn und Erreichen des Zielbilds

Die Verlängerung eines hochgeladenen Videos ist für kurze Ergänzungen gedacht: Der offizielle Leitfaden nennt 3–10 Sekunden, der Prompt-Leitfaden außerdem 10-Sekunden-Schritte bis insgesamt 40 Sekunden. Der Upload darf höchstens 10 Sekunden lang sein und Material kann nur hinten angefügt werden; für Einfügungen am Anfang oder in der Mitte verwenden Sie einen klassischen Editor.

Treffen Sie vor dem API-Aufruf vier Entscheidungen

Legen Sie Modell, Ausgabe, Schnittverhalten und Vergleichsmaterial vor der Generierung fest. Fehlt eine Entscheidung, müssen Sie den Auftrag häufig neu starten oder können nicht beurteilen, ob eine Änderung an der Naht vom Modell oder vom Quellmaterial stammt.

Verwenden Sie die GA-Modell-ID

Verwenden Sie die GA-Modell-ID gemini-omni-1.1-flash. Sie wurde am 27. August 2026 allgemein verfügbar; der ältere Endpoint gemini-omni-flash-preview soll am 30. September 2026 eingestellt werden.

Prüfen Sie die Kontinuität zuerst in 720p

Nutzen Sie für den ersten Durchlauf den Standard 720p, damit Kontinuitätsfehler und Hochauflösungsbereitstellung getrennt bleiben. resolution in response_format akzeptiert 360p, 720p, 1080p und 4k; die Dokumentation bezeichnet 1080p und 4k als hochskalierte Ausgaben, Standardformat ist 16:9 und 9:16 kann angefordert werden. Für Ergebnisse über 4 MB, besonders oberhalb von 720p, verwenden Sie delivery="uri", warten auf den aktiven Dateistatus und laden dann herunter.

Entscheiden Sie zwischen durchgehender Einstellung und bewusstem Schnitt

Entscheiden Sie zwischen durchgehender Einstellung und beabsichtigtem Schnitt. In einem Verlängerungs-Prompt bezeichnet 0s den Beginn des neuen Abschnitts, nicht den Anfang des Quellclips. Fordern Sie eine „einzige durchgehende Einstellung“ und „keine Schnitte“, wenn die Handlung nicht unterbrochen werden darf. Bei einem geplanten Schnitt geben Sie den Zeitpunkt innerhalb der Fortsetzung an.

Bewahren Sie Quellclip und Grenzbilder auf

Bewahren Sie Quellclip und beide Grenzbilder auf. Der offizielle Prompt-Leitfaden erklärt, dass Omni die letzten zehn Sekunden als Kontext nutzt und einige Schlussframes der Eingabe verändern kann, um den Übergang herzustellen. Ein Vergleich von Quelle und Ausgabe gehört deshalb zur Kontinuitätsprüfung.

Quellclip vorhanden? Verlängern Sie ihn am Ende

Verwenden Sie die Verlängerung, wenn bereits Video vorliegt und Handlung, Kamerafahrt oder Szene einige Sekunden weitergehen sollen. Starten Sie mit einer minimalen 720p-Anfrage und verschärfen Sie danach Vorgaben für Motiv, Bewegung, Kamera und Ton.

Starten Sie mit einer minimalen 720p-Anfrage

Das Python-Beispiel lädt den Clip über die Files API hoch, wartet auf die Verarbeitung und übergibt URI und Anweisung an interactions.create. Es bleibt bei 720p, damit Sie zuerst die Kontinuität und danach die Hochauflösungsbereitstellung lösen.

import base64
import time
from google import genai

client = genai.Client()
video_file = client.files.upload(file="my_video.mp4")

while video_file.state == "PROCESSING":
    time.sleep(10)
    video_file = client.files.get(name=video_file.name)

if video_file.state == "FAILED":
    raise ValueError(video_file.state)

interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    input=[
        {"type": "video", "uri": video_file.uri},
        {
            "type": "text",
            "text": (
                "Setze die Szene als eine ununterbrochene Einstellung fort. "
                "Behalte Motiv, Kleidung, Kamerarichtung, Licht und Bewegungstempo bei. Keine Schnitte und kein neuer Dialog."
            ),
        },
    ],
    response_format={"type": "video", "resolution": "720p"},
)

with open("extended.mp4", "wb") as f:
    f.write(base64.b64decode(interaction.output_video.data))

Formulieren Sie beobachtbare Bedingungen

Bleiben Sie nicht bei „Szene fortsetzen“. Beschreiben Sie mindestens fünf beobachtbare Dimensionen: was am Motiv gleich bleiben muss, wie die Handlung weitergeht, wie sich die Kamera bewegt, ob Licht und Umgebung wechseln dürfen und ob Schnitt oder neuer Ton erlaubt sind. „Die rechte Hand steigt mit gleichem Tempo weiter“ ist prüfbar; „natürlich machen“ nicht.

Setzen Sie task nur bei falscher Moduswahl

Falls der Prompt den Modus nicht auslöst, kann unter generation_config die Angabe {"video_config": {"task": "extend"}} ergänzt werden. Der Leitfaden empfiehlt zuerst den Prompt, weil task strengere Einschränkungen setzt. Ein im vorherigen Turn erzeugtes Video lässt sich mit previous_interaction_id ohne erneuten Upload fortsetzen. Dafür muss der Zustand gespeichert sein; ein Ergebnis mit store=false kann später nicht über diese ID bearbeitet werden.

Ändern Sie den Plan bei Dialog- oder Regionsgrenzen

Auch Sprache und Region setzen Grenzen. Ein hochgeladenes Video, in dem jemand spricht, kann derzeit nicht um neuen Dialog verlängert werden; eine stumme Fortsetzung oder ein Prompt ohne neue Sprache ist möglich. Gesprochene Fortsetzung wird bei mehrstufiger Verlängerung modellgenerierter Videos über previous_interaction_id unterstützt. Bearbeitung und Verlängerung hochgeladener Videos sind im EWR, in der Schweiz und im Vereinigten Königreich nicht verfügbar; die Verlängerung modellgenerierter Videos bleibt in verfügbaren Regionen unterstützt.

Nur Grenzbilder vorhanden? Erzeugen Sie die Bewegung dazwischen

Verwenden Sie die Interpolation, wenn Anfang und Ende klar sind, aber die Zwischenbewegung fehlt. Senden Sie beide Bilder in der richtigen Reihenfolge und beschreiben Sie, wie Motiv, Kamera und Umgebung vom ersten zum letzten Zustand gelangen.

Senden Sie zuerst beide Grenzbilder

Dieser Modus passt, wenn Anfang und Ende feststehen, aber die Bewegung fehlt. Legen Sie die Bilder in der richtigen Reihenfolge in input und beschreiben Sie, wie Motiv, Kamera und Umgebung vom Start zum Ziel gelangen. Das vollständige Beispiel kodiert lokale JPEGs als Base64 und fordert 720p an.

import base64
from pathlib import Path
from google import genai

client = genai.Client()

first_frame_b64 = base64.b64encode(Path("first.jpg").read_bytes()).decode()
last_frame_b64 = base64.b64encode(Path("last.jpg").read_bytes()).decode()

interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    input=[
        {"type": "image", "data": first_frame_b64, "mime_type": "image/jpeg"},
        {"type": "image", "data": last_frame_b64, "mime_type": "image/jpeg"},
        {
            "type": "text",
            "text": (
                "Erzeuge einen natürlichen Übergang vom ersten zum letzten Bild. "
                "Bewahre Identität und Kamerarichtung, halte die Bewegungsbahn kontinuierlich und vermeide abrupte Schnitte."
            ),
        },
    ],
    response_format={"type": "video", "resolution": "720p"},
)

with open("interpolation.mp4", "wb") as f:
    f.write(base64.b64decode(interaction.output_video.data))

Verwenden Sie image_to_video nur bei weiter falscher Moduswahl

Senden Sie die Bilder in der richtigen Reihenfolge und erklären Sie ausdrücklich, dass das erste den Anfang und das zweite das Ende festlegt. Bleibt der Modus falsch, ergänzen Sie image_to_video als task-Wert; dies unterstützt die Beschreibung von Motiv, Kamera und Bewegung, ersetzt sie aber nicht.

Je größer der Unterschied, desto genauer die Reihenfolge

Kompatible Grenzbilder vereinfachen die Spezifikation. Halten Sie Identität, Seitenverhältnis, Kameraachse und räumliche Anordnung möglichst konsistent. Bei großen Unterschieden legen Sie die Reihenfolge fest: zuerst dreht sich das Motiv, dann bewegt sich die Kamera, zuletzt ändert sich das Licht. Das ist Produktionspraxis, keine Ergebnisgarantie; die Ausgabe muss geprüft werden.

Ist das Ergebnis auslieferbar? Prüfen Sie Naht, Motiv, Bewegung und Ton

Maßstab ist nicht, ob das Ergebnis „ähnlich genug“ wirkt, sondern ob sich Fehler zeigen und in konkrete Anweisungen für den nächsten Versuch übersetzen lassen. Sehen Sie den Clip einmal normal, untersuchen Sie die Naht langsam oder Bild für Bild und hören Sie den Ton separat.

Dimension	Prüfpunkte	Brauchbare Formulierung für einen neuen Versuch
Motiv	Gesicht, Haare, Kleidung, Zubehör, Proportionen, Hände und Gegenstände	„Farbe des Mantels und Gegenstand in der rechten Hand beibehalten.“
Bewegung	Richtung, Tempo, Balance, Kontaktpunkte, Blick und Kamerabahn	„Schritt nach rechts ohne Beschleunigung oder Richtungswechsel fortsetzen.“
Schnitt und Bild	Sprung, Belichtung, Farbtemperatur, Schärfentiefe, Perspektive und Hintergrund	„Gleiche Kameraachse und Brennweite beibehalten; nicht schneiden.“
Ton	Atmosphäre, Beat, Dialog, Hall, Lautstärke, Klicks und neues Rauschen	„Atmosphäre fortsetzen, keinen Dialog ergänzen und Beat beibehalten.“

Bei Verlängerung die Naht, bei Interpolation beide Endpunkte prüfen

Bei der Verlängerung vergleichen Sie ungefähr die letzte Sekunde der Quelle mit der ersten der Fortsetzung und prüfen, ob ursprüngliche Schlussframes verändert wurden. Bei der Interpolation untersuchen Sie den Weg und bestätigen zusätzlich, dass der Start dem ersten Bild entspricht und das Ende das zweite wirklich erreicht, statt nur einen ähnlichen Stil zu zeigen.

Pro Revision nur eine Variable verschärfen

Verschärfen Sie pro Revision eine Hauptvariable. Korrigieren Sie zuerst Identität, dann Bewegung, danach Kamera und Ton. So lässt sich die Wirkung einer Anweisung besser zuordnen. „Der linke Ärmel wechselt an der Naht die Farbe“ ist nützlicher als „filmischer machen“.

Erzwingen Sie ungeeignete Aufgaben nicht mit diesem Endpoint

Dieser Endpoint ist kein Ein-Aufruf-Schnittsystem, wenn ein Plan in die Mitte eines langen Programms eingefügt, vorhandener Dialog fortgesetzt oder über mehrere Quellclips hinweg gearbeitet werden muss. Trifft eine der folgenden Grenzen zu, teilen Sie die Arbeit in Einstellungen oder wechseln Sie zuerst zu einem klassischen Schnittablauf.

• Hochgeladene Clips können nur am Ende verlängert werden und dürfen höchstens 10 Sekunden lang sein.
• Zu einem hochgeladenen Clip mit sprechender Person kann kein neuer Dialog ergänzt werden; Sprachbearbeitung wird ebenfalls nicht unterstützt.
• Audioreferenzen können nicht hochgeladen werden; Ton in einer Videoreferenz wird ignoriert.
• Maximal drei Videoreferenzen von je bis zu drei Sekunden werden unterstützt; Schlussfolgerungen über mehrere Videos hinweg nicht.
• Systemanweisungen, temperature, top_p, stop sequences und ein separates negative-prompt-Feld werden nicht unterstützt. Verbote gehören in den normalen Prompt.
• Jedes erzeugte Video enthält unsichtbares SynthID; Ein- und Ausgaben werden sicherheitsgefiltert.
• Die Dokumentation nennt englische Prompts vollständig unterstützt. Andere Sprachen wurden nicht bewertet und können abweichen.

Praktisch erzeugen Sie kurze Einstellungen separat und montieren und mischen sie anschließend in einem klassischen Editor. Das spart meist mehr Zeit, als eine Endverlängerung wiederholt zu mittiger Einfügung, Dialogfortsetzung oder Multi-Clip-Analyse zu zwingen.

Prüfen Sie diese Liste vor der Auslieferung

Ein erfolgreicher API-Aufruf ist keine Qualitätsfreigabe. Bestätigen Sie vor der Auslieferung, dass:

• Quellvideo, Ergebnis und beide Grenzbilder aufbewahrt wurden;
• Modell-ID, Auflösung und vollständiger Prompt dokumentiert sind;
• die Verlängerungsnaht Bild für Bild geprüft und Änderungen an den Quell-Endframes kontrolliert wurden;
• die Interpolation beim ersten Bild beginnt und das zweite tatsächlich erreicht;
• der Ton separat auf Lücken, Klicks oder neues Rauschen geprüft wurde;
• Region, Eingangsdauer, Dialog und Referenzgrenzen berücksichtigt wurden.

Bleibt ein Punkt ungeklärt, überarbeiten Sie das Ergebnis, statt es nur anhand des API-Status freizugeben.

Offizielle Quellen

• Videos mit Gemini Omni Flash generieren und bearbeiten
• Gemini API – Versionshinweise