Skip to navigation
Praktische handleidingenMuziek

Muziek-inpainting

Secties van bestaande nummers bewerken en combineren

Met muziek-inpainting met het model music_v2 of music_v2_5 kun je specifieke delen van een nummer wijzigen terwijl de rest intact blijft. Sla een gegenereerd nummer op en verwijs vervolgens naar delen ervan in een compositieplan om ze ongewijzigd te houden, opnieuw te genereren of nieuwe audio op het origineel te baseren.

Zo werkt het

Een compositieplan voor music_v2 of music_v2_5 is een geordende lijst met chunks. Elke chunk is een van twee typen:

  • Generatiechunk — genereert nieuwe audio vanuit text en stijlen. Gebruik deze om een sectie opnieuw te genereren of nieuw materiaal toe te voegen.
  • Audioreferentiechunk — voegt een segment van een opgeslagen nummer ongewijzigd in. Gebruik deze om een sectie van een bestaand nummer precies te behouden zoals deze is.

Quickstart

1

Een nummer opslaan voor inpainting

Je kunt een nummer op twee manieren opslaan voor inpainting: genereer een nieuw nummer met store_for_inpainting, of upload een bestaand audiobestand.

import os
from dotenv import load_dotenv
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(api_key=os.environ.get("ELEVENLABS_API_KEY"))
# Generate a song and store it for later inpainting
response = elevenlabs.music.compose_detailed(
    prompt="An upbeat pop song with verse and chorus",
    music_length_ms=60000,
    model_id="music_v2_5",
    store_for_inpainting=True
)
song_id = response.song_id
# Save the audio
with open("original.mp3", "wb") as f:
    f.write(response.audio)
2

Chunks behouden en opnieuw genereren

Maak een plan dat audioreferentiechunks (behouden) combineert met generatiechunks (opnieuw gegenereerd) en geef dit vervolgens door aan compose met model_id="music_v2_5":

# Keep the first 30 seconds, regenerate the rest with a new style
composition_plan = {
    "chunks": [
        # Keep the original first 30 seconds unchanged
        {
            "song_id": song_id,
            "range": {"start_ms": 0, "end_ms": 30000}
        },
        # Regenerate the chorus with a new style
        {
            "text": "[Chorus]\nWe're rising up tonight\nNothing can stop us now",
            "duration_ms": 30000,
            "positive_styles": ["bigger drums", "layered vocals", "anthemic"],
            "negative_styles": ["sparse", "minimal"],
            "context_adherence": "high"
        }
    ]
}
audio = elevenlabs.music.compose(
    composition_plan=composition_plan,
    model_id="music_v2_5",
)
with open("edited.mp3", "wb") as f:
    for chunk in audio:
        f.write(chunk)

Conditionering

Een generatiechunk kan met conditioning_ref worden gebaseerd op een segment opgeslagen audio. Het model genereert de chunk opnieuw, terwijl het dicht bij de muzikale kenmerken van de referentie blijft. Bepaal met condition_strength (low, medium, high of xhigh) hoe nauw de chunk de referentie volgt.

{
  "text": "[Chorus]\nThis is my moment\nI won't let it go",
  "duration_ms": 15000,
  "positive_styles": ["powerful vocals", "full band", "anthemic"],
  "negative_styles": [],
  "context_adherence": "high",
  "conditioning_ref": {
    "song_id": "vVtPM1Sas70E2LIhQFch",
    "range": { "start_ms": 30000, "end_ms": 45000 }
  },
  "condition_strength": "high"
}

De eerste chunk beïnvloedt de generatie van alle volgende chunks. Pas conditioning_ref toe vanaf de eerste chunk om het hele nummer op een referentie te baseren.

Een conditioneringsreferentie mag maximaal 30 seconden (30.000 ms) lang zijn.

Contextgetrouwheid

Elke generatiechunk heeft een niveau voor context_adherence dat bepaalt hoe nauw deze de aangrenzende chunks volgt:

  • high (standaard) — blijft consistent met omringende chunks. Gebruik dit voor soepele overgangen tussen behouden en opnieuw gegenereerde audio.
  • medium — balanceert consistentie met creatieve vrijheid.
  • low — laat de chunk afwijken van de context en creatiever zijn.

Voorbeelden

Eén sectie bewerken

Genereer een filmtrailer en genereer vervolgens alleen de outro opnieuw met een andere songtekst.

1

Het origineel genereren

composition_plan = {
    "chunks": [
        {
            "text": "[Intro]\nIn a world beyond code\nWhere sound becomes life",
            "duration_ms": 15000,
            "positive_styles": ["cinematic", "epic", "orchestral", "low strings", "suspenseful"],
            "negative_styles": ["acoustic", "pop", "minimalistic"],
            "context_adherence": "high"
        },
        {
            "text": "[Build]\nTechnology awakens the future\nShaping every word into power",
            "duration_ms": 20000,
            "positive_styles": ["rising brass", "full orchestra", "epic"],
            "negative_styles": ["acoustic", "pop"],
            "context_adherence": "high"
        },
        {
            "text": "[Bridge]\n(ah ah ah ah)",
            "duration_ms": 15000,
            "positive_styles": ["ethereal choir", "crescendo"],
            "negative_styles": [],
            "context_adherence": "high"
        },
        {
            "text": "[Outro]\nThe voice of tomorrow, unleashed\nElevenLabs",
            "duration_ms": 10000,
            "positive_styles": ["deep narration", "epic finale"],
            "negative_styles": [],
            "context_adherence": "high"
        }
    ]
}
response = elevenlabs.music.compose_detailed(
    composition_plan=composition_plan,
    model_id="music_v2_5",
    store_for_inpainting=True
)
song_id = response.song_id
2

Alleen de outro bewerken

Behoud de eerste drie secties (seconden 0–50) met één audioreferentiechunk en genereer de outro opnieuw:

edited_plan = {
    "chunks": [
        # Keep the intro, build, and bridge unchanged
        {
            "song_id": song_id,
            "range": {"start_ms": 0, "end_ms": 50000}
        },
        # Regenerate the outro with new lyrics
        {
            "text": "[Outro]\nThe future has arrived\nElevenLabs",
            "duration_ms": 10000,
            "positive_styles": ["deep narration", "epic finale"],
            "negative_styles": [],
            "context_adherence": "high"
        }
    ]
}
audio = elevenlabs.music.compose(composition_plan=edited_plan, model_id="music_v2_5")

Een nummer verlengen

Voeg een nieuwe intro en outro toe aan een bestaand nummer.

1

Het origineel genereren

response = elevenlabs.music.compose_detailed(
    prompt="Berlin night club techno",
    music_length_ms=60000,
    model_id="music_v2_5",
    store_for_inpainting=True
)
song_id = response.song_id
2

Verlengen met nieuwe intro en outro

Plaats een behouden segment van het origineel tussen twee nieuwe generatiechunks:

extend_plan = {
    "chunks": [
        # New intro
        {
            "text": "[Intro]",
            "duration_ms": 30000,
            "positive_styles": ["techno", "building tension", "filtered synths"],
            "negative_styles": [],
            "context_adherence": "high"
        },
        # Keep the core of the original (seconds 10-50)
        {
            "song_id": song_id,
            "range": {"start_ms": 10000, "end_ms": 50000}
        },
        # New outro
        {
            "text": "[Outro]",
            "duration_ms": 30000,
            "positive_styles": ["techno", "fading out", "sparse"],
            "negative_styles": [],
            "context_adherence": "high"
        }
    ]
}
audio = elevenlabs.music.compose(composition_plan=extend_plan, model_id="music_v2_5")

Een naadloze loop maken

Genereer een muzikale frase en maak een loop met een “lijm”-chunk die hetzelfde segment dat twee keer wordt herhaald overbrugt.

1

Een korte clip genereren

composition_plan = {
    "chunks": [
        {
            "text": "[Solo Acoustic]",
            "duration_ms": 10000,
            "positive_styles": ["acoustic guitar", "fingerpicking", "warm tone", "soft dynamics"],
            "negative_styles": ["electric", "drums", "electronic"],
            "context_adherence": "high"
        }
    ]
}
response = elevenlabs.music.compose_detailed(
    composition_plan=composition_plan,
    model_id="music_v2_5",
    store_for_inpainting=True
)
song_id = response.song_id
2

Een loop maken met een lijm-chunk

loop_plan = {
    "chunks": [
        # Loop start - keep a slice of the original
        {
            "song_id": song_id,
            "range": {"start_ms": 3000, "end_ms": 8000}
        },
        # Glue - generate a smooth transition between the two slices
        {
            "text": "[Glue]",
            "duration_ms": 3000,
            "positive_styles": ["acoustic guitar", "fingerpicking", "smooth transition"],
            "negative_styles": [],
            "context_adherence": "high"
        },
        # Loop end - keep the same slice again
        {
            "song_id": song_id,
            "range": {"start_ms": 3000, "end_ms": 8000}
        }
    ]
}
audio = elevenlabs.music.compose(composition_plan=loop_plan, model_id="music_v2_5")

Een vergelijkbaar nummer genereren

Baseer een volledig nieuw nummer op een kort segment van een bestaand nummer om de muzikale kenmerken ervan over te nemen. Omdat de eerste chunk elke volgende chunk beïnvloedt, geeft het toepassen van conditioning_ref op de eerste chunk vorm aan de hele generatie, ook al verwijst alleen die chunk naar de opgeslagen audio.

1

Het origineel genereren

response = elevenlabs.music.compose_detailed(
    prompt="An upbeat pop song with bright synths and driving drums",
    music_length_ms=60000,
    model_id="music_v2_5",
    store_for_inpainting=True
)
song_id = response.song_id
2

Een nieuw nummer genereren op basis van het origineel

similar_plan = {
    "chunks": [
        # The first chunk conditions the whole song on the reference
        {
            "text": "[Verse]\nSalt on my skin from a borrowed sea\nCounting the heartbeats it takes to break free",
            "duration_ms": 30000,
            "positive_styles": ["pop", "energetic", "bright synths", "driving drums"],
            "negative_styles": ["sparse", "minimal"],
            "context_adherence": "high",
            "conditioning_ref": {
                "song_id": song_id,
                "range": {"start_ms": 0, "end_ms": 10000}
            },
            "condition_strength": "high"
        },
        {
            "text": "[Chorus]\nWe're rising up tonight\nNothing can stop us now",
            "duration_ms": 30000,
            "positive_styles": ["bigger drums", "layered vocals", "anthemic"],
            "negative_styles": ["sparse", "minimal"],
            "context_adherence": "high"
        }
    ]
}
audio = elevenlabs.music.compose(composition_plan=similar_plan, model_id="music_v2_5")

Chunkreferentie

Een music_v2-plan bevat maximaal 30 chunks. Elke chunk is een generatiechunk of een audioreferentiechunk.

Generatiechunk

VeldTypeBeschrijving
textstringSectienaam tussen vierkante haken ([Verse 1]), songtekstregels en inline aanwijzingen tussen accolades ({scratching}).
duration_msnumberLengte in milliseconden (3.000 - 120.000).
positive_stylesarrayStijlen en aanwijzingen om op te nemen (max. 50).
negative_stylesarrayStijlen en aanwijzingen om te vermijden (max. 50). Standaard leeg.
context_adherencestringlow, medium of high (standaard). Hoe nauw de chunk de omringende chunks volgt.
conditioning_refobject | nullOptionele slice { song_id, range } van opgeslagen audio waarop geconditioneerd wordt. Standaard null.
condition_strengthstring | nulllow, medium (standaard), high of xhigh. Hoe sterk de chunk de conditioneringsreferentie volgt.

De stijlen voor de eerste chunk zijn het belangrijkst, omdat ze de algehele toon en het genre bepalen. Streef naar minimaal 6-7 stijlen in de eerste chunks, totdat de richting is bepaald.

Audioreferentiechunk

VeldTypeBeschrijving
song_idstringID van het opgeslagen nummer waaruit audio wordt gehaald.
rangeobjectSlice { start_ms, end_ms } van het opgeslagen nummer die ongewijzigd wordt ingevoegd.

Beperkingen

BeperkingWaarde
Maximum aantal chunks per plan30
Minimale chunkduur3 seconden (3.000 ms)
Maximale chunkduur2 minuten (120.000 ms)
Maximale conditioneringsreferentie30 seconden (30.000 ms)
Minimale tijdrange50 ms

Volgende stappen

Compositieplannen

Leer de basis van compositieplannen

API-referentie

Volledige API-documentatie