Professional Voice Cloning-snabbstart | ElevenLabs Documentation

Den här guiden visar hur du skapar en Professional Voice Clone (PVC) med PVC API. För att skapa en PVC via instrumentpanelen, se produktguiden Professional Voice Clone.

För att skapa en PVC behöver du ha Creator-planen eller högre.

För en djupgående förklaring av hur IVC och PVC fungerar bakom kulisserna och när du ska välja respektive, se Röstkloning: så fungerar det.

Om du är osäker på vad som är tillåtet ur ett juridiskt perspektiv, se användarvillkoren och vår information om AI-säkerhet för mer information.

Att skapa en PVC via API:t omfattar betydligt fler steg än att skapa en Instant Voice Clone. Det beror på att PVC:er är mer komplexa och kräver mer data och finjustering för att skapa en klon av hög kvalitet.

Använda Professional Voice Clone API

Den här guiden förutsätter att du har konfigurerat din API-nyckel och SDK. Slutför snabbstarten först om du inte redan har gjort det.

Skapa en PVC-röst

Skapa en ny fil med namnet example.py eller example.mts, beroende på vilket språk du väljer, och lägg till följande kod för att skapa en PVC-röst:

# example.py
import os
import time
import base64
from contextlib import ExitStack
from io import BytesIO
from dotenv import load_dotenv
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
  api_key=os.getenv("ELEVENLABS_API_KEY"),
)
voice = elevenlabs.voices.pvc.create(
    name="My Professional Voice Clone",
    language="en",
    description="A professional voice clone of my voice"
)
print(voice)

Ladda upp ljudfiler

Därefter laddar vi upp ljudexempelfilerna som ska användas för att träna PVC:n. Läs avsnittet Tips och förslag i PVC-produktguiden för mer information om hur du får bäst resultat från dina ljudfiler.

# Define the list of file paths explicitly
# Replace with the paths to your audio and/or video files.
# The more files you add, the better the clone will be.
sample_file_paths = [
    "/path/to/your/first_sample.mp3",
    "/path/to/your/second_sample.wav",
    "relative/path/to/another_sample.mp4"
]
samples = None
files_to_upload = []
# Use ExitStack to manage multiple open files
with ExitStack() as stack:
    for filepath in sample_file_paths:
        # Open each file and add it to the stack
        audio_file = stack.enter_context(open(filepath, "rb"))
        filename = os.path.basename(filepath)
        # Create a File object for the SDK
        files_to_upload.append(
            BytesIO(audio_file.read())
        )
    samples = elevenlabs.voices.pvc.samples.create(
        voice_id=voice.voice_id,
        files=files_to_upload # Pass the list of File objects
    )

Starta talarseparation

I det här steget försöker vi dela upp ljudfilerna i enskilda talare. Det krävs om du laddar upp ljud med flera talare.

sample_ids_to_check = []
for sample in samples:
    if sample.sample_id:
        print(f"Starting separation for sample: {sample.sample_id}")
        elevenlabs.voices.pvc.samples.speakers.separate(
            voice_id=voice.voice_id,
            sample_id=sample.sample_id
        )
        sample_ids_to_check.append(sample.sample_id)
while sample_ids_to_check:
    # Create a copy of the list to iterate over, so we can remove items from the original
    ids_in_batch = list(sample_ids_to_check)
    for sample_id in ids_in_batch:
        status_response = elevenlabs.voices.pvc.samples.speakers.get(
            voice_id=voice.voice_id,
            sample_id=sample_id
        )
        status = status_response.status
        print(f"Sample {sample_id} status: {status}")
        if status == "completed" or status == "failed":
            sample_ids_to_check.remove(sample_id)
    if sample_ids_to_check:
        # Wait before the next poll cycle
        time.sleep(5) # Wait for 5 seconds
print("All samples have been processed or removed from polling.")

Hämta talarljud

Eftersom föregående steg tar en stund att slutföra bör följande steg köras i en separat process när föregående steg har slutförts.

När talarseparationen är klar har du en lista över talare för varje exempel. Om exempel innehåller flera talare måste du välja den talare som du vill använda för PVC:n. För att identifiera talaren kan du hämta ljudet för varje talare och lyssna på dem.

# Get the list of samples from the voice created in Step 3
voice = elevenlabs.voices.get(voice_id=voice_id)
samples = voice.samples
# Loop over each sample and save the audio for each speaker to a file
speaker_audio_output_dir = "path/to/speakers/"
if not os.path.exists(speaker_audio_output_dir):
    os.makedirs(speaker_audio_output_dir)
for sample in samples:
    speaker_info = elevenlabs.voices.pvc.samples.speakers.get(
        voice_id=voice.voice_id,
        sample_id=sample.sample_id
    )
    # Proceed only if separation is actually complete
    if getattr(speaker_info, 'status', 'unknown') != "completed":
        continue
    if hasattr(speaker_info, 'speakers') and speaker_info.speakers:
        speaker_list = speaker_info.speakers
        if isinstance(speaker_info.speakers, dict):
            speaker_list = speaker_info.speakers.values()
        for speaker in speaker_list:
            audio_response = elevenlabs.voices.pvc.samples.speakers.audio.get(
                voice_id=voice.voice_id,
                sample_id=sample.sample_id,
                speaker_id=speaker.speaker_id
            )
            audio_base64 = audio_response.audio_base_64
            audio_data = base64.b64decode(audio_base64)
            output_filename = os.path.join(speaker_audio_output_dir, f"sample_{sample.sample_id}_speaker_{speaker.speaker_id}.mp3")
            with open(output_filename, "wb") as f:
                f.write(audio_data)

Uppdatera exempel med talar-ID:n

När talarseparationen är klar kan du uppdatera exemplen för att välja vilken talare du vill använda för PVC:n.

elevenlabs.voices.pvc.samples.update(
    voice_id=voice.voice_id,
    sample_id=sample.sample_id,
    selected_speaker_ids=[speaker.speaker_id]
)

Verifiera PVC:n

Innan träningen kan börja krävs ett verifieringssteg för att säkerställa att du har tillstånd att använda rösten. Begär först verifierings-CAPTCHA:n.

captcha_response = elevenlabs.voices.pvc.verification.captcha.get(voice.voice_id)
# Save captcha image to file
captcha_buffer = base64.b64decode(captcha_response)
with open('captcha.png', 'wb') as f:
    f.write(captcha_buffer)

Bilden innehåller flera textrader som röstens ägare behöver läsa upp och spela in. När det är klart skickar du inspelningen för att verifiera röstägarens identitet.

elevenlabs.voices.pvc.verification.captcha.verify(
    voice_id=voice.voice_id,
    recording=open('path/to/recording.mp3', 'rb')
)

(Valfritt) Begär manuell verifiering

Om du inte kan verifiera CAPTCHA:n kan du begära manuell verifiering. Observera att det tar längre tid att behandla.

Detta bör endast användas om de tidigare verifieringsstegen har misslyckats eller inte är möjliga, till exempel om röstens ägare är synskadad.

Kontakta supporten för en lista över filer som krävs för manuell verifiering, eftersom varje fall kan vara unikt.

elevenlabs.voices.pvc.verification.request(
    voice_id=voice.voice_id,
    files=[open('path/to/verification/files.txt', 'rb')],
)

Träna PVC:n

Starta sedan träningsprocessen. Hur lång tid det tar beror på längden och antalet exempel som har angetts.

elevenlabs.voices.pvc.train(
    voice_id=voice.voice_id,
    # Specify the model the PVC should be trained on
    model_id="eleven_multilingual_v2"
)
# Poll the fine tuning status until it is complete or fails
# This example specifically checks for the eleven_multilingual_v2 model
while True:
    voice_details = elevenlabs.voices.get(voice_id=voice.voice_id)
    fine_tuning_state = None
    if voice_details.fine_tuning and voice_details.fine_tuning.state:
        fine_tuning_state = voice_details.fine_tuning.state.get("eleven_multilingual_v2")
    if fine_tuning_state:
        progress = None
        if voice_details.fine_tuning.progress and voice_details.fine_tuning.progress.get("eleven_multilingual_v2"):
            progress = voice_details.fine_tuning.progress.get("eleven_multilingual_v2")
        print(f"Fine tuning progress: {progress}")
        if fine_tuning_state == "fine_tuned" or fine_tuning_state == "failed":
            print("Fine tuning completed or failed")
            break
    # Wait for 5 seconds before polling again
    time.sleep(5)

Använd den nyss skapade rösten

När PVC:n har verifierats kan du använda den på samma sätt som vilken annan röst som helst. Se Text to Speech-snabbstarten för mer information om hur du använder en röst.

Nästa steg

Instant Voice Cloning

Skapa en röstklon från ett kort ljudexempel utan träning.

Röstkloning: så fungerar det

Förstå de tekniska skillnaderna mellan IVC och PVC och när du ska välja respektive.