使用语音 SDK 降低语音合成延迟

语音 SDK 将延迟持续时间放在 SpeechSynthesisResult 的属性集合中。 下面的示例代码显示了这些值。

var result = await synthesizer.SpeakTextAsync(text);
Console.WriteLine($"first byte latency: \t{result.Properties.GetProperty(PropertyId.SpeechServiceResponse_SynthesisFirstByteLatencyMs)} ms");
Console.WriteLine($"finish latency: \t{result.Properties.GetProperty(PropertyId.SpeechServiceResponse_SynthesisFinishLatencyMs)} ms");
// you can also get the result id, and send to us when you need help for diagnosis
var resultId = result.ResultId;

语音 SDK 度量了延迟，并将结果放在 SpeechSynthesisResult 的属性包中。 若要获取它们，请参阅以下代码。

auto result = synthesizer->SpeakTextAsync(text).get();
auto firstByteLatency = std::stoi(result->Properties.GetProperty(PropertyId::SpeechServiceResponse_SynthesisFirstByteLatencyMs));
auto finishedLatency = std::stoi(result->Properties.GetProperty(PropertyId::SpeechServiceResponse_SynthesisFinishLatencyMs));
// you can also get the result id, and send to us when you need help for diagnosis
auto resultId = result->ResultId;

语音 SDK 度量了延迟，并将结果放在 SpeechSynthesisResult 的属性包中。 若要获取它们，请参阅以下代码。

SpeechSynthesisResult result = synthesizer.SpeakTextAsync(text).get();
System.out.println("first byte latency: \t" + result.getProperties().getProperty(PropertyId.SpeechServiceResponse_SynthesisFirstByteLatencyMs) + " ms.");
System.out.println("finish latency: \t" + result.getProperties().getProperty(PropertyId.SpeechServiceResponse_SynthesisFinishLatencyMs) + " ms.");
// you can also get the result id, and send to us when you need help for diagnosis
String resultId = result.getResultId();

语音 SDK 度量了延迟，并将结果放在 SpeechSynthesisResult 的属性包中。 若要获取它们，请参阅以下代码。

result = synthesizer.speak_text_async(text).get()
first_byte_latency = int(result.properties.get_property(speechsdk.PropertyId.SpeechServiceResponse_SynthesisFirstByteLatencyMs))
finished_latency = int(result.properties.get_property(speechsdk.PropertyId.SpeechServiceResponse_SynthesisFinishLatencyMs))
# you can also get the result id, and send to us when you need help for diagnosis
result_id = result.result_id

语音 SDK 度量了延迟，并将结果放在 SPXSpeechSynthesisResult 的属性包中。 若要获取它们，请参阅以下代码。

SPXSpeechSynthesisResult *speechResult = [speechSynthesizer speakText:text];
int firstByteLatency = [intString [speechResult.properties getPropertyById:SPXSpeechServiceResponseSynthesisFirstByteLatencyMs]];
int finishedLatency = [intString [speechResult.properties getPropertyById:SPXSpeechServiceResponseSynthesisFinishLatencyMs]];
// you can also get the result id, and send to us when you need help for diagnosis
NSString *resultId = result.resultId;

可以使用语音 SDK 的 PullAudioOutputStream、PushAudioOutputStream、Synthesizing 事件和 AudioDataStream 来启用流式处理。

以 AudioDataStream 为例：

using (var synthesizer = new SpeechSynthesizer(config, null as AudioConfig))
{
    using (var result = await synthesizer.StartSpeakingTextAsync(text))
    {
        using (var audioDataStream = AudioDataStream.FromResult(result))
        {
            byte[] buffer = new byte[16000];
            uint filledSize = 0;
            while ((filledSize = audioDataStream.ReadData(buffer)) > 0)
            {
                Console.WriteLine($"{filledSize} bytes received.");
            }
        }
    }
}

可以使用语音 SDK 的 PullAudioOutputStream、PushAudioOutputStream、Synthesizing 事件 和 AudioDataStream 来启用流式处理。

以 AudioDataStream 为例：

auto synthesizer = SpeechSynthesizer::FromConfig(config, nullptr);
auto result = synthesizer->SpeakTextAsync(text).get();
auto audioDataStream = AudioDataStream::FromResult(result);
uint8_t buffer[16000];
uint32_t filledSize = 0;
while ((filledSize = audioDataStream->ReadData(buffer, sizeof(buffer))) > 0)
{
    cout << filledSize << " bytes received." << endl;
}

可以使用语音 SDK 的 PullAudioOutputStream、PushAudioOutputStream、Synthesizing 事件 和 AudioDataStream 来启用流式处理。

以 AudioDataStream 为例：

SpeechSynthesizer synthesizer = new SpeechSynthesizer(config, null);
SpeechSynthesisResult result = synthesizer.StartSpeakingTextAsync(text).get();
AudioDataStream audioDataStream = AudioDataStream.fromResult(result);
byte[] buffer = new byte[16000];
long filledSize = audioDataStream.readData(buffer);
while (filledSize > 0) {
    System.out.println(filledSize + " bytes received.");
    filledSize = audioDataStream.readData(buffer);
}

可以使用语音 SDK 的 PullAudioOutputStream、PushAudioOutputStream、Synthesizing 事件 和 AudioDataStream 来启用流式处理。

以 AudioDataStream 为例：

speech_synthesizer = speechsdk.SpeechSynthesizer(speech_config=speech_config, audio_config=None)
result = speech_synthesizer.start_speaking_text_async(text).get()
audio_data_stream = speechsdk.AudioDataStream(result)
audio_buffer = bytes(16000)
filled_size = audio_data_stream.read_data(audio_buffer)
while filled_size > 0:
    print("{} bytes received.".format(filled_size))
    filled_size = audio_data_stream.read_data(audio_buffer)

可以使用语音 SDK 的 SPXPullAudioOutputStream、SPXPushAudioOutputStream、Synthesizing 事件 和 SPXAudioDataStream 来启用流式处理。

以 AudioDataStream 为例：

SPXSpeechSynthesizer *synthesizer = [[SPXSpeechSynthesizer alloc] initWithSpeechConfiguration:speechConfig audioConfiguration:nil];
SPXSpeechSynthesisResult *speechResult = [synthesizer startSpeakingText:inputText];
SPXAudioDataStream *stream = [[SPXAudioDataStream alloc] initFromSynthesisResult:speechResult];
NSMutableData* data = [[NSMutableData alloc]initWithCapacity:16000];
while ([stream readData:data length:16000] > 0) {
    // Read data here
}

using (var synthesizer = new SpeechSynthesizer(uspConfig, null as AudioConfig))
{
    using (var connection = Connection.FromSpeechSynthesizer(synthesizer))
    {
        connection.Open(true);
    }
    await synthesizer.SpeakTextAsync(text);
}

auto synthesizer = SpeechSynthesizer::FromConfig(config, nullptr);
auto connection = Connection::FromSpeechSynthesizer(synthesizer);
connection->Open(true);

SpeechSynthesizer synthesizer = new SpeechSynthesizer(speechConfig, (AudioConfig) null);
Connection connection = Connection.fromSpeechSynthesizer(synthesizer);
connection.openConnection(true);

synthesizer = speechsdk.SpeechSynthesizer(config, None)
connection = speechsdk.Connection.from_speech_synthesizer(synthesizer)
connection.open(True)

SPXSpeechSynthesizer* synthesizer = [[SPXSpeechSynthesizer alloc]initWithSpeechConfiguration:self.speechConfig audioConfiguration:nil];
SPXConnection* connection = [[SPXConnection alloc]initFromSpeechSynthesizer:synthesizer];
[connection open:true];

若要使用文本流式处理功能，请连接到 Websocket V2 终结点：wss://{region}.tts.speech.azure.cn/cognitiveservices/websocket/v2

请参阅用于设置终结点的示例代码：

// IMPORTANT: MUST use the websocket v2 endpoint
var ttsEndpoint = $"wss://{Environment.GetEnvironmentVariable("AZURE_TTS_REGION")}.tts.speech.azure.cn/cognitiveservices/websocket/v2";
var speechConfig = SpeechConfig.FromEndpoint(
    new Uri(ttsEndpoint),
    Environment.GetEnvironmentVariable("AZURE_TTS_API_KEY"));

关键步骤

1. 创建文本流请求：使用 SpeechSynthesisRequestInputType.TextStream 启动文本流。

2. 设置全局属性：直接调整输出格式和语音名称等设置，此功能可处理部分文本输入，不支持 SSML。 有关如何设置它们的说明，请参阅以下示例代码。 文本流式处理功能不支持 OpenAI 文本转语音声音。 有关完整语言支持，请参阅此语言表。

   // Set output format
   speechConfig.SetSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat.Raw24Khz16BitMonoPcm);
   
   // Set a voice name
   SpeechConfig.SetProperty(PropertyId.SpeechServiceConnection_SynthVoice, "en-US-AvaMultilingualNeural");
   

3. 流式传输文本：对于从 GPT 模型生成的每个文本区块，使用 request.InputStream.Write(text); 将文本发送到流。

4. 关闭流：GPT 模型完成输出后，使用 request.InputStream.Close(); 关闭流。

有关详细实现，请参阅 GitHub 上的示例代码

若要使用文本流式处理功能，请连接到 Websocket V2 终结点：wss://{region}.tts.speech.azure.cn/cognitiveservices/websocket/v2

请参阅用于设置终结点的示例代码：

# IMPORTANT: MUST use the websocket v2 endpoint
speech_config = speechsdk.SpeechConfig(endpoint=f"wss://{os.getenv('AZURE_TTS_REGION')}.tts.speech.azure.cn/cognitiveservices/websocket/v2",
                                       subscription=os.getenv("AZURE_TTS_API_KEY"))

关键步骤

1. 创建文本流请求：使用 speechsdk.SpeechSynthesisRequestInputType.TextStream 启动文本流。

2. 设置全局属性：直接调整输出格式和语音名称等设置，此功能可处理部分文本输入，不支持 SSML。 有关如何设置它们的说明，请参阅以下示例代码。 文本流式处理功能不支持 OpenAI 文本转语音声音。 有关完整语言支持，请参阅此语言表。

   # set a voice name
   speech_config.speech_synthesis_voice_name = "en-US-AvaMultilingualNeural"
   

3. 流式传输文本：对于从 GPT 模型生成的每个文本区块，使用 request.input_stream.write(text) 将文本发送到流。

4. 关闭流：GPT 模型完成输出后，使用 request.input_stream.close() 关闭流。

有关详细实现，请参阅 GitHub 上的示例代码。

目前尚未提供 C++ 示例代码。 有关演示如何使用文本流式处理的示例代码，请参阅：

• C# 代码示例
• Python 示例代码

有关演示如何使用文本流式处理的示例代码，请参阅：

• C# 代码示例
• Python 示例代码

有关演示如何使用文本流式处理的示例代码，请参阅：

• C# 代码示例
• Python 示例代码