Eventos de áudio - referência

Eventos em tempo real são usados para se comunicar entre o cliente e o servidor em aplicativos de áudio em tempo real. Os eventos são enviados como objetos JSON em vários pontos de extremidade, como WebSockets ou WebRTC. Os eventos são usados para gerenciar a conversa, os buffers de áudio e as respostas em tempo real.

Você pode usar eventos de servidor e cliente de áudio com estas APIs:

• Azure OpenAI Realtime API
• API em tempo real do Azure AI Voice

A menos que especificado de outra forma, os eventos descritos neste documento são aplicáveis a ambas as APIs.

Eventos do cliente

Há nove eventos de cliente que podem ser enviados do cliente para o servidor:

RealtimeClientEventConversationItemCreate

O evento conversation.item.create do cliente é usado para adicionar um novo item ao contexto da conversa, incluindo mensagens, chamadas de função e respostas às chamadas de função. Esse evento pode ser usado para preencher um histórico da conversa e adicionar novos itens no meio do caminho. Atualmente, esse evento não pode preencher mensagens de áudio do assistente.

Se for bem-sucedido, o servidor responde com um evento conversation.item.created, caso contrário, um evento error é enviado.

Estrutura do evento

{
  "type": "conversation.item.create",
  "previous_item_id": "<previous_item_id>"
}

Propriedades

RealtimeClientEventConversationItemDelete

O evento conversation.item.delete do cliente é usado para remover um item do histórico de conversas.

O servidor responde com um evento conversation.item.deleted, a menos que o item não exista no histórico de conversas, caso em que o servidor responde com um erro.

Estrutura do evento

{
  "type": "conversation.item.delete",
  "item_id": "<item_id>"
}

Propriedades

RealtimeClientEventConversationItemRetrieve

O evento cliente conversation.item.retrieve é usado para recuperar a representação do servidor de um item específico no histórico da conversa. Esse evento é útil, por exemplo, para inspecionar o áudio do usuário após o cancelamento de ruído e o VAD.

Se o evento do cliente for bem-sucedido, o servidor responderá com um evento conversation.item.retrieved. Se o item não existir no histórico de conversas, o servidor responderá com um erro.

Estrutura do evento

{
  "type": "conversation.item.retrieve",
  "item_id": "<item_id>",
  "event_id": "<event_id>"
}

Propriedades

RealtimeClientEventConversationItemTruncate

O evento conversation.item.truncate do cliente é usado para truncar o áudio de uma mensagem anterior do assistente. O servidor produz áudio mais rápido do que em tempo real, então esse evento é útil quando o usuário interrompe para truncar o áudio que foi enviado ao cliente, mas ainda não foi reproduzido. A compreensão do áudio pelo servidor com a reprodução do cliente é sincronizada.

Truncar o áudio exclui a transcrição do texto do lado do servidor para garantir que não haja texto no contexto que o usuário não conheça.

Se o evento do cliente for bem-sucedido, o servidor responderá com um evento conversation.item.truncated.

Estrutura do evento

{
  "type": "conversation.item.truncate",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Propriedades

RealtimeClientEventInputAudioBufferAppend

O evento input_audio_buffer.append do cliente é usado para anexar bytes de áudio ao buffer de áudio de entrada. O buffer de áudio é um armazenamento temporário no qual você pode gravar e depois confirmar.

No modo VAD (Voice Activity Detection) do servidor, o buffer de áudio é usado para detectar a fala e o servidor decide quando confirmar. Quando o VAD do servidor é desabilitado, o cliente pode escolher quanto áudio colocar em cada evento até um máximo de 15 MiB. Por exemplo, transmitir partes menores do cliente pode permitir que o VAD seja mais responsivo.

Ao contrário da maioria dos outros eventos do cliente, o servidor não envia uma resposta de confirmação ao evento do cliente input_audio_buffer.append.

Estrutura do evento

{
  "type": "input_audio_buffer.append",
  "audio": "<audio>"
}

Propriedades

RealtimeClientEventInputAudioBufferClear

O evento input_audio_buffer.clear do cliente é usado para limpar os bytes de áudio no buffer.

O servidor responde com um evento input_audio_buffer.cleared.

Estrutura do evento

{
  "type": "input_audio_buffer.clear"
}

Propriedades

RealtimeClientEventInputAudioBufferCommit

O evento input_audio_buffer.commit do cliente é usado para confirmar o buffer de áudio da entrada do usuário, o que cria um novo item de mensagem do usuário na conversa. O áudio será transcrito se input_audio_transcription estiver configurado para a sessão.

Quando estiver no modo VAD do servidor, o cliente não precisa enviar esse evento, o servidor confirma o buffer de áudio automaticamente. Sem o VAD do servidor, o cliente deve confirmar o buffer do áudio para criar um item de mensagem do usuário. Esse evento de cliente produz um erro se o buffer do áudio de entrada estiver vazio.

A confirmação do buffer de áudio de entrada não cria uma resposta do modelo.

O servidor responde com um evento input_audio_buffer.committed.

Estrutura do evento

{
  "type": "input_audio_buffer.commit"
}

Propriedades

RealtimeClientEventOutputAudioBufferClear

O evento output_audio_buffer.clear do cliente é usado para limpar os bytes de áudio no buffer.

Esse evento deve ser precedido por um response.cancel evento cliente para interromper a geração da resposta atual.

O servidor para de gerar áudio e responde com um output_audio_buffer.cleared evento.

Estrutura do evento

{
  "type": "output_audio_buffer.clear"
}

Propriedades

RealtimeClientEventResponseCancel

O evento response.cancel de cliente é usado para cancelar uma resposta em andamento.

O servidor responde com um evento response.cancelled ou um erro se não houver resposta para cancelar.

Estrutura do evento

{
  "type": "response.cancel"
}

Propriedades

RealtimeClientEventResponseCreate

O evento response.create do cliente é usado para instruir o servidor a criar uma resposta por meio de inferência de modelo. Quando a sessão é configurada no modo VAD do servidor, o servidor cria respostas automaticamente.

Uma resposta inclui pelo menos um item e pode ter dois, caso em que o segundo é uma chamada de função. Esses itens são anexados ao histórico de conversas.

O servidor responde com um evento response.created, um ou mais itens e eventos de conteúdo (como conversation.item.created e response.content_part.added), e, por fim, um evento response.done para indicar que a resposta foi concluída.

Estrutura do evento

{
  "type": "response.create"
}

Propriedades

EventoDeAtualizaçãoDeSessãoDoClienteEmTempoReal

O evento session.update de cliente é usado para atualizar a configuração padrão da sessão. O cliente pode enviar esse evento a qualquer momento para atualizar a configuração da sessão, e qualquer campo pode ser atualizado a qualquer momento, exceto voz.

Somente os campos presentes são atualizados. Para limpar um campo (como instructions), passe uma cadeia de caracteres vazia.

O servidor responde com um evento session.updated que contem a configuração efetiva completa.

Estrutura do evento

{
  "type": "session.update"
}

Propriedades

Eventos do servidor

Há 28 eventos de servidor que podem ser recebidos do servidor:

RealtimeServerEventConversationCreated

O evento conversation.created do servidor é retornado logo após a criação da sessão. Uma conversa é criada por sessão.

Estrutura do evento

{
  "type": "conversation.created",
  "conversation": {
    "id": "<id>",
    "object": "<object>"
  }
}

Propriedades

Propriedades de conversação

RealtimeServerEventConversationItemCreated

O evento conversation.item.created do servidor é retornado quando um item de conversa é criado. Existem vários cenários que produzem esse evento:

• O servidor está gerando uma resposta que, se bem-sucedida, produz um ou dois itens, que são do tipo message (função assistant) ou tipofunction_call.
• O buffer de áudio de entrada é confirmado pelo cliente ou pelo servidor (no server_vad modo). O servidor pega o conteúdo do buffer de áudio de entrada e o adiciona a um novo item de mensagem do usuário.
• O cliente enviou um evento conversation.item.create para adicionar um novo item à conversa.

Estrutura do evento

{
  "type": "conversation.item.created",
  "previous_item_id": "<previous_item_id>"
}

Propriedades

RealtimeServerEventConversationItemRetrieved

O evento do servidor conversation.item.retrieved é retornado quando um item de conversa é recuperado.

Estrutura do evento

{
  "type": "conversation.item.retrieved",
  "previous_item_id": "<previous_item_id>"
}

Propriedades

RealtimeServerEventConversationItemDeleted

O evento conversation.item.deleted do servidor é retornado quando o cliente exclui um item na conversa com um evento conversation.item.delete. Esse evento é usado para sincronizar a compreensão do histórico de conversas pelo servidor com a visão do cliente.

Estrutura do evento

{
  "type": "conversation.item.deleted",
  "item_id": "<item_id>"
}

Propriedades

RealtimeServerEventConversationItemInputAudioTranscriptionCompleted

O evento conversation.item.input_audio_transcription.completed do servidor é o resultado da transcrição de áudio da fala gravada no buffer de áudio.

A transcrição começa quando o buffer de áudio de entrada é confirmado pelo cliente ou servidor (no modo server_vad). A transcrição é executada de forma assíncrona com a criação da resposta, portanto, esse evento pode ocorrer antes ou depois dos eventos de resposta.

Os modelos de API em tempo real aceitam áudio nativamente e, portanto, a transcrição de entrada é um processo separado executado em um modelo de reconhecimento de fala separado, como whisper-1. Portanto, a transcrição pode divergir um pouco da interpretação do modelo e deve ser tratada como um guia aproximado.

Estrutura do evento

{
  "type": "conversation.item.input_audio_transcription.completed",
  "item_id": "<item_id>",
  "content_index": 0,
  "transcript": "<transcript>"
}

Propriedades

FalhaNaTranscriçãoDeÁudioDaEntradaDoItemDeConversaNoEventoDoServidorEmTempoReal

O evento conversation.item.input_audio_transcription.failed do servidor é retornado quando a transcrição de áudio de entrada é configurada e uma solicitação de transcrição para uma mensagem do usuário falhou. Esses eventos são separados de outros eventos error para que o cliente possa identificar o item relacionado.

Estrutura do evento

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Propriedades

Propriedades de erro

RealtimeServerEventConversationItemTruncated

O evento conversation.item.truncated do servidor é retornado quando o cliente trunca um item de mensagem de áudio do assistente anterior com um evento conversation.item.truncate. Esse evento é usado para sincronizar a compreensão do áudio pelo servidor com a reprodução do cliente.

Essa evento trunca o áudio e remove a transcrição do texto do lado do servidor para garantir que não haja texto no contexto que o usuário não conheça.

Estrutura do evento

{
  "type": "conversation.item.truncated",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Propriedades

Erro de Evento do Servidor em Tempo Real

O evento error do servidor é retornado quando ocorre um erro, que pode ser um problema do cliente ou do servidor. A maioria dos erros são recuperáveis ​​e a sessão permanece aberta.

Estrutura do evento

{
  "type": "error",
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>",
    "event_id": "<event_id>"
  }
}

Propriedades

Propriedades de erro

RealtimeServerEventInputAudioBufferCleared

O evento input_audio_buffer.cleared do servidor é retornado quando o cliente limpa o buffer de áudio de entrada com um evento input_audio_buffer.clear.

Estrutura do evento

{
  "type": "input_audio_buffer.cleared"
}

Propriedades

RealtimeServerEventInputAudioBufferCommitted

O evento input_audio_buffer.committed do servidor é retornado quando um buffer de áudio de entrada é confirmado, pelo cliente ou automaticamente no modo VAD do servidor. A propriedade item_id é o ID do item de mensagem do usuário criado. Assim, um evento conversation.item.created também é enviado ao cliente.

Estrutura do evento

{
  "type": "input_audio_buffer.committed",
  "previous_item_id": "<previous_item_id>",
  "item_id": "<item_id>"
}

Propriedades

RealtimeServerEventInputAudioBufferSpeechStarted

O evento input_audio_buffer.speech_started do servidor é retornado no modo server_vad quando uma fala é detectada no buffer de áudio. Esse evento pode ocorrer sempre que áudio for adicionado ao buffer (a menos que a fala já tenha sido detectada).

O cliente deve esperar receber um evento input_audio_buffer.speech_stopped quando a fala parar. A propriedade item_id é a ID do item de mensagem do usuário criado quando a fala é interrompida. O item_id também é incluído no evento input_audio_buffer.speech_stopped, a menos que o cliente confirme manualmente o buffer de áudio durante a ativação do VAD.

Estrutura do evento

{
  "type": "input_audio_buffer.speech_started",
  "audio_start_ms": 0,
  "item_id": "<item_id>"
}

Propriedades

RealtimeServerEventInputAudioBufferSpeechStopped

O evento input_audio_buffer.speech_stopped do servidor é retornado no modo server_vad quando o servidor detecta o fim da fala no buffer de áudio.

O servidor também envia um evento conversation.item.created com o item de mensagem do usuário criado a partir do buffer de áudio.

Estrutura do evento

{
  "type": "input_audio_buffer.speech_stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Propriedades

RealtimeServerEventOutputAudioBufferCleared

O evento do servidor output_audio_buffer.cleared é retornado quando o buffer de áudio de saída é limpo.

Isso acontece no modo VAD quando o usuário interrompe (input_audio_buffer.speech_started) ou quando o cliente emite o evento output_audio_buffer.clear para cortar manualmente a resposta de áudio atual.

Estrutura do evento

{
  "type": "output_audio_buffer.cleared"
}

Propriedades

RealtimeServerEventOutputAudioBufferStarted

O evento do servidor output_audio_buffer.started é retornado quando o servidor começa a transmitir áudio para o cliente. Esse evento é emitido depois que uma parte de conteúdo de áudio é adicionada (response.content_part.added) à resposta.

Estrutura do evento

{
  "type": "output_audio_buffer.started",
  "event_id": "<item_id>",
  "response_id": "<response_id>"
}

Propriedades

RealtimeServerEventOutputAudioBufferStopped

O evento do servidor output_audio_buffer.stopped é retornado quando o buffer de áudio de saída é completamente drenado no servidor e não há mais áudio por vir.

Esse evento é retornado depois que os dados de resposta completos são enviados ao cliente por meio do response.done evento.

Estrutura do evento

{
  "type": "output_audio_buffer.stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Propriedades

Limites de Taxa de Eventos de Servidor em Tempo Real Atualizados

O evento rate_limits.updated do servidor é emitido no início de uma resposta para indicar os limites de taxa atualizados.

Quando uma resposta é criada, alguns tokens são reservados para os tokens de saída. Os limites de taxa mostrados aqui refletem essa reserva, que é ajustada de acordo quando a resposta é concluída.

Estrutura do evento

{
  "type": "rate_limits.updated",
  "rate_limits": [
    {
      "name": "<name>",
      "limit": 0,
      "remaining": 0,
      "reset_seconds": 0
    }
  ]
}

Propriedades

RealtimeServerEventResponseAudioDelta

O evento response.audio.delta do servidor é retornado quando o áudio gerado pelo modelo é atualizado.

Estrutura do evento

{
  "type": "response.audio.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Propriedades

RealtimeServerEventResponseAudioDone

O evento response.audio.done do servidor é retornado quando o áudio gerado pelo modelo é concluído.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Estrutura do evento

{
  "type": "response.audio.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Propriedades

RealtimeServerEventResponseAudioTranscriptDelta

O evento response.audio_transcript.delta do servidor é retornado quando a transcrição gerada pelo modelo da saída de áudio é atualizada.

Estrutura do evento

{
  "type": "response.audio_transcript.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Propriedades

RealtimeServerEventResponseAudioTranscriptDone

O evento response.audio_transcript.done do servidor é retornado quando o streaming da transcrição gerada pelo modelo da saída de áudio é concluído.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Estrutura do evento

{
  "type": "response.audio_transcript.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "transcript": "<transcript>"
}

Propriedades

RealtimeServerEventResponseContentPartAdded

O evento response.content_part.added do servidor é retornado quando uma nova parte de conteúdo é adicionada a um item de mensagem do assistente durante a geração de resposta.

Estrutura do evento

{
  "type": "response.content_part.added",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Propriedades

Propriedades de parte

RealtimeServerEventResponseContentPartDone

O evento response.content_part.done do servidor é retornado quando uma parte do conteúdo conclui o streaming de um item de mensagem do assistente.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Estrutura do evento

{
  "type": "response.content_part.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Propriedades

Propriedades de parte

RespostaDeEventoDoServidorEmTempoRealCriada

O evento response.created do servidor é retornado quando uma nova resposta é criada. Esse é primeiro evento de criação de resposta, onde a resposta está em um estado inicial de in_progress.

Estrutura do evento

{
  "type": "response.created"
}

Propriedades

RealtimeServerEventResponseDone

O evento response.done do servidor é retornado quando o streaming de uma resposta é concluído. Esse evento sempre é emitido, independentemente do estado final. O objeto de resposta incluído no evento response.done inclui todos os itens de saída na resposta, mas omite os dados de áudio brutos.

Estrutura do evento

{
  "type": "response.done"
}

Propriedades

RealtimeServerEventResponseFunctionCallArgumentsDelta

O evento response.function_call_arguments.delta do servidor é retornado quando os argumentos de chamada de função gerados pelo modelo são atualizados.

Estrutura do evento

{
  "type": "response.function_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "delta": "<delta>"
}

Propriedades

RealtimeServerEventResponseFunctionCallArgumentsDone

O evento response.function_call_arguments.done do servidor é retornado quando o streaming dos argumentos de chamada de função gerados pelo modelo é concluído.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Estrutura do evento

{
  "type": "response.function_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "arguments": "<arguments>"
}

Propriedades

RealtimeServerEventResponseOutputItemAdded

O evento response.output_item.added do servidor é retornado quando um novo item é criado durante a geração de resposta.

Estrutura do evento

{
  "type": "response.output_item.added",
  "response_id": "<response_id>",
  "output_index": 0
}

Propriedades

RealtimeServerEventResponseOutputItemDone

O evento response.output_item.done do servidor é retornado quando o streaming de um item é concluído.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Estrutura do evento

{
  "type": "response.output_item.done",
  "response_id": "<response_id>",
  "output_index": 0
}

Propriedades

RealtimeServerEventResponseTextDelta

O evento response.text.delta do servidor é retornado quando o texto gerado pelo modelo é atualizado. O texto corresponde à parte de conteúdo text de um item de mensagem do assistente.

Estrutura do evento

{
  "type": "response.text.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Propriedades

RealtimeServerEventResponseTextDone

O evento response.text.done do servidor é retornado quando o streaming do texto gerado pelo modelo é concluído. O texto corresponde à parte de conteúdo text de um item de mensagem do assistente.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Estrutura do evento

{
  "type": "response.text.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "text": "<text>"
}

Propriedades

SessãoDeEventoDeServidorEmTempoRealCriada

O evento session.created do servidor é o primeiro evento de servidor quando você estabelece uma nova conexão com a API em tempo real. Esse evento cria e retorna uma nova sessão com a configuração de sessão padrão.

Estrutura do evento

{
  "type": "session.created"
}

Propriedades

SessãoDeEventoDoServidorEmTempoRealAtualizada

O evento session.updated do servidor é retornado quando uma sessão é atualizada pelo cliente. Se houver um erro, o servidor enviará um evento error.

Estrutura do evento

{
  "type": "session.updated"
}

Propriedades

Componentes

FormatoDeÁudioEmTempoReal

Valores Permitidos:

• pcm16
• g711_ulaw
• g711_alaw

ModeloDeTranscriçãoDeEntradaDeÁudioEmTempoReal

Valores Permitidos:

• whisper-1
• gpt-4o-transcribe
• gpt-4o-mini-transcribe
• gpt-4o-transcribe-diarize

Configurações de Transcrição de Entrada de Áudio em Tempo Real

Configurações de Redução de Ruído de Áudio de Entrada em Tempo Real

RealtimeClientEvent

TipoDeEventoDoClienteEmTempoReal

Valores Permitidos:

• session.update
• input_audio_buffer.append
• input_audio_buffer.commit
• input_audio_buffer.clear
• conversation.item.create
• conversation.item.delete
• conversation.item.truncate
• response.create
• response.cancel

ParteDeConteúdoEmTempoReal

TipoDeParteDeConteúdoEmTempoReal

Valores Permitidos:

• input_text
• input_audio
• text
• audio

RealtimeConversationItemBase (Base de Itens de Conversa em Tempo Real)

O item a ser adicionado à conversa.

Esta tabela descreve todas as propriedades RealtimeConversationItem. As propriedades aplicáveis por evento dependem do RealtimeItemType.

ItemDeSolicitaçãoDeConversaEmTempoReal

Use o objeto RealtimeConversationRequestItem para criar um novo item na conversa por meio do evento conversation.item.create.

RealtimeConversationResponseItem

O objeto RealtimeConversationResponseItem representa um item na conversa. Ele é usado em alguns dos eventos do servidor, como:

• conversation.item.created
• response.output_item.added
• response.output_item.done
• response.created (por meio doresponse do tipo de propriedade RealtimeResponse)
• response.done (por meio doresponse do tipo de propriedade RealtimeResponse)

RealtimeFunctionTool

A definição de uma ferramenta de função conforme usada pelo ponto de extremidade em tempo real.

StatusDeItemEmTempoReal

Valores Permitidos:

• in_progress
• completed
• incomplete

TipoDeItemEmTempoReal

Valores Permitidos:

• message
• function_call
• function_call_output

RealtimeMessageRole

Valores Permitidos:

• system
• user
• assistant

RealtimeRequestAssistantMessageItem

RealtimeRequestAudioContentPart

RealtimeRequestFunctionCallItem

RealtimeRequestFunctionCallOutputItem

ItemDeMensagemDeSolicitaçãoEmTempoReal

ItemDeReferenciaDaMensagemDeSolicitacaoEmTempoReal

Sessão de Solicitação em Tempo Real

Use o objeto RealtimeRequestSession quando quiser atualizar a configuração da sessão por meio do evento session.update.

RealtimeRequestSystemMessageItem

ParteDeConteúdoDeTextoDeSolicitaçãoEmTempoReal

RealtimeRequestUserMessageItem

RealtimeResponse

RealtimeResponseAudioContentPart

RealtimeResponseBase

O recurso de resposta.

RealtimeResponseFunctionCallItem

RealtimeResponseFunctionCallOutputItem

RealtimeResponseMessageItem

Opções de Resposta em Tempo Real

SessãoDeRespostaEmTempoReal

O objeto RealtimeResponseSession representa uma sessão na API Realtime. Ele é usado em alguns dos eventos do servidor, como:

• session.created
• session.updated

StatusDeRespostaEmTempoReal

Valores Permitidos:

• in_progress
• completed
• cancelled
• incomplete
• failed

DetalhesDoStatusDeRespostaEmTempoReal

ParteDeTextoDeRespostaEmTempoReal

RealtimeServerEvent

RealtimeServerEventRateLimitsUpdatedRateLimitsItem

RealtimeServerEventType

Valores Permitidos:

• session.created
• session.updated
• conversation.created
• conversation.item.created
• conversation.item.deleted
• conversation.item.truncated
• response.created
• response.done
• rate_limits.updated
• response.output_item.added
• response.output_item.done
• response.content_part.added
• response.content_part.done
• response.audio.delta
• response.audio.done
• response.audio_transcript.delta
• response.audio_transcript.done
• response.text.delta
• response.text.done
• response.function_call_arguments.delta
• response.function_call_arguments.done
• input_audio_buffer.speech_started
• input_audio_buffer.speech_stopped
• conversation.item.input_audio_transcription.completed
• conversation.item.input_audio_transcription.failed
• input_audio_buffer.committed
• input_audio_buffer.cleared
• error

DetecçãoDeTurnoVadEmServidorEmTempoReal

RealtimeSessionBase

Configuração de objeto de sessão em tempo real.

RealtimeTool

A representação base de uma definição de ferramenta em tempo real.

RealtimeToolChoice

O conjunto combinado de representações disponíveis para um parâmetro tool_choice em tempo real, abrangendo as duas opções de literais de cadeia de caracteres, como "auto" e referências estruturadas a ferramentas definidas.

RealtimeToolChoiceFunctionObject

A representação de uma tool_choice em tempo real selecionando uma ferramenta de função nomeada.

RealtimeToolChoiceLiteral

O conjunto disponível de opções de tool_choice de literais de cadeia de caracteres no nível do modo para o ponto de extremidade em tempo real.

Valores Permitidos:

• auto
• none
• required

RealtimeToolChoiceObject

Uma representação base para uma tool_choice em tempo real selecionando uma ferramenta nomeada.

TipoDeFerramentaEmTempoReal

Os discriminadores de tipo de ferramenta suportados para ferramentas em tempo real. Atualmente, apenas ferramentas de “função” são suportadas.

Valores Permitidos:

• function

Detecção de Viradas em Tempo Real

Tipo de Detecção de Turno em Tempo Real

Valores Permitidos:

• semantic_vad - O VAD semântico detecta quando o usuário termina de falar com base nas palavras que ele pronunciou. O áudio de entrada é pontuado com base na probabilidade de o usuário terminar de falar. Quando a probabilidade for baixa, o modelo aguardará um tempo limite. Quando a probabilidade é alta, não há necessidade de esperar.
• server_vad – O servidor avalia o áudio do usuário proveniente do cliente. O servidor usa automaticamente esse áudio para iniciar a geração de resposta em conversas aplicáveis quando um fim de fala é detectado.

RealtimeVoice

Valores Permitidos:

• alloy
• ash
• ballad
• coral
• echo
• sage
• shimmer
• verse

Conteúdo relacionado

• Comece com o início rápido da API em tempo real.
• Saiba mais sobre Como usar a API em tempo real.