Promptfoo · TTS · STT · smoke reproduzível

Avalie o contrato de áudio sem fabricar um benchmark.

Gere um YAML com providers HTTP separados, testes filtrados por provider e assertions determinísticas. O padrão usa somente texto sintético e um MP3 sintético de duas vozes criado pela BRAINIALL.

Nenhuma chave solicitada · nenhum áudio real · nenhuma chamada TTS/STT feita por esta página

Gerador local · config sem credencial

Monte um smoke que sabe o que não prova.

Escolha o escopo e baixe um promptfooconfig.yaml. O navegador não executa Promptfoo, não lê sua variável de ambiente e não chama a API Brainiall.

Escopo da avaliaçãoNome da variável da chaveVoz TTS publicadaLimite de latência TTS · msOrigem da fixture STTCaminho local da fixtureCobertura mínima das frasesLimite de latência STT · ms

Fonte pública/licença ou origem sintéticaFrases esperadas · uma por linha

Chamadas por execução completa: 3
Retries automáticos do provider: 0
Compartilhamento Promptfoo: desativado
Segredo gravado no YAML: nenhum

O arquivo referencia {{env.BRAINIALL_API_KEY}}; defina essa variável apenas no seu shell, CI ou secret store.

# yaml-language-server: $schema=https://promptfoo.dev/config-schema.json
# Gerado pelo 1% Lab. Revise antes de executar.
# Faz chamadas hospedadas e medidas à API Brainiall; nenhum retry automático.
# A chave permanece no ambiente local e não deve ser colocada neste arquivo.

description: "Brainiall TTS/STT bounded audio contract smoke"
tags:
  operator: brainiall
  source: one-percent-lab-promptfoo-audio-kit
  fixture_origin: "brainiall-synthetic"
  fixture_source: "https://www.brainiall.com/transcreve/samples/transcreve-br-demo.mp3"
sharing: false
outputPath: ./promptfoo-results.json
commandLineOptions:
  maxConcurrency: 1
  delay: 250
  cache: true
  noShare: true

prompts:
  - label: brainiall-audio-fixture
    raw: "{{fixture_text}}"

providers:
  - id: https
    label: brainiall-tts-contract
    config:
      url: "https://api.brainiall.com/v1/tts/synthesize"
      method: POST
      auth:
        type: bearer
        token: "{{env.BRAINIALL_API_KEY}}"
      headers:
        Content-Type: application/json
      body:
        text: "{{prompt}}"
        voice: "pf_dora"
      maxRetries: 0
      transformResponse: |
        ({
          status: context.response.status,
          contentType: context.response.headers["content-type"] || "",
          receivedTextUnits: typeof text === "string" ? text.length : 0
        })
  - id: https
    label: brainiall-stt-synthetic
    config:
      url: "https://api.brainiall.com/v1/whisper/transcribe"
      method: POST
      auth:
        type: bearer
        token: "{{env.BRAINIALL_API_KEY}}"
      multipart:
        parts:
          - kind: file
            name: audio
            filename: "transcreve-br-demo.mp3"
            contentType: audio/mpeg
            source:
              type: path
              path: "file://fixtures/transcreve-br-demo.mp3"
          - kind: field
            name: language
            value: pt
          - kind: field
            name: diarize
            value: "true"
      maxRetries: 0
      transformResponse: |
        ({
          text: typeof json.text === "string"
            ? json.text
            : Array.isArray(json.segments)
              ? json.segments.map((segment) => segment.text || "").join(" ").trim()
              : "",
          segmentCount: Array.isArray(json.segments) ? json.segments.length : 0,
          hasTiming: Array.isArray(json.segments) && json.segments.length > 0 &&
            json.segments.every((segment) => Number.isFinite(segment.start) && Number.isFinite(segment.end)),
          hasSpeakerLabels: Array.isArray(json.segments) &&
            json.segments.some((segment) => String(segment.speaker || "").trim().length > 0)
        })

tests:
  - description: "TTS curto em português brasileiro"
    providers:
      - brainiall-tts-contract
    vars:
      fixture_text: "Olá. Este é um teste sintético curto da voz brasileira."
    assert:
      - type: javascript
        metric: tts_http_200
        value: output.status === 200
      - type: javascript
        metric: tts_audio_wav_content_type
        value: output.contentType.toLowerCase().includes("audio/wav")
      - type: javascript
        metric: tts_nonempty_transport
        value: output.receivedTextUnits > 0
      - type: latency
        metric: tts_latency_ms
        threshold: 20000
  - description: "TTS com números, sigla e pontuação"
    providers:
      - brainiall-tts-contract
    vars:
      fixture_text: "Em 2026, a API processou 3 itens: áudio, texto e legenda."
    assert:
      - type: javascript
        metric: tts_http_200
        value: output.status === 200
      - type: javascript
        metric: tts_audio_wav_content_type
        value: output.contentType.toLowerCase().includes("audio/wav")
      - type: javascript
        metric: tts_nonempty_transport
        value: output.receivedTextUnits > 0
      - type: latency
        metric: tts_latency_ms
        threshold: 20000
  - description: "STT da fixture sintética PT-BR de duas vozes"
    providers:
      - brainiall-stt-synthetic
    vars:
      fixture_text: "Transcreva a fixture sintética local."
    assert:
      - type: javascript
        metric: stt_expected_phrase_recall_proxy
        value: |
          const normalize = (value) => String(value || "")
            .normalize("NFD")
            .replace(/[\u0300-\u036f]/g, "")
            .toLowerCase()
            .replace(/[^a-z0-9]+/g, " ")
            .trim();
          const actual = normalize(output.text);
          const expected = ["Bem-vindos ao episódio de hoje","Eu perdia horas revisando entrevistas","o que mudou depois de organizar o áudio por falante","Agora eu encontro os trechos"];
          const hits = expected.filter((phrase) => actual.includes(normalize(phrase)));
          const score = hits.length / expected.length;
          return {
            pass: score >= 0.75,
            score,
            reason: hits.length + "/" + expected.length + " frases esperadas encontradas; proxy de cobertura, não WER."
          };
      - type: javascript
        metric: stt_segments_present
        value: output.segmentCount >= 2
      - type: javascript
        metric: stt_segment_timing_present
        value: output.hasTiming === true
      - type: javascript
        metric: stt_speaker_label_present
        value: output.hasSpeakerLabels === true
      - type: latency
        metric: stt_latency_ms
        threshold: 60000

Baixar fixture sintéticaGerar o YAML não faz chamada TTS/STT nem materializa a chave.

Salve a fixture em fixtures/transcreve-br-demo.mp3 ao lado do YAML; para CC0, registre também a URL e a licença.
Defina BRAINIALL_API_KEY somente no ambiente confiável e confira saldo, retenção e limites antes de executar.
Rode promptfoo eval -c promptfooconfig.yaml e revise o JSON local; use --no-cache apenas se quiser pagar por uma nova medição intencional.

Abrir Brainiall e criar chave Testar STT sem cartão primeiro

Para medir aquisição, o site pode registrar visita, cópia, download e clique com rota, modo e nome do artefato. Ele não envia as frases, o caminho local, a fonte da fixture nem qualquer valor de credencial.

Rota de execução controlada

Do YAML à evidência revisável.

01Baixe o YAML e a fixture sintética, ou documente a licença de uma fixture CC0 antes de substituir o exemplo.
02Defina a chave somente no ambiente confiável e rode uma vez, com concorrência 1, cache ligado e zero retries do provider.
03Revise falhas, conteúdo, áudio e custo; só depois amplie fixtures ou tráfego. Um smoke do proprietário não prova adoção.

Fontes e limites · consultados em 30/07/2026

O que o teste TTS realmente mede?

HTTP 200, content-type contendo audio/wav, resposta de transporte não vazia e latência. O HTTP provider não é usado aqui para pontuar naturalidade, pronúncia, estrutura RIFF ou inteligibilidade; escute e inspecione o arquivo numa etapa própria.

O que o teste STT realmente mede?

Cobertura normalizada de frases previamente declaradas, existência de segmentos, tempos e algum rótulo de falante. Isso é um proxy de regressão da fixture, não WER, DER, precisão universal, revisão humana final ou garantia sobre áudio de cliente.

Por que a fixture padrão pode ser usada?

Ela é um exemplo sintético de 20.88 segundos, criado pela BRAINIALL e já servido publicamente no próprio produto. Para substituir por mídia CC0, registre fonte e licença; para mídia sintética própria, registre a ferramenta e o texto. Não use chamada, entrevista ou reunião real neste smoke.

O YAML contém a chave Brainiall?

Não. Ele contém apenas uma referência como {{env.BRAINIALL_API_KEY}}. O Promptfoo resolve a variável no ambiente de execução. Não use config.envpara copiar o valor, não publique resultados carregados de segredos e mantenha o compartilhamento desativado.

A configuração segue o Promptfoo atual?

Sim no escopo declarado: usa o provider HTTP oficial, multipart.parts para o arquivo STT, filtros de provider por teste e assertions JavaScript. O comando e o schema podem mudar; valide a versão instalada antes de integrar ao CI.

Executar o kit é gratuito?

Gerar, copiar e baixar são locais e gratuitos. Executar o YAML chama APIs hospedadas e medidas: o modo completo prevê três chamadas por execução. Créditos disponíveis podem cobrir o teste, mas isso não é promessa de gratuidade; confira saldo e preço atuais antes de rodar.