Il termine "token" indica il volume di lavoro dei nostri modelli. Dall'input che gli date per lavorare all'output che generano per voi.

Pensate a loro come al pagamento dei litri d'acqua che consumate dal vostro sistema cittadino e che scaricate di nuovo in esso.

I token sono una forma di misura che può essere espressa in unità diverse, come 1 litro d'acqua è uguale a 1000 millilitri d'acqua. Allo stesso modo, 1 gettone è composto da 4 caratteri.

BTW, sapevate che una parola media è composta da 4,5 caratteri? Quindi 1 token è quasi una parola!

Per mettere tutto questo in prospettiva. Il testo fino a qui ha circa 670 caratteri, 124 parole e circa 169 token.

Se Alta avesse creato questo blocco sarebbe costato:

[numero di token totali] x [prezzo per token di Alta] = costo

169 x 0,00002 = 0,0038 USD

Lavoriamo per la maggior parte del tempo con i nostri modelli proprietari NeoCortex.

Altri modelli che possiamo ospitare, ottimizzare e gestire per voi includono:
- GPT Neo 2,7 mld.
- GPT-J 6 mld.
- GPT NeoX 20 mld.
- OPT: Open Pre-trained Transformer Language Models (da 125M a 66 bn)
- FairSeq (13 bn.)
- CodeGen (16 bn.)
- Bloom 560m
- Bloom 1,1 bn.
- Bloom 1,7 bn.
- Bloom 3 bn.
- Bloom 7,1 bn.
- Bloom 176 bn. (presto disponibile)
- t5 Small
- t5 Base
- t5 Large
- t5 3b
- t5 11b
- Stable Diffusion hosted API

In caso di ulteriori domande, contattate il nostro team di integrazione.

Calcoliamo le spese in base alla quantità di token di input e output con cui si lavora.

Un'attività di generazione con il nostro modello "Aecus" per LongForm è il più delle volte molto pesante in termini di output.

Pensate alla seguente richiesta di input:
"La generazione di testo NeoCortex API vi aiuta nel vostro flusso di lavoro" (60 caratteri = 15 token)

Ecco l'output effettivo:
"Cos'è NeoCortex?
NeoCortex è una generazione di testo ad apprendimento profondo API che usa solo il linguaggio naturale per generare testi. Il testo generato è progettato per essere leggibile e comprensibile per l'utente, aiutandolo nel suo flusso di lavoro. API è facile da imparare, con un'interfaccia semplice. Questo lo rende perfetto per l'uso da parte degli sviluppatori che vogliono creare le proprie applicazioni". (360 caratteri = 90 gettoni)

Il conteggio totale dei gettoni è di 15 + 90 = 105 gettoni.

Per la richiesta verranno addebitati 0,02 $ divisi per 1000 volte 105 = 0,0021 $.

Sì.

Quando si iscriversi alla nostra piattaforma e generare una chiave si hanno automaticamente 5 dollari per provare le nostre API. alla nostra piattaforma e si genera una chiave API si hanno automaticamente 5 dollari per provare le nostre API per 30 giorni.

Per assistenza sulla vostra integrazione contattate il nostro team di integrazione.

Quando mettiamo a punto i vostri modelli, prendiamo i vostri dati e insegniamo a un modello come comportarsi su di essi e cosa ci si aspetta.

Come un bell'abito, stiamo confezionando un modello per la generazione, la classificazione e l'estrazione del testo in base alle vostre esigenze.

Tutto ciò di cui abbiamo bisogno è un set di dati di alta qualità provenienti dal vostro flusso di lavoro.

Abbiamo riscontrato i primi miglioramenti a partire da set di dati di appena 500 osservazioni.

In caso di ulteriori domande, contattate il nostro team di integrazione.

Sì.

Le funzionalità di base richiedono meno di 3 righe di codice. Per questo motivo disponiamo anche di diversi pacchetti OSS per una facile integrazione(PyPi, NPM-JS).

Inoltre, offriamo un supporto dedicato all'integrazione per il tempo di onboarding.

Mentre i nuovi arrivati hanno bisogno di circa 4-6 settimane per vedere i primi risultati. Chi passa alla nostra infrastruttura si orienta in meno di 2 settimane.

Cerchiamo di gestire gli endpoint di API nel modo più semplice possibile. Siamo sempre felici di aiutarvi a trovare il modello migliore.

Se cercate una guida diretta, contattate il nostro team di integrazione.

L'esecuzione di modelli linguistici di grandi dimensioni (LLM) richiede potenti macchine di calcolo sotto forma di GPU.

Costruire l'infrastruttura, mantenerla e ottimizzarla comporta costi elevati. Siamo esperti in questo, avendo ridimensionato i nostri modelli per i nostri prodotti rivolti agli utenti, dove i tempi di risposta in "ms" sono importanti e l'ottimizzazione dei costi è il nostro fattore di margine.

Con TextCortex avete il vantaggio di beneficiare del nostro sistema NeoCortex in due modi per risparmiare sui costi:

1) Pay-per-token
Ideale per le operazioni su scala ridotta. Ad esempio, meno di 100.000 richieste al mese o modelli più piccoli con meno di 10 miliardi di parametri.

Si opera in un ambiente condiviso con altri clienti.

2) Pay-per-GPU-hour
Ideale per operazioni di processo su larga scala. Per esempio, milioni di richieste o modelli con più di 20 miliardi di parametri.
‍
Il cliente paga per la gestione e l'hosting dei modelli in base a una tariffa oraria fissa per GPU attiva.

Si tratta di un'opzione prioritaria che prevede l'utilizzo di risorse dedicate solo per il proprio caso.
‍‍
Se desiderate ulteriori indicazioni, contattate il nostro team di integrazione.