Endpoint de tokenisation

L’endpoint API de tokenisation vous permet de convertir facilement du texte en une liste de tokens pour un modèle spécifique.

Décomposez le texte en tokens individuels pour comprendre comment un modèle traitera votre entrée. C’est utile pour le débogage, le comptage de tokens, et comprendre le comportement du modèle.

Modèles d’embedding

Il n’est actuellement pas possible d’utiliser l’endpoint de tokenisation sur les modèles d’embedding. Seuls les Modèles de Langage de Grande Taille sont supportés.

​

Prérequis

• Une clé API Paradigm : si vous n’en avez pas, rendez-vous sur votre profil Paradigm et générez une nouvelle clé API.
• Le LLM désiré disponible dans Paradigm : Si vous voulez utiliser un nouveau modèle, vous devez l’ajouter à Paradigm depuis l’interface d’administration.

​

Méthodes d’utilisation

Il existe plusieurs façons d’appeler l’endpoint :

1. Avec le package python requests (recommandé)
2. Via une requête curl : pour des tests rapides ou une première utilisation

​

Package python requests

Vous pouvez envoyer directement une requête à l’endpoint API via le package requests.

import requests
import os

# Récupérer la clé API et la base d'URL depuis l'environnement
api_key = os.getenv("PARADIGM_API_KEY")
base_url = os.getenv("PARADIGM_BASE_URL", "https://paradigm.lighton.ai/api/v2")

response = requests.post(
    url=f"{base_url}/tokenize",
    headers={
        'accept': "application/json",
        'Authorization': f"Bearer {api_key}"
    },
    json={
        "model": "alfred-4",
        "prompt": "Ceci est une chaîne de test"
    }
)

print(response.json())

Vous obtiendriez alors une réponse JSON sous forme de dictionnaire :

{
    "id": "8c0d73b9-b18a-4893-a38e-a4338a7d4e0e",
    "tokens": [
        {"Ceci": 1234},
        {"Ġest": 567},
        {"Ġune": 890},
        {"Ġchaîne": 1122},
        {"Ġde": 345},
        {"Ġtest": 1318}
    ],
    "text": "Ceci est une chaîne de test",
    "n_tokens": 6,
    "model": "alfred-4"
}

​

Requête cURL

Si vous préférez envoyer une requête à Paradigm avec une simple commande cURL, voici un exemple :

curl --request POST \
  --url $PARADIGM_BASE_URL/tokenize \
  --header 'Authorization: Bearer <YOUR_API_KEY>' \
  --header 'content-type: application/json' \
  --data '{
  "model": "alfred-4",
  "prompt": "Ceci est une chaîne de test"
}'