Passer au contenu principal
Vous avez la flexibilité de configurer des modèles open-source hébergés par vous-même ou par un fournisseur, ou d’utiliser des modèles payants accessibles via API.

​
Affichage de la Liste des Modèles

La liste des modèles affiche les informations suivantes :
  • Nom : Le nom public affiché dans Paradigm pour les utilisateurs.
  • Type de Modèle : Vous pouvez intégrer des Large Language Models (LLMs) ou des modèles d’embedding. Les modèles d’embedding sont utilisés pour convertir le texte en représentations numériques afin de comprendre la similarité sémantique.
  • Type de Déploiement : Indique où le modèle est déployé (par exemple, Sagemaker, OpenAI, ou Auto-hébergé).
  • Activé : Montre si le modèle est disponible pour les utilisateurs via l’interface ou l’API (vert = accessible, rouge = non accessible).

​
Affichage des Détails du Modèle

En cliquant sur le nom du modèle, vous pouvez visualiser ou modifier ses détails :
  • Nom : Le nom public du modèle affiché dans l’interface Paradigm pour les utilisateurs finaux (ce champ peut être modifié).
  • Nom Technique : Un identifiant technique utilisé par diverses APIs (ce champ ne doit pas être modifié).
  • Type de Modèle : Vous pouvez intégrer des VLMs, LLMs ou des modèles d’embedding.
  • Type de Déploiement : Le type de déploiement du modèle (par exemple OpenAI, Auto-hébergé).
  • Nom du Modèle LoRA : Spécifiez le nom si vous utilisez un modèle LoRA (Low-Rank Adapter), une technique de fine-tuning spécifique. Nous recommandons d’utiliser vLLM pour servir vos modèles. Si vous avez affiné un modèle avec LoRA (une technique de finetuning spécifique) et souhaitez l’utiliser dans Paradigm, nous suggérons de le déployer en utilisant vLLM et de fournir le nom du modèle Lora qui correspond au flag —lora-modules que vous avez utilisé lors du démarrage du serveur vLLM.
  • URL du Modèle : Utilisée quand votre modèle est auto-hébergé. Pensez-y comme une adresse virtuelle où votre modèle est servi. Par exemple, disons que vous voulez déployer un modèle appelé Llama-405 sur une machine avec l’adresse IP 123.150.117.199. Dans ce cas, l’URL du modèle serait http://123.150.117.199. Vous pouvez également mapper cette adresse IP à un nom de domaine comme https://llama-405b.lighton.ai pour un accès plus facile.
  • Modèle de Message de Début : Ce champ définit une liste de messages ajoutés au début d’une conversation avec le modèle pour personnaliser l’interaction. Il suit le style de templating Jinja et permet des opérations conditionnelles et l’utilisation de variables. Les variables disponibles incluent :
    • {{ date }} : La date actuelle.
    • {{ company_instructions }} : Instructions des paramètres de chat.
    • {{ user_instructions }} : Instructions définies par l’utilisateur.
    • {{ user_first_name }} : Le prénom de l’utilisateur.
    • {{ user_last_name }} : Le nom de famille de l’utilisateur.
    • Seules ces variables sont disponibles pour l’instant ; en utiliser d’autres entraînera une erreur lors de la définition du champ start_messages_template.
  • Instruction : Décrit comment le modèle final va être appelé.
    • par exemple pour un reformulateur : “reformule cette question ”
    • pour un modèle génératif : “réponds à cette selon ce “

​
Utilisation d’un Modèle Personnalisé

Dans Paradigm, vous pouvez déployer et exposer des modèles personnalisés adaptés à des besoins spécifiques et bénéficier de l’API et de l’interface de chat de Paradigm. Pour déployer des modèles personnalisés, nous recommandons d’utiliser la bibliothèque vLLM. vLLM est conçu pour un déploiement efficace de modèles et peut considérablement optimiser les performances de vos modèles personnalisés. Il supporte une variété de types de modèles et de scénarios de déploiement, en faisant un choix polyvalent pour intégrer des modèles personnalisés dans Paradigm. Pour lier vos modèles personnalisés à l’interface d’administration de Paradigm, suivez ces étapes :
  1. Allez dans l’interface d’administration, et cliquez sur la section API > Modèles à gauche.
  2. Cliquez sur “Ajouter +” et fournissez les détails nécessaires : nom public, type de modèle, et type de déploiement de votre modèle.
  3. Spécifiez l’URL pour les modèles auto-hébergés, en vous assurant que l’URL pointe vers le service servant le modèle.
  4. (Optionnel) Personnalisez les instructions du modèle pour définir comment le modèle doit être appelé, par exemple, “Reformule cette question ” pour un reformulateur ou “Réponds à cette selon ce ” pour un modèle génératif.
  5. Assurez-vous que la clé is_models_choice_on est activée dans la section Paramètres > Clés de Configuration du panneau d’administration. Ceci est essentiel pour que le modèle soit reconnu et intégré correctement.
Une fois vos modèles personnalisés configurés, naviguez vers l’interface de chat et sélectionnez les modèles personnalisés parmi les options disponibles, ou envoyez des requêtes au modèle via l’API. En suivant ces étapes, vous pouvez intégrer et utiliser efficacement des modèles personnalisés dans Paradigm, améliorant les capacités de la plateforme pour répondre à vos besoins spécifiques.
⌘I