LLM aufrufen

Mit dem Plugin LLM aufrufen können Sie Text an ein Large Language Model (LLM) schicken und die generierte Antwort im Workflow zur weiteren Verarbeitung nutzen oder direkt als Ausgabe an den Chatbot weiterleiten (streamen).

Im generierten Text des LLMs können auch Links vorkommen. Hauptsächlich passiert das wenn Kontext aus der Wissensdatenbank an das LLM übergeben wird (RAG-Prozess). Um sicherzustellen, dass keine unerwünschten Links beim Benutzer ankommen, werden nur Links erlaubt, die auch im übergebenen Kontext zu finden sind.

Zusätzlich kann mit einem Parameter eine weitere Einschränkung auf gewisse Domains vorgenommen werden.

Eingabeparameter

Eingabeparameter

Parameter AI KONFIGURATION

Dieses Auswahlfeld beinhaltet die zuvor erstellten Konfigurationen, um mit einem LLM zu sprechen. AI Konfigurationen können im Menüpunkt Konfigurationen erstellt werden. Durch die Auswahl der AI Konfiguration für die Ausführung des Plugins entsteht eine grosse Flexibilität. Unterschiedliche Use-Cases können mit speziell angepassten AI Konfigurationen effizient bearbeitet werden.

Parameter PROMPT

Mit diesem Parameter legen Sie das generelle Verhalten des LLMs fest. Über diesen Parameter können Sie das System gezielt an Ihre Anforderungen anpassen.

Mit dem diesem Parameter konfigurieren Sie:

  • Verhaltensregeln: Definieren Sie, wie das LLM auf Anfragen reagieren soll.

  • Spracheinstellungen: Legen Sie die bevorzugte Kommunikationssprache fest.

  • Grundlegende Anweisungen: Geben Sie allgemeine Richtlinien für die Antwortgenerierung vor.

  • Statische Informationen: Hinterlegen Sie konstante Daten, die das System berücksichtigen soll.

Parameter BENUTZEREINGABE

Mit diesem Parameter wird die Eingabe des Benutzers an das LLM übermittelt. Dies kann eine Frage aus dem Chatbot sein oder der Inhalt einer E-Mail die analysiert werden soll.

Zusätzliche Informationen, wie zum Beispiel das Ergebnis einer Wissensdatenbankabfrage, wird ebenfalls mit diesem Parameter an das LLM übergeben.

Parameter AI TOOLS

Tools stellen für das LLM eine Möglichkeit dar, sich selbstständig Informationen zu besorgen, wenn die Anfrage des Benutzers nicht aus dem Allgemeinwissen oder dem übergebenen Kontext beantwortet werden kann. Tools sind externe Funktionen, die ein LLM nutzen kann, um über das reine Textgenerieren hinaus zu agieren. Während ein LLM normalerweise nur Text produziert, ermöglichen Tools dem Modell, konkrete Aktionen durchzuführen.

Mit diesem Parameter wählen Sie die Tools aus, die bei der Beantwortung der Anfrage zur Verfügung stehen. Das Model entscheidet selbstständig, ob und welches der Tools benötigt wird.

Als Tools stehen alle Workflows zur Verfügung, die über den AI-Funktion-Connector getriggert werden.

Parameter AN CHATBOT STREAMEN

Wird der Workflow vom Chatbot aufgerufen, kann die Antwort des LLMs direkt zurück an den Chatbot gestreamt werden.

Die Antwort des LLMs kann auch Links beinhalten. Mit diesem Parameter können Sie diese Links auf Domains beschränken. Grundsätzlich werden nur Links an den Benutzer weitergeleitet, die auch im übergebenen Kontext vorkommen.

Mit diesem Parameter kann die Domain von Links noch zusätzlich eingeschränkt werden. Es kann eine Variable vom Typ collection oder text ausgewählt werden. Bei der Verwendung einer text Variable muss jede gültige Domain in einer eigenen Zeile stehen.

Wird vom LLM ein Link generiert, der nicht im Kontext vorkommt oder keine gültige Domain hat, wird nur der Beschreibungstext des Links an den Benutzer weitergeleitet.

Beispiele

Zulässige Domains
Gültige Links
Ungültige Links

aiaibot.com www.aiaibot.com

https://aiaibot.com/ https://aiaibot.com/info.html

https://www.aiaibot.com/home.html

https://blog.aiaibot.com/story1 https://api.aiaibot.com/info https://example.com

Ausgabeparameter

Ausgabeparameter

Parameter ANTWORT

Dieser Parameter enthält die generierte Antwort des LLMs. Auch wenn die Antwort an den Chatbot gestreamt wird, enthält dieser Parameter die gesamte Antwort zur weiteren Verwendung im Workflow.

Parameter BEENDIGUNGSGRUND

Wenn die Generierung der Antwort abgeschlossen ist, kann über den Beendigungsgrund herausgefunden werden, warum das Modell keinen weiteren Text mehr generiert hat. Die wichtigsten Gründe sind:

stop: Dieser Grund gibt an, dass die Antwort vollständig und ohne Fehler generiert wurde.

length: Das Modell hat die Generierung der Antwort abgebrochen, weil die max. Anzahl an Tokens überschritten wurde. Die max. Anzahl an Tokens ist in der AI Konfiguration hinterlegt, die beim Parameter AI KONFIGURATION ausgewählt wurde.

content_filter: Die Generierung des Textes wurde abgebrochen, weil ein Inhaltsfilter aktiv wurde. Genauere Informationen darüber wird im nächsten Parameter gespeichert.

error: Allgemeiner Fehler während der Textgenerierung.

timeout: Die Anfrage konnte nicht innerhalb einer gewissen Zeit beantwortet werden.

cancelled: Die Textgenerierung wurde vom Modell oder vom Benutzer abgebrochen.

Parameter INHALTSFILTER

Wenn der Beendigungsgrund content_filter war, kann mit diesem Parameter mehr darüber herausgefunden werden.

Die wichtigsten Inhaltsfilter sind:

  • hate

  • hate/threatening

  • jailbreak

  • profanity

  • self-harm

  • sexual

  • sexual/minors

  • violence

  • violence/graphic

  • harassment

  • harassment/threatening

Diese Liste ist nicht vollständig und hängt sehr vom verwendeten Modell ab.

Zuletzt aktualisiert