GuiPy

Große Sprachmodelle (LLMs) haben das Potenzial, den Lernenden individuelle Unterstützung zu geben und das Programmieren zu verändern. GuiPy bietet integrierte Unterstützung für LLM-gestütztes Programmieren, das in zwei Formen verfügbar ist.

1. Ein im Editor verfügbarer Programmierassistent.
2. Ein Integrierter Chat zur Interaktion mit einem LLM-Modell.

Sowohl Cloud-basierte als auch lokale LLMs werden unterstützt:

• Cloud-basierte LLMs
  • OpenAI-Modelle wie (GPT-3.5 Turbo und GPT-4o)
  • Gemini-Modelle wie (1.5 Flash und 1.5 Pro) von Google

• Lokale LLMs
  • llama3 und codellama von Meta
  • gemma von Google
  • starcoder2 von Nvidia
  • phi und wizardlm von Microsoft
  • und viele, viele andere

Sie müssen sich bei OpenAI registrieren und einen API-Schlüssel erstellen. Der API-Schlüssel kann entweder ein Projektschlüssel oder ein Legacy-Benutzerschlüssel sein. Bitte beachten Sie, dass dies ein kostenpflichtiger Dienst ist. Sie müssen also entweder:

• einen Zahlungsplan abschließen oder
• Guthaben auf Pay-as-you-go-Basis hinzufügen

Ein Guthaben von 10 $ kann bei der Verwendung von OpenAI mit GuiPy sehr hilfreich sein. Siehe auch die OpenAI-Preise. Beachten Sie, dass das ältere GPT-3.5 Turbo-Modell 10-mal günstiger ist als das neuere GPT-4o-Modell, das wiederum viel günstiger ist als seine Vorgänger gpt-4-turbo und gpt-4.

Sie benötigen einen API-Schlüssel und müssen dazu mit einem Google-Konto angemeldet sein. Obwohl es sich um einen kommerziellen Dienst handelt, ist die Nutzung des Preismodells Text Embedding 004 kostenlos, sodass es sich hervorragend für die Verwendung mit GuiPy eignet.

Im Gegensatz zu den cloudbasierten Anbietern OpenAI und Gemini werden Ollama-Modelle lokale ausgeführt.

Warum Sie LLMs lokal ausführen möchten? Hier sind einige Gründe:

• Große Auswahl an Open-Source-LLM-Modellen.
• Sparen Sie Geld, da es kostenlos ist.
• Vielleicht möchten Sie tiefer eintauchen und mit Modellparametern wie Temperatur und Strafe spielen.
• Trainieren Sie Modelle mit Ihren oder den Daten Ihres Unternehmens.

Um Ollama zu verwenden, benötigen Sie:

• eine ziemlich moderne und schnelle CPU.
• eine moderne und leistungsstarke GPU mit mindestens 6 GB Speicher. Beispielsweise kann eine relativ günstige Nvidia GeForce RTX 3060 mit 12 GB Speicher eine gute Leistung erzielen.
• Ziemlich viele GB freien schnellen Festplattenspeicher.

Ansonsten kann die Benutzung frustrierend langsam sein.

Sie müssen zuerst das Ollama-Installationsprogramm herunterladen und installieren. Beachten Sie, dass nach der Installation bei jedem Start von Windows automatisch ein Ollama-Windows-Dienst gestartet wird.

Ollama bietet Zugriff auf eine große Anzahl von LLM-Modellen wie Codegemma von Google und Codelllama von Meta. Um ein bestimmtes Modell zu verwenden, müssen Sie es lokal installieren. Sie können dies von einer Eingabeaufforderung aus tun, indem Sie den Befehl eingeben:

ollama pull model_name

Danach können Sie das lokale Modell mit GuiPy verwenden.

Der Assistent funktioniert derzeit mit dem Modell codellama:code und seinen Varianten. Sie können Modelle wie codellama, codegemma, starcoder2 und deepseek-Coder-V2 mit dem Chat verwenden. Für jedes Modell können Sie die größte Modellgröße auswählen, die bequem in Ihren GPU-Speicher passt. Beispielsweise ist codellama:13b-code-q3_K_M eine codellama:code-Variante mit einer Größe von 6,3 GB, die mit einer GPU mit 8 GB oder mehr Speicher verwendet werden kann. Bedenken Sie, dass die Modellantwort umso langsamer ist, je größer das Modell ist, aber die Qualität der Antworten umso höher ist.

Sie können den LLM-Assistenten über das Kontextmenü des Editors aufrufen.

Vorschlagen
Fordern Sie vom Assistenten einen Vorschlag zur Codevervollständigung an. Dies ist nur verfügbar, wenn im Editor keine Auswahl vorhanden ist.

Die folgenden drei Befehle sind nur verfügbar, wenn ein Teil des Codes ausgewählt ist.

Erkläre
Bitten Sie den Assistenten, den ausgewählten Codeabschnitt zu erklären. Die Erklärung erfolgt in Form von Kommentaren.

Fehler beheben
Bitten Sie den Assistenten, die Fehler im ausgewählten Codeabschnitt zu beheben. Der Assistent soll außerdem die Art der ursprünglichen Probleme und ihre Lösung anhand von Kommentaren im Code erklären.

Optimiere
Bitten Sie den Assistenten, den ausgewählten Codeabschnitt zu optimieren. Die Optimierungen sollen die ursprüngliche Funktionalität des Codes beibehalten.

Abbrechen
Abbrechen einer ausstehenden Anfrage. In allen oben genannten Fällen wird in der GuiPy-Statusleiste ein Aktivitätsindikator angezeigt. Sie können eine Anfrage auch abbrechen, indem Sie auf den Aktivitätsindikator klicken.

In der Konfiguration von GuiPy werden Einstellungen des LLM-Assistenten eingetragen, insbesondere der API-Schlüssel.

Alle Antworten des LLM-Assistenten werden in einem Popup-Vorschlagsfenster angezeigt:

Sie können die Antwort bearbeiten, bevor Sie einen der folgenden Befehle ausführen:

Akzeptieren (Tab)
Fügt den Inhalt des Vorschlags an der Cursorposition ein.

Wort akzeptieren (Strg+Rechts)
Akzeptieret nur das erste Wort des Vorschlags.

Zeile akzeptieren (Strg+Enter)
Akzeptiert nur die erste Zeile des Vorschlags.

Abbrechen (Esc)
Ignorieren Sie den Vorschlag und kehren Sie zum Editor zurück.

Das LLM-Chat-Fenster dient der Interaktion mit Large Language Models (LLMs), ohne GuiPy zu verlassen. Man ruft es über das Fenster-Menü auf.

Es bietet Folgendes:

• Organisation nach mehreren Chat-Themen
• Jedes Thema kann einen eigenen Titel haben
• Chatverlauf kann gespeichert und wiederhergestellt werden
• Python-Code wird syntaktisch hervorgehoben
• Python-Code kann einfach in einen Code-Editor kopiert werden
• Innerhalb jedes Themas bleibt der Konversationskontext erhalten

Symbolleistenbefehle:

Neues Thema
Fügt ein neues Chatthema hinzu.

Aktuelles Thema entfernen
Entfernt das aktuelle Chatthema.

Chatverlauf speichern
Speichert Chatthemen in einer JSON-Datei namens „Chat history.json“ im selben Verzeichnis wie GuiPy.ini. Der Chatverlauf wird automatisch wiederhergestellt, wenn GuiPy wieder gestartet wird.

Titel
Geben Sie dem aktuellen Thema einen Titel. Der Thementitel wird im Fenstertitel angezeigt.

Nächstes/Vorheriges Thema
Zeigt das nächste/vorherige Thema an.

Einstellungen des LLM-Chat-Fenster werden in der Konfiguration vorgenommmen.

Kopieren
Kopiert die Frage oder Antwort unter dem Cursor in die Zwischenablage.

Code kopieren
Kopiert den Python-Code unter dem Cursor in die Zwischenablage.

Code in neuen Editor kopieren
Kopiert den Python-Code unter dem Cursor in einen neuen Editor, damit Sie ihn problemlos testen können.

Wenn Sie eine Frage bzw. einen Prompt eingeben, können Sie Parameter und Modifikatoren verwenden. Sie können beispielsweise die folgende Eingabeaufforderung verwenden, anstatt Code aus dem Editor zu kopieren und einzufügen

Bitte erläutern Sie den folgenden Code:
$[SelText]

Sie können die Parametervervollständigung mit Umschalt+Strg+P und die Modifikatorvervollständigung mit Umschalt+Strg+M aufrufen.

Um Ihre Anfrage zu senden, drücken Sie Strg+Eingabe oder klicken Sie auf das Chat-Symbol rechts neben der Frage.