Link: localai.io
URL: https://www.overclockers.at/artificial-intelligence/ki-modelle-gpt-xlstm-stable-diffusion-etc_261430/page_37 - zur Vollversion wechseln!
ZitatIch habe auch schon irgendwelche Texte generieren lassen, aber z.B. für die Problemlösung im IT-Bereich war ChatGPT für mich völlig unbrauchbar.
@charmin wie stellst du sicher dass die Daten noch korrekt bleiben bzw bei der Recherche dass die Quellen stimmen?
ich verwends ja nicht für texte aber die quellen für zahlen etc. kann man sich doch sicher anzeigen lassen... ("if using statistic data specify source" oder so)
Zitat aus einem Post von Viper780@charmin wie stellst du sicher dass die Daten noch korrekt bleiben bzw bei der Recherche dass die Quellen stimmen?
Zitat aus einem Post von davebastardklar bei bleeding edge sachen gehts nicht, aber das hat man ja im Alltag ned immer.
Zitat aus einem Post von davebastardecht jetzt? also ich hab das schon öfter verwendet dass es mir viel Zeit gespart hat. z.B. im opensource Bereich wennst irgend ein Service konfigurieren musst wo man noch keine Erfahrungen hat. Das Grundgerüst der config kann man sich damit sehr gut erstellen lassen. Dann nur noch kontrollieren ob eh keine Fehler drin sind und die eigenen Anpassungen vornehmen.
Bei meinem Workflow ist das wesentlich schneller als wenn ich mit einer config von 0 anfang oder ein noch rudimentäreres sample aus der Doku hernehme.
oder auch shell commandos mit optionen die man ned im kopf hat oder filter für "jq", oder powershell kommandos, registry keys, regular expressions usw. usf.
klar bei bleeding edge sachen gehts nicht, aber das hat man ja im Alltag ned immer.
ja ma muss extrem aufpassen. oft werden total wichtige details weggelassen usw.
und imho: gpt 3.0 oder 3.5 is sowieso unnutzbar, also plus subscription is schon pflicht bei chatgpt.
zum selberhosten troitzdem fast unmöglich, die brauchen ordentlich gpu speicher. inferenz zwar nur einen bruchteil vom training, aber trotzdem.
es gibt aber schon viele quantized oder smal language models wie bspw phi 3 von microsoft, da bin ich mir echt am überlegen ob ich mir net einen signal oder telegram bot self hosted bau als gratis chatgpt quasi. hat dann halt kein RAG und keine plugins.
ZitatAktuell muss man aber immer noch abwägen können, ob die Angaben plausibel oder kompletter Mist sind.
Ich benutz den 3.5er ab und zu für englische texte zum formulieren, aber es teilweise extremst übertrieben geschwollen geschrieben.
Also 1:1 kann man das ned nehmen, aber als Basis ists ok.
hab mir grad einiges über phi3-mini durchgelesen.
gibts auf huggingface und ich glaub ich bau mir einen telegram bot.
würds einfach mal auf meiner cpu aufm unraid server im docker laufen lassen.
mal schauen ob das überhaupt halbwegs lauffähig is betreffend geschwindigkeit bei der inferenz.
Zitat aus einem Post von charminalso plus subscription is schon pflicht bei chatgpt.
Same as Rogaahl.
Es vergeht kein Arbeitstag wo ich es nicht verwende. Gerade gestern hatte ich wieder einen Fall wo ich sicher einen halben Tag Arbeit eingespart habe um ein Backup Script für einen Docker Stack zu erstellen.
Das gefolgt von einer Hilfestellung um eine übergroße Virtuabox vdi auf auf einen Proxmox host zu übersiedeln.
Mit Recherche und Herumpfuscherei bis ich das Dateisystem und die Partitions verkleinert habe hätte ich sicher einen Tag gebraucht. So hat die Aufgabe weniger lang gedauert als der Download vom und erneute Upload zum Kunden.
Ich hab mich nie so recht in Linux reingetraut und seit GPT find ich mich endlich zu Recht. Wenn man wichtige Konzepte und Begriffe in einem Fach nicht kennt, steht man mit Google schnell mal an. Mit ChatGPT fragt man einfach nach und das Ding weiß was man meint.
Im Troubleshooting ist es auch extrem gut. Config File mit Fehler rein; Korrektur raus.
Blöd halt, wenn es in Software Versionen hinterherhinkt. In GPT Anleitungen ist zB noch die Rede von "docker-compose" nicht "docker compose". Da muss man dann eben aufpassen und es ist wies immer war, ohne Doku lesen geht garnichts.
Alle Erkenntnisse, Scripts, Unterlagen, Dokus, Lessons learned etc landen aktuell in Notion und sollen über den Sommer dann in Obsidian übersiedelt werden. Ich hoffe stark, es ergibt sich in den nächsten Monaten eine gute Möglichkeit ergibt die persönliche Knowledgebase dann in ein Modell zu füttern.
Copilot in der paid Variante habe ich auch im Einsatz, aber das stinkt trotz GPT4 Basis total ab. Im einen Moment führt es einen Auftrag noch aus, im nächsten Moment wird die Convo abgebrochen mit der Aussage, dass kein Zugriff erlaubt ist. Jedes zweite mal hängt es sich sowieso einfach auf. Refung kann man sich aber einrexen. War eine unnötige Teure Erfahrung.
Das Kündigungsschreiben für meine Frau haben wir auch von GPT schreiben lassen. Alle Gründe zusammengefasst im Prompt, die Probleme warum sie den Hut draufhaut dazugemischt, gebeten um formell-höflich und voila, fertig ist das Kündigungsschreiben an dem man selbst vielleicht einen halben Tag gesessen wäre.
Hier ein paar brauchbare Tools:
English to SQL
https://querygenie.fly.dev/
Das selbe für Regex
https://www.autoregex.xyz/
@rad1oactive
Dann gib an, dass es nicht geschwollen geschrieben sein soll.
Ich nutz es auch viel um Skripten und Lernunertlagen auszuformulieren und da wirkt "use simple german without direct address" Wunder in der Lesbarkeit.
Es hängt immer sehr Stark vom Prompt ab, wie gut die Antwort ist.
Bei Mathe Themen machts beispiels Sinn im Prompt zu schreiben, dass ein Python Script benötigt wird um etwas zu berechnen. Funktioniert viel zuverlässiger als GPT etwas rechnen zu lassen.
Zitat aus einem Post von hynkDann gib an, dass es nicht geschwollen geschrieben sein soll.
Zitat aus einem Post von hynkIch hab mich nie so recht in Linux reingetraut und seit GPT find ich mich endlich zu Recht. Wenn man wichtige Konzepte und Begriffe in einem Fach nicht kennt, steht man mit Google schnell mal an. Mit ChatGPT fragt man einfach nach und das Ding weiß was man meint.
LLM zum selber hosten mit WebUI:
ZitatWhat is LocalAI? link
In a nutshell:
Local, OpenAI drop-in alternative REST API. You own your data.
NO GPU required. NO Internet access is required either
Optional, GPU Acceleration is available. See also the build section.
Supports multiple models
Danke, schaut gut aus. Mal schauen ob man phi 3 damit koppeln kann. Wobei mir telegram bot lieber wäre
Tweet-URL: https://xcancel.com/DrJimFan/status/1786429467537088741
overclockers.at v4.thecommunity
© all rights reserved by overclockers.at 2000-2025