Software für Flatfile-Bearbeitung

Seite 1 von 1 - Forum: Applications, Apps & Drivers auf overclockers.at

URL: https://www.overclockers.at/applications/software-fuer-flatfile-bearbeitung_257511/page_1 - zur Vollversion wechseln!

Tosca schrieb am 19.02.2021 um 11:34

Ich habe häufig mit irgendwelchen strukturierten Textdateien zu tun und muss da im Excel oft kleinere Änderungen machen (Spalten umbenennen/entfernen, Werte runden,...), damit ich das dann in weitere Systeme importieren kann. Ich bekomme da die unterschiedlichsten Sachen und finde das mit Excel in der Praxis recht mühsam, weil man höllisch aufpassen muss, wenn man CSV/Text in Excel bearbeitet, z.B. bei Kommawerten mit Punkt oder Leading 0-Werten.

Jetzt bin ich auf der Suche nach einem Programm, mit dem ich diese CSV Dateien komfortabel bearbeiten kann. Mapforce wäre mir da ins Auge gesprungen - gibt's da Erfahrungen und/oder Alternativvorschläge?

COLOSSUS schrieb am 19.02.2021 um 11:54

Excel wuerde ich nicht in die Naehe von wichtigen CSV-Dateien lassen. Das Programm kann bestimmte Dinge besser als seine Alternativen - aber CSV so behandeln, dass man nachher auch noch was damit anfangen kann, erwiesenermaszen absolut nicht. Libreoffice Calc ist dafuer um einiges weniger beschissen.

Ich wuerde an deiner Stelle ein bisschen Python lernen, um das Problemfeld zu beackern.

murcielago schrieb am 19.02.2021 um 12:18

kann ich absolut nicht unterschreiben @COLOSSUS. Einfach PowerQuery verwenden und sich freuen ;-)

Tosca schrieb am 19.02.2021 um 12:35

Powerquery ist cool, aber in der Praxis leider auch ein bisschen anfällig, weil man dennoch der Autoerkennung von Excel ausgeliefert ist und den Datentyp manuell anpassen muss.

Das Problem tritt vor allem dann auf, wenn man Dateien mit vielen Spalten hat, bei denen nicht offensichtlich ist, dass zB Leading-0-Werte vorkommen können.

kleinerChemiker schrieb am 19.02.2021 um 12:39

R oder Python

Tosca schrieb am 19.02.2021 um 12:54

Hier mal ein fiktives Beispiel:

Was ich bekomme:

Code:

+---------------+-------------+-------+-------+---------+---------------+
| Artikelnummer | Bezeichnung | viele | viele | Spalten | Barcode       |
+---------------+-------------+-------+-------+---------+---------------+
| 12345         | Produktname | abc   | def   | ghi     | 0103050501035 |
+---------------+-------------+-------+-------+---------+---------------+

Was ich brauche:

Code:

+-------------+-------------+---------------+
| ordernumber | name        | ean           |
+-------------+-------------+---------------+
| 12345       | Produktname | 0103050501035 |
+-------------+-------------+---------------+

Ein Script darüber laufen zu lassen ist eine gute Idee, aber ich bekomme halt immer wieder unterschiedliche Dateien rein und müsste dann das Mapping jedes mal neu machen - das stelle ich mir mit einer grafischen Oberfläche schon komfortabler vor.

murcielago schrieb am 19.02.2021 um 13:29

Zitat aus einem Post von Tosca
Powerquery ist cool, aber in der Praxis leider auch ein bisschen anfällig, weil man dennoch der Autoerkennung von Excel ausgeliefert ist und den Datentyp manuell anpassen muss.

Das Problem tritt vor allem dann auf, wenn man Dateien mit vielen Spalten hat, bei denen nicht offensichtlich ist, dass zB Leading-0-Werte vorkommen können.

Autodetection kannst ausschalten.

Zu deinem Beispiel unten: Perfekt für PQ

Code:

src = Csv laden (weiß den Code grad ned auswendig)
Table.SelectColumns(src, "{"Artikelnummer", "Bezeichnung", "Barcode"}")
// damit behält er wirklich nur die 3 Spalten, egal ob nur 3 oder 105192031920 daher kommen
...
Table.RenameColumns....

Wär echt intressant, worans wirklich scheitert, ich hab PQ schon penetriert mit allen möglichen CSVs, drum wunderts mich so.

Tosca schrieb am 19.02.2021 um 13:51

Zitat aus einem Post von murcielago
Autodetection kannst ausschalten.

Wow cool, das löst schon mal 90% meiner Probleme

Das heißt Autodetection off = alles wird als String behandelt, außer ich definiere Abweichendes bei einzelnen Spalten?

Ich glaube ich gebe Powerquery doch noch mal eine Chance.

Longbow schrieb am 19.02.2021 um 14:00

Zitat aus einem Post von kleinerChemiker
R oder Python

+1 für python scripterl

--

Alternativ stopfst du die src z.b. in eine Postgres per csv import und ziehst von dem eine materialized view mit den neuen names und fields.

murcielago schrieb am 19.02.2021 um 14:28

Zitat aus einem Post von Tosca
Wow cool, das löst schon mal 90% meiner Probleme Das heißt Autodetection off = alles wird als String behandelt, außer ich definiere Abweichendes bei einzelnen Spalten?

Ich glaube ich gebe Powerquery doch noch mal eine Chance.

genau, alles ist dann type "any"

othan schrieb am 19.02.2021 um 14:32

Sowas hab ich früher mal via PowersHell gelöst

CSV einlesen, Codierung check (utf, iso..), einkürzen, auf bestimmte Sonderzeichen prüfen, doppelte Einträge raus....

Leider hab ich das Script nicht mehr :/

Denne schrieb am 19.02.2021 um 14:41

Mit Python und pandas würde es easy und fix gehen, wenn die Skills vorhanden sind.

sichNix schrieb am 19.02.2021 um 15:31

Zitat aus einem Post von othan
Sowas hab ich früher mal via PowersHell gelöst

enjoy schrieb am 24.02.2021 um 21:35

Für Kleinigkeiten zum Ändern in csv Dateien verwende ich gerne Visual Studio mit der Erweiterung edit csv
https://github.com/janisdd/vscode-edit-csv

Nur die Kodierung macht mir dabei Probleme, bin aber wahrscheinlich nur blind beim Suchen nach den entsprechenden Einstellungen.
Da ist Notepad++ wesentlich angenehmer beim Handhaben der Kodierung.