txt umformatierung mit php/javascript?

Nah, in einer relationalen Datenbank ist das Datenmaterial nie und nimmer besser aufgehoben als sequentiell in einem File mit einem speziell auf diese Problemstellung angepassten Toolset.

Um ein einmaliges Parsen des Files kommst du nicht herum, das musst du auch machen, wenn du die Daten sinnvoll in eine mysql-Datenbank fuettern willst. 3GB sind aber eine Menge Zeug, und MySQL ist nicht grade fuer seine INSERT-Performance beruehmt -> das kann und wird dauern. Mit Tuning der Input-Buffer sollte sich da auch einiges an Performance herausschinden lassen.

Prinzipiell ist es sicher keine schlechte Idee, die Daten in einer Datenbank abzulegen, aber wenn das passiert muss es nicht zwingend ein RDBMS wie MySQL sein (`db` ist eine Datenbank, die fuer simples Key=Value-Datenmaterial quasi ideal ist), und wenn schon, dann soll sicher nicht das ganze File in einen Tabellenrecord geschrieben werden (ich glaube naemlich, Crash Override hat das so gemeint - deswegen der Hinweis mit dem Datentyp). Dann waerst du erst wieder auf die Stringfunktionen von MySQL angewiesen; und die sind keinesfalls schneller als die von speziell fuer derartige Aufgaben geeignete Programme und/oder Programmiersprachen.

Hab zuhaus ein Bioinformatik Buch, ich werd einen kurzen Blick reinwerfen und schauen was die vorschlagen.

nope - ist afaik eine einmalige Umformatierung.
Die Daten sind 10 Jahre gesammelt worden, also wirds nicht bald wieder vorkommen - und wenn, kommts auf die paar Tage Rechenzeit nicht drauf an.

ich werd glaub ich mal mit der DB versuchen (hoffe, dass das mein kleines XAMP für Mac auch so sieht) - bin irgendwie nicht motiviert genug mir die I/O-Sachen anzuschaun, evtl komm ich eh nicht dran vorbei...

@Colo:
meinst du, dass es einfach extremst langsam sein wird (schätzungsweise, wieviel langsamer) oder generell schlecht/fehleranfällig?