Du kannst dir eigentlich beide Funktionen sparen. Der Tokenizer ist offensichtlich in C geschrieben. In C++ versucht man, sich möglichst nicht mit rohen Zeigern und char-Arrays herumzuärgern. Damit hättest du auch nicht mehr das Problem, das jemand den in stringtoarray angeforderten Speicher wieder freigeben muss, weil es sonst ein Speicherleck gibt.
Das Ganze könnte auch so aussehen:
ifstream file("dictlst.csv");
string line;
while(getline(file, line) )
{
istringstream iss(line);
string cuts;
getline(iss, cuts, ';');
}[/code]
Keine Zeiger, keine char-Arrays, keine aufwändigen zusätzlichen Funktionen, kein Speicherleck.