
deboril
Mitglieder-
Gesamte Inhalte
6 -
Benutzer seit
-
Letzter Besuch
-
gesplitteter remote download, PHP, cURL
deboril antwortete auf deboril's Thema in Skript- und Webserverprogrammierung
@flashpixx - wohl wahr und gelassen ausgesprochen. Es handelt sich dabei um Produktdaten die als CSV oder XML ausgeliefert werden. Auf das Format habe ich keinen Einfluss und muss nehmen was kommt. Und wenn der Kunde die Möglichkeit für XML-Import wünscht, weil sich das besser "anhört" als schnöder CSV-Import - was soll man machen? Mal abgesehen davon dass der Datenaustausch innerhalb verschiedener Systeme - wie aktuell gefordert - mit XML dann schon so seine Vorteile hat. OK - das der Kunde derzeit auf nem V-Server hostet lasse ich mal unkommentiert. Also, werde mal weiter machen und ggf. erfolgreichen Vollzug melden :cool: Deboril -
gesplitteter remote download, PHP, cURL
deboril antwortete auf deboril's Thema in Skript- und Webserverprogrammierung
@dku @flashpixx - die Weiterverarbeitung ist schon sichergestellt. in der Tat wird die dann vorhandenen Datei in handliche Häppchen zerlegt und diese dann im Anchluss in einer schleife mit nem xml_parser bearbeitet. Sobald die Datei - derzeit funzt das mit Grössen bis 2GB - vorhanden ist geht das auch auf nem V-Server. Derzeit werden die Dateien manuell nach lokal heruntergeladen und dann mit FTP auf den Server kopiert - dann halt der Splitter/Parser manuell anschoben. Ich werde morgen mal die Variante von lupo49 mit der CURLOPT_RANGE Option versuchen - wobei ich mir da noch nicht ganz sicher wie das mit der EOF Erkennung funzen könnte weil ich halt im Vorfeld die Dateigrösse nicht kenne. Poste dann wieder - bis dahin erstmal meinen besten Dank Deboril -
gesplitteter remote download, PHP, cURL
deboril erstellte Thema in Skript- und Webserverprogrammierung
Hi zusammen, derzeit lade ich mit einem PHP-Script remote XML/CSV Dateien via cURL auf meinen Server. V-Server Linux php.ini : memory_limit = 80M (nicht zur Laufzeit änderbar) Download-URL's sehen etwa so aus: http://download.from.anywhere/?aid=123&type=xml&encoding=utf-8 Das Ganze funktioniert auch soweit wunderbar - zumindest bis zu einer gewissen Grösse (ca. 15MB) der Remote-Datei (deren Grösse ist im Voraus nicht bekannt). Ist die Download-Datei zu gross gibt es regelmässig Fehler dieser Art: Fatal error: Out of memory (allocated 27787264) (tried to allocate 25392290 bytes) in /home/www/PFAD_ZUM_SCRIPT on line 1234 Kennt jemand eine Möglichkeit die Download-Datei in Einzelschritten von beispielsweise je 10MB herunterzuladen, auf meinem Server wieder zusammenzusetzen um sie dann weiter zu verabeiten? Vielleicht mit einer cURL-Option die ich bisher übersehen habe, fsockopen oder what ever. Irgendwie fehlt mir im Moment der Schubs in die richtige Richtung. Sehe den Wald vor lauter Bäumen nicht mehr ... Thx im Voraus Deboril -
Hi Peter, Exact - genau so war es. Hätten alle statisch sein sollen - nur diese eine war es nicht. Was mich nun allerdings ein wenig irritiert ist, dass es beim compilieren keinerlei Fehler oder Warnungen in dieser Rochtung gab, sondern der NoClassDefFoundError erst ebei der Ausführung des Programm's auftauchte. Hättes da nicht schon beim compilieren zumindest eine Warnung geben müssen? Deboril
-
@Peter - danke für die Antwort @all - da sieht man mal wieder was man von Fehlermeldungen halten kann/darf - es lag schlicht und ergreifend an einer fehlerhaften Variablendeklarion direkt in der MainClass public class MyLocStorageSystemApp extends SingleFrameApplication { /** Declarationen */ private static IRGENDWAS; private static NOCHWASANDERES; ... public static void main(String[] args) { .... } } Das Zauberwort dabei ist static - was ich auch brav bei allen Deklarationen gemacht habe - bis auf einer. Die war nur private - und hatte mit der erwähnten Fehlermeldung so rein gar nichts zu schaffen. Dennoch danke - und ich kann nun wieder produktiv werden LOL Deboril
-
newbie @all, tja - mal wieder eine java.lang.NoClassDefFoundError Exception von der ich nicht einmal ansatzweise erahne wo sie herkommt. ich arbeite mit NetBeans 6.7.1 - das Projekt (nutzt das NetBeans SingleApplicationFramework 1.0.3) lässt sich anstandslos kompilieren, hadert aber bei der Ausführung mit dieser Fehlermeldung: Exception in thread "AWT-EventQueue-0" java.lang.NoClassDefFoundError: Could not initialize class java.util.Formatter at java.lang.String.format(Unknown Source) at org.jdesktop.application.Application$1.run(Application.java:175) at java.awt.event.InvocationEvent.dispatch(Unknown Source) at java.awt.EventQueue.dispatchEvent(Unknown Source) at java.awt.EventDispatchThread.pumpOneEventForFilters(Unknown Source) at java.awt.EventDispatchThread.pumpEventsForFilter(Unknown Source) at java.awt.EventDispatchThread.pumpEventsForHierarchy(Unknown Source) at java.awt.EventDispatchThread.pumpEvents(Unknown Source) at java.awt.EventDispatchThread.pumpEvents(Unknown Source) at java.awt.EventDispatchThread.run(Unknown Source) Ausgeführt wird die SW sowohl auf Windows als auch unter Ubuntu mit der Runtime: carsten@carmilo:~$ java -version java version "1.6.0_16" Java SE Runtime Environment (build 1.6.0_16-b01) Java HotSpot Client VM (build 14.2-b01, mixed mode, sharing) Die ursprüngliche Fehlermeldung bei der Programmausführung war die hier: Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class java.util.Formatter at java.lang.String.format(String.java:2769) at org.jdesktop.application.Application.getInstance(Application.java:601) at mylocstoragesystem.MyLocStorageSystemLogger.<init>(MyLocStorageSystemLogger.java:18) at mylocstoragesystem.MyLocStorageSystemApp.<clinit>(MyLocStorageSystemApp.java:32) Could not find the main class: mylocstoragesystem.MyLocStorageSystemApp. Program will exit. In der Klasse "mylocstoragesystem.MyLocStorageSystemLogger" auf die sich diese Fehlerausgabe bezieht (Zeile 18) lade ich die Resourcedaten zur Klasse: private ResourceMap resMap = Application.getInstance(mylocstoragesystem.MyLocStorageSystemApp.class).getContext().getResourceMap(MyLocStorageSystemLogger.class); Die Ressourcedatei existiert auch unter "mylocstoragesystem.resourcesMyLocStorageSystemLogger.properties" Kommentiere ich diese Zeil aus ergibt sich bei der Ausfühung die erste Fehlermeldung. Aufgrund dieser Fehlermeldung wo es heisst "at java.lang.String.format(Unknown Source)" vermute ich dass diese Datei nicht gefunden wird. Wenn dem so sein sollte kann ich nicht nachvollziehen warum. Mal abgesehen davon, dass ich seit fast 2 Tagen an dem Problem sitze und z.B. nicht weiss warum denn die java.util.Formatter überhaupt geladen wird. Im gesamten Source gibt es keine Stelle and er ich den Formatter nutzen würde - oder reicht hier schon der Import von java.util.*; um auch den Formatter laden zu wollen? Oder könnte das Problem an ganz anderer Stelle zu suchen sein? Bin für jeden Hinweis dankbar. Vielleicht sehe ich ja auch nur den Wald vor lauter Bäumen nicht ... Danke im Voraus Deboril