[PERL] Systemaufrufe parallel absetzten

[goepp]

hajo!

ich habe ein kleines perlscript auf "meinem" hp-ux cluster welches die vertiffung von ein paar hunderttausend druckdateien anstösst. der aufruf des konverters erfolgt über backticks. um den ganzen vorgang etwas zu beschleunigen, wäre es natürlich sinnvoll eine bestimmte anzahl dieser vorgänge parallel laufen zu lassen. wie stelle ich das in perl an?

[tafkame]

Einfach an die Kommandozeile hinten ein Pipe dranhängen - Mit einem Space davor.

[Shunsui]

Du koenntest ein Modul wie Parallel::ForkManager verwenden (gibts bei CPAN). Allerdings wuerde ich mir dann ueberlegen ob ich das per Backticks aufrufen muss.

[goepp]

Du koenntest ein Modul wie Parallel::ForkManager verwenden (gibts bei CPAN). Allerdings wuerde ich mir dann ueberlegen ob ich das per Backticks aufrufen muss.

leider muss ich es über backticks aufrufen, da das konvertierungsprogramm immer returncode 0 liefert. im fehlerfall gibt es nur einen netten hinweis auf dem terminal.

[Shunsui]

leider muss ich es über backticks aufrufen

There is more than one way to do it.

Ein simpler Test zeigt den massiven Performance-Unterschied:

#!/usr/bin/perl -w

# vim: set sw=4 ts=4

use strict;

use warnings;

use Benchmark qw(cmpthese);


my @cmd_sauber  = qw(/bin/true ignoriert);

my $cmd_back    = join(" ", @cmd_sauber);


cmpthese(10000, {

                BackTicks       => sub { `$cmd_back` },

                Sauber          => sub { open CMD, '-|' or exec @cmd_sauber; close CMD },

        });

Das ganze ergibt sowas:

             Rate BackTicks    Sauber

BackTicks 12346/s        --      -16%

Sauber    14706/s       19%        --

Bedeutet: Backticks machen rund 2000 Aufrufe pro Sekunde weniger. Du kannst die Ausgabe eines Programms auch ohne einen Shell Aufruf angucken:

my @cmd = qw(/bin/irgendwas -optionen);

open CMD, '-|' or exec @cmd or die("exec failed: $!");  # das kommando wird ausgefuehrt

while( <CMD> ) { ausgabe_verarbeiten($_) } # die aktuelle zeile befindet sich in $_

close CMD;

Ich hoffe, dass ich weiterhelfen konnte.

Shunsui