Verwaltung von vielen (hunder-) tausenden Zugriffen auf einmal?

[Klaus86]

Hi,

ich frage mich wie große Webportale wie z.B. Web.de oder google ihre große Anzahl von gleichzeitigen Zugriffen verwalten?

Nach meinem Verständnis braucht ein Webserver für jede Verbindung einen ausgehenden Port um die Daten an den Anfragenden zurückzusenden. Somit währe ein Server in der Anzahl der gleichzeitigen Verbindungen durch die Anzahl der Ports (65535) eingeschränkt. Große Webportale haben natürlich weitaus mehr Verbindungen die gleichzeitig ablaufen.

Wie kann z.B. www.google.de mehr Anfragen, als es ports hat bei scheinbar immer der gleichen IP-Adr bedienen??

Welche Mechanismen ermöglichen so etwas und wie funktionieren diese.

Vielen Dank!

[-uLtrA-]

Vorerst:

Der Port ist immer derselbe, das hat also damit nichts zutun, wenn dein Webserver auf Port 80 lauscht dann bleibt der auch dort

Die verschiedenen Ports sind für verschiedene Dienste gedacht.

Apache macht das recht geschickt und erstellt sogenannte kind-prozesse die jeweils eine bestimmte Anzahl an Requests verarbeiten und sich danach selbstständig beenden. Die Grenze ist also eher das Interface selbst oder die Leistung des Servers.

Also nicht verwechseln mit den Ports

Das andere

Das ist natürlich nicht alles mit einem Webserver möglich!

Das sieht nur äußerlich immer so aus als ob du bei Google immer nur die selbe IP hast. Das ganze ist zwar weitaus komplizierter ab grob erklärt kann man sagen das die einen transparenten Proxy einsetzen. Du siehst nur das Front-End im Hintergrund haben die 100/1000te Server.

Webportale wie z.b. gmx.de setzen einen intransparenten proxy ein, du merkst das du plötzlich auf www1 www9 www109 etc landest, da passiert durch einen Load-Balancer, du landest wenn du www.gmx.de eingibst nicht auf einem Webserver direkt sondern auf einen "Verteiler" der dich weiterschickt.

gruß uLtrA

[Klaus86]

hi,

dass ein z.B. ein Webserver immer auf dem selben Port (80) lauscht ist schon klar aber zu einer Verbindung gehoren doch immer zwei ports. Ein eingehenden, in diesem Fall Port 80, und ein ausgehender Port über den der Server die Anfragen zurücksendet. Dieser zweite Port wird doch vom OS je nach bedarf dynamisch vergeben (glaube ich).

Auch wenn die hunderten bis tausenden Server von www.google.de hinter einem Proxy sind um die gewaltige Last der Anfragen verarbeiten zu können, läuft der Datenverkehr auf dem Rückweg zum Client dann nicht auch wieder über diesen einen Proxy? Denn wenn alle Anfragen wieder über diesen Proxy zurücklaufen und jede Rückantword einen ausgehenden Port braucht ist doch das limit wieder durch die Anzahl der Ports festgelegt.

Gruß Klaus

[cicero610y]

Hallo,

Auch wenn die hunderten bis tausenden Server von www.google.de hinter einem Proxy sind um die gewaltige Last der Anfragen verarbeiten zu können, läuft der Datenverkehr auf dem Rückweg zum Client dann nicht auch wieder über diesen einen Proxy? Denn wenn alle Anfragen wieder über diesen Proxy zurücklaufen und jede Rückantword einen ausgehenden Port braucht ist doch das limit wieder durch die Anzahl der Ports festgelegt.

Genau - deswegen hat Google aber auch nicht nur einen Rechner, der die Anfragen bedient, sondern einige tausend. Und die Rückantworten kommen erst recht nicht nur von einer einzigen IP (wie Du es schriebst), sondern immer von verschiedenen.

Das Loadbalancing von Google fängt schon beim DNS an - wenn Du nach google.de auflösen lässt, kommt da in einem Zeitraum von _Sekunden_ immer wieder eine unterschiedliche IP raus (vorausgesetzt, Du hast nicht irgendeinen cachenden Nameserver dazwischen). Außerdem betreibt Google nicht nur ein Rechenzentrum, sondern viele verschiedene, um die Last schon geografisch aufzuteilen (wie zum Beispiel Akamai oder ähnliche Dienstleister).

Kurz: Die Begrenzung, von der Du sprachst, ist reell, sie wird aber durch eben entsprechend viele Webserver, die zumindest die HTTP-Anfrage beantworten (also nicht die eigentliche Arbeit des Suchens leisten, das machen 30 Cluster zu je ca. 2000 Low-End-Server), umgangen.

Grüße,

Florian