Habe nun doch herausgefunden, wo der Fehler war:
Ich habe einen Login User, dem als einzigen gestattet ist, sich direkt per ssh2 einzuloggen und der keine Funktion, außer dieser hat. Auf die anderen greife ich per "su" zu.
Wenn ich den Server nun mit einem User starte, auf den ich per su gewechselt bin, wird die limits.conf ignoriert.
Damit die Server auch laufen, wenn ich unterwegs/weg bin, habe ich alle 10min einen Cronjob, der guckt, ob der Server online ist, und wenn nicht, den Server neu startet. Hier wird die limits.conf beachtet.
Ich habe dann testweise einem der Gameserveruser den direkten ssh2 Zugang erlaubt und einen Server gestartet. Auch hier wird die limits.conf beachtet.
Das Problem ist also, dass der Eintrag für pam/limits.conf bei der "su" Funktion fehlt. Da die Server eh über den cronjob/initscript gestartet werden, habe ich mir jetzt nicht die Mühe gemacht, herauszufinden, was man ändern muss, damit das ganze auch unter "su" funktioniert.