Die wissen gar nichts. Das einzige was die machen, sind Spekulationen, was als nächstes kommen könnte, basierend auf Texten, die sie vorher gesehen haben. Garniert mit etwas Zufall. Im besten Fall sind die Spekulationen ziemlich gut, im schlimmsten Fall wird einfach wild fabuliert.
Und wo wir schon bei Copyright sind: Auch für den Output von generativer KI gilt das Urheberrecht. Wer von generativer KI erzeugtes Material verwendet, begeht unter Umständen Urheberrechtsverletzungen (juristisch ist das noch nicht abschließend geklärt, aber die deutsche Industrie ist da grade sehr vorsichtig).