La plus ancienne mention de Vallorbe dans les ouvrages historiques remonte au 30 avril 1139, dans une bulle du pape Innocent II qui confirme, au prieur de Romainmôtier, les possessions de son prieuré. Il y est dit entre autres : "...et obedientiam de valle urbanensi com capella" soit l'obédience de la vallée de l'Orbe avec la chapelle. Ce terme d'obédience désigne une maison religieuse secondaire. Il est ainsi certain que des moines ont été les premiers défricheurs du vallon. En 1148, la chapelle est qualifiée d'église. Un prieuré est bâti près du cimetière actuel sur "le Mouti" (rue du Moutier) ; la Fontaine de St-Pancrace, restaurée en 2003, est toujours alimentée par cette source. Avec la construction des forges, le village se déplacera par la suite en aval et se recentrera autour du pont de l'Orbe, qui, même s'il n'est mentionné pour la première fois qu'en 1499, doit exister depuis plus longtemps, près de son emplacement actuel.

A l'origine, Vallorbe semble donc signifier "vallée de l'Orbe" (valle urbanensi). Au niveau orthographique, Valorbes apparaît dès le début du 13e siècle, puis Vallorbes dès la fin du 15e siècle et jusque vers 1900. Le "s" final disparaît en octobre 1884 pour une raison mystérieuse...