Se han encontrado restos fósiles de perros similares al Gran Pirineo en yacimientos de la Edad de Bronce que datan del 1800 al 1000 a. C. Durante siglos, estos perros colaboraron con los pastores en la soledad de los Pirineos, que separan España de Francia. Con la llegada de la época medieval, la belleza, la elegancia y el carácter de estos majestuosos Pirineos blancos dejaron de ser un secreto. Según el Club de los Grandes Pirineos de América, una escultura en bajorrelieve del siglo XII de un Pirineo adorna la Puerta Norte de Carcasona, en Francia. Escritos franceses de 200 años después describen la labor de los "Grandes Perros de las Montañas" como asistentes caninos de los guardias humanos del Castillo de Lourdes. En 1675, el Gran Pirineo fue designado Perro Real de Francia por el Delfín Luis XIV. Esa designación fue para los Pirineos lo que "101 Dálmatas" de Disney ha sido para el dálmata... un reconocimiento que generó una considerable demanda de esa raza de perro en particular. Con el tiempo, esta demanda no se limitó a la nobleza francesa; en el siglo XIX, la reina Victoria de Inglaterra tenía un Gran Pirineo.
Hasta hace relativamente poco tiempo, los Grandes Pirineos se utilizaban para tirar de carros pequeños y repartir leche en Bélgica y el norte de Francia. También han sido perros de trineo, perros de carga y compañeros de familia. Incluso hoy en día, el Gran Pirineo se considera un excelente perro guardián del ganado.