El latín serra designaba un instrumento para cortar y era también el nombre de un pez con hocico largo y dentado. La palabra se usó además para nombrar una formación del ejército con el aspecto y el movimiento de avance de los soldados semejante al de la sierra al cortar. Solamente en el latín vulgar se empezó a utilizar con el sentido metafórico de 'sucesión de montañas que recuerda la forma del utensilio'. Es un término técnico y su origen etimológico remoto no está claro.

En gallego, catalán y  portugués el resultado romance de la palabra es serra; en castellano y aragonés la Ĕ breve diptonga: sierra.