Lakoizketa (1888: 78) dice que «hay un pueblo en Vizcaya que se denomina ELORRIAGA, que quiere decir lugar poblado de espinas, y otro en Navarra que se llama ELGORRIAGA, que parece ser el mismo con el aumento de una G [...]».

Los formantes del topónimo son el sustantivo elhorri y el sufijo locativo-abundancial -aga (véanse Arriaga, Amezketa, Lerga y Uterga), es decir, en origen significaba 'el lugar del espino albar', 'el sitio donde el espino albar abunda' (cfr. Elortza, Elosu y Valdespinosa, término este último situado en la muga entre Salinas de Añana y Viloria en 1489; Pozuelo, 2007: 106). Sabemos que el nombre que está en la base del topónimo, como era de esperar, se empleaba in situ en 1526 (Ramos, 1999: 46; la negrita es nuestra): «...e dende por drecho del dicho mojon azia la cueste de Ascarça, cabo un helorri que esta en cabo de la dicha pieça». Si partimos de Elhorriaga habrá que pensar que se ha producido el cambio h₂ > h₁ para llegar a Helorriaga.

Mitxelena (1956: 349) estima en un primer momento que la aspiración en el grupo -lh- es seguramente secundaria «en la mayor parte de los casos, en documentos medievales relativos a Álava y en los dialectos que conservan la aspiración: Elhorriaga (año 1025, en 871 Helhorriga), hoy Elorriaga, Elhorzahea (año 1025), Elhossu (año 1025), actual Elosu; cf. actual Elgorriaga (Nav.): bajonavarro, labortano, suletino elhorri 'espino'». Sin embargo, más tarde (FHV, 223-224), considera que «es difícil decir hasta qué punto lh, rh, etc. representan antiguos grupos o continúan una sonora antigua con aspiración secundaria», aunque en la misma obra, un poco antes (p. 207), escribe que «La Reja tiene h- en algunos casos en que no debe ser etimológica» y menciona Elhorriaga, Elhorzahea y Elhosu entre los topónimos de dicho documento que llevan h «detrás de l». Más adelante (p. 320) explica que «cuando hay rr en la misma palabra, esta l es constante y nunca permuta con otros sonidos como en [...] belar 'frente' / bel(h)ar, berar, bedar 'hierba', el(h)orri 'espino' (Elhorriaga, Elhorzahea, año 1025, CSMill. 91)».

De todas maneras, es obvio que el grupo lh de Elhorriaga era equivalente a la L fortis (véase Galarreta) como demuestra el resultado l de los últimos siglos y actual, frente a otros topónimos como Zaballa (Burgos, de un anterior Zabala, con L); Olleta, en euskera Oleta (Valdorba / Orbaibar, N); Olhauarri (1025), Olauarri (1257), Ollávarre (ya para 1379; Iruña Oka, A) y Olhauri (1085), Ollauri (actual, La Rioja; véase Salaberri, 2015: 309-310), en los que la lateral fortis vasca y el grupo lh han sido tratados en romance como la lateral geminada del latín.

En Navarra hay una localidad denominada Elgorriaga, con -lg- procedente de -lh- (vide AV, 205), nombre en el que la oclusiva velar sonora no puede ser sino el resto de la aspiración original, como en aho 'boca' > ago, por ejemplo. El topónimo Elgorriaga se repite en Navarra en varias localidades: Errea (Esteribar, 1643; AGN, pr. de Huarte / Uharte, 41, J. de Larrasoaña), Idoi (ibid., aquí junto a Elorriaga), Garralda (Aezkoa, 1800; AGN, pr. de Auritz / Burguete, 11372/1, nº 159, J. F. Legarra; aquí también Elgorri, sin sufijo) y Zuhatzu (Itzagaondoa, 1692; AGN, pr. de Otsagabia, 20, 3, Juan Algarra).