O topónimo Carballo vincúlase co substantivo galego carballo “(quercus robur) árbore caducilofia da familia das fagáceas, de gran tamaño, cerna moi dura, copa ampla, follas glabras con lobos, flores masculinas en amentos e femininas terminais, que ten como froito a landra sobre un longo pedúnculo” (DRAG). Provén dunha forma *carvalio con base na voz prelatina carva ‘tropeza, renovo de carballo, carballo miúdo, monte baixo preferiblemente de carballo’ (DCECH s.v. carba). Este fitónimo atéstase con frecuencia nos textos medievais e as máis antigas documentacións teñen sentido toponímico, a miúdo como unha referencia espacial necesaria para a localización dos lugares:

• "Ecclesia Sancti Iuliani de Carualio ~ Carballio riuulo discurrente Salaonia" 747 DiplPeriodoAstur 
• "usque ad Fervenza in Toka, per illo karvalio usque in Pando" 1068 TSamos
• "alias terras qui stant iusta Carvalio" 1075 TCelanova
• "ad montem Aloie ubi fuit ciuitas antiquitus condita et ubi sunt reliquie sancti Iulani reposite et inde ad pedem de Carbalio" 1095 DocUrraca
• "poserunt suos pedes per terminum de ipsa cumbrada de Vessada, et vay ad illo Carbalio et vai ad illa mammona qui estrema" 1097 CDMelón
• " Et inde a Carvalio de Fructoso" 1117 DocCaaveiro.

A antiga presenza de carballos no lugar de Cernide, onde puido estar o carballo perpetuado no nome da parroquia e da vila de Carballo, motivou o nome do concello. Aínda que polo xeral os lugares así designados adoitan estar motivados polo valor referencial que se lle concedeu a unha única árbore, o municipio de Carballo caracterizouse (e caracterízase) por unha forte presenza desta especie (Cabeza Quiles 2021).