Le fait de répondre « allô » tient à une tradition, une convention.
De la même façon que l'on dit « O.K. » quand on a compris, comme on dit « euh... » quand on hésite. Chaque langue a un mot passe-partout qui signifie, quand on décroche le récepteur du téléphone, qu'on est attentif à ce que notre interlocuteur veut nous communiquer. En japonais, on dit « Moshi Moshi », en italien on utilise le terme « Pronto » (salutations). L'origine de notre « allô » est très lointaine. Le mot viendrait de « Hallow », une salutation que les marins anglais se lançaient d'un bateau à l'autre. Pour simplifier, disons que «allô » est la francisation (1890) de «hello » qui vient de l'anglais des États-Unis. On ne trouve la forme écrite de « Hello » qu'après 1880 alors que le mot est devenu la salutation la plus utilisée au téléphone aux États-Unis.
La légende veut que Thomas Edison, l'inventeur du télégraphe et du phonographe, soit le premier à avoir utilisé « Hello » au téléphone. Ses biographes affirment qu'à partir de ce moment la salutation fut utilisée par tous.