Na década de 1570 quem, na cidade de São Sebastião, seguisse a praia até a atual praça XV, encontraria uma igrejinha chamada Ermida de Nossa Senhora do O.
Ali o caminho era mais largo, e batido pelo mar. Por esta razão surgiu um desvio, conhecido como "Desvio do Mar".
No Desvio do Mar fixou morada um jovem casal, vindo da Ilha da Madeira. O marido, Aleixo Manuel, acompanhou Estácio de Sá em suas lutas contra os tamoios. Alguns historiadores dizem que ele se tornou barbeiro e cirurgião. Aleixo e a esposa, Francisca da Costa, tornaram-se ricos e transformaram sua casa em uma das mais bonitas do Rio de Janeiro. Tinha dois andares, telhas de cerâmica, paredes de adobo e assoalho de madeira. Aleixo foi oficial da Câmara por cinco mandatos consecutivos e juiz durante um ano. Tornou-se tão importante que o Desvio do Mar passou a ser chamado Rua de Aleixo Manuel. Com este nome permaneceu até que, em 1784, um cidadão ilustre passou a morar ali, o Ouvidor Francisco Berquio' da Silveira.
A partir de então o antigo Caminho do Mar passou a se chamar Rua do Ouvidor.
Com este nome ficou conhecida, até hoje...