Chamado pelo jornalista e pesquisador Lúcio Rangel de “O Grande Ismael Silva”, compôs seu primeiro samba, “Já desisti”, aos 15 anos. Em 1922, logo que terminou o curso Ginasial, tornou-se assíduo frequentador do Bar Apollo e do Café do Compadre, onde conheceu inúmeros sambistas como Mano Edgar, Baiaco, Mano Rubens (Rubens Barcellos), Nilton Bastos, Brancura, Bíde, Marçal, Francelino Ferreira Godinho e outros.

Freqüentava as rodas de samba da região e o morro do Salgueiro e da Mangueira.  Em 1927, foi visitado por Bide quando estava internado no Hospital da Gamboa que lhe levou a proposta de Francisco Alves de comprar seu samba “Me faz carinhos”. A partir daí, o grande cantor das rádios passou a comprar algumas músicas de sua autoria, grande parte composta em parceria com Nilton Bastos.

No  fim da década de 1920, fez um acordo com Francisco Alves, que permitia ao cantor gravar composições suas e constar como autor mediante pagamento prévio. Esse “comércio” de sambas era prática comum nos anos de 1920 e 1930. Além dele, Noel Rosa, Cartola, Nélson Cavaquinho e outros venderam sambas. “Me faz carinhos” e “Amor de malandro” foram dois sucessos na voz de Francisco Alves resultantes desse acordo.

Começou a ficar famoso em 1928 quando Francisco Alves gravou com grande sucesso o samba “Me faz carinhos”, embora a música já tivesse sido gravada três anos antes pelo pianista Orlando Cebola.

No mesmo ano, participou da fundação da Deixa Falar, a primeira escola de samba do Rio de Janeiro. Fundada inicialmente como bloco, ficava perto da escola normal que ficava no bairro do Estácio e assim, seus fundadores passaram a ser conhecidos como professores e o bloco passou a ser escola de samba.

Em 1929, Mário Reis gravou com grande sucesso “Novo amor”. Em 1930, teve gravado por Jonjoca, o samba “Não te dou perdão” e, por João Gabriel de Faria no assovio o samba “Novo amor”.

Em 1931, Francisco Alves e Mário Reis gravaram juntos os sambas “Se você jurar”, um clássico da música popular brasileira e que se tornou um verdadeiro modelo para os sambas dos anos trinta, segundo Jairo Severiano e Zuza Homem de Mello; “Não há”; “Arrependido” e “O que será de mim?” parcerias registradas com Nilton Bastos e Francisco Alves, sendo este último samba uma das pérolas do compositor exaltando a malandragem com versos como: “Se eu precisar algum dia/de ir pro batente/não sei o que será/Pois vivo na malandragem/e vida melhor não há”.

No mesmo ano, Francisco Alves registrou sozinho os sambas “Nem é bom falar”; “Meu batalhão”; “Ironia” e “Olê-leô”, parcerias com Nilton Bastos e Francisco Alves. Também no mesmo ano, estreou como cantor gravando na Odeon os sambas “Samba raiado”, de Marcelino de Oliveira e “Louca”, de Buci Moreira.

Em dezembro de 1931, gravou seu segundo disco registrando os sambas “Me diga o teu nome” e “Me deixa sossegado”, parcerias com Nilton Bastos e Francisco Alves. Nesse mesmo ano,  após a morte de Nilton Bastos e Mano Edgar mudou-se para o centro e começou a compor com Noel Rosa, que lhe foi apresentado por Francisco Alves.

Francisco Alves, aliás, apresentou-o a muita gente: Vinicius de Moraes, que o apelidou “São Ismael” em virtude dos seus olhos doces e sua fala educada, Mário de Andrade, Prudente de Moraes Neto, Aníbal Machado, cuja casa costumava frequentar nas concorridas reuniões de domingo a que compareciam também Tônia Carrero, Carlos Drummond de Andrade, Murilo Mendes, Rubem Braga, Portinari, Heitor dos Prazeres e Ataulfo Alves. Em 1932, teve gravado por Patrício Teixeira o samba “Quero sossego”, parceria com Francisco Alves e Nilton Bastos; Francisco Alves gravou sozinho o samba “Gandaia”, parceria dos dois e, com Mário Reis o samba “Antes não te conhecesse”, também parceria dos dois.

No mesmo ano, teve gravada por Francisco Alves sua primeira parceria com Noel Rosa, o samba “Para me livrar do mal”. Logo em seguida, Mário Reis gravou o samba “Uma jura que eu fiz”, parceria com Noel Rosa e Francisco Alves e o mesmo Chico Viola, gravou “Ando cismado”, outro samba da parceria com Noel Rosa. A parceria com Noel Rosa também rendeu pérolas como “Adeus”, dedicado a Nilton Bastos e “A razão dá-se a quem tem”.

Juntos, fizeram  11 composições. Em 1933, a dupla Jonjoca e Castro Barbosa gravou os sambas “Deus sabe o que faz” e “Dona do lugar”, este, parceria com Francisco Alves. No mesmo ano, João Petra de Barros gravou o samba “Isso não se faz” e Francisco Alves, “Quem não quer sou eu”, parceria com Noel Rosa e “Não tem tradução”, parceria com Noel Rosa e Francisco Alves.

Também no mesmo ano, gravou os sambas “Carinho eu tenho”, de Brancura e, em dueto com Noel Rosa, “Escola de malandro”, de Orlando Luiz Machado.  Em 1935, Aurora Miranda gravou a marcha “Não faltará ocasião” e o samba “Boa viagem”, parceria com Noel Rosa e, Sílvio Caldas, a marcha “Cara feia é fome” e o samba “Agradeças a mim”.  No mesmo ano, João Petra de Barros gravou o samba “Você prometeu”, parceria com Dan Malio. Ainda nesse ano, rompeu definitivamente o acordo que mantinha com Francisco Alves.

Em 1936, já recluso no presídio da Frei Caneca, teve outras composições gravadas: Mário Reis registrou o samba “Você merece muito mais” e Aurora Miranda a marcha “Não apoiado”.  Em 1939, J. B. de Carvalho gravou na Odeon seu samba “Com a vida que pediste a Deus”, Cyro Monteiro na Victor gravou a marcha “Eu sou um” e Aurora Miranda, também na Victor, a marcha “Não vejo jeito”. Durante a década de 1940, esteve ausente do meio artístico.

Em 1950, ressurgiu no cenário artístico quando teve o samba “Antonico”, inspirado em uma carta de Pixinguinha para Mozart de Araújo na qual o maestro pedia ao amigo um emprego para o sambista em dificuldade, foi gravado por Alcides Gerardi na Odeon.

No mesmo ano, Gilberto Alves registrou na RCA Victor o samba “Meu único desejo”, e o trio vocal Trigêmeos Vocalistas lançou pela Odeon a marcha “Bico da cegonha”. Também no mesmo ano, voltou a gravar, registrando na Sinter, o samba “Dá o fora” e a marcha “Comilão”, ambas de sua autoria.

Em 1954, Dolores Duran gravou na Copacabana, “Tradição”, seu único samba-canção. Em 1955, participou do espetáculo “O samba nasce no coração”, realizado pela companhia de Zilco Ribeiro e apresentado na boate Casablanca, contando com a participação de, entre outros, Donga, J. Cascata, Ataulfo Alves, Pixinguinha, João da Baiana e Alfredinho.

No mesmo ano, gravou na Sinter o partido alto “Me diga teu nome”, de sua autoria e o samba “Nem é bom falar”, parceria com Francisco Alves e Nilton Bastos.  Ainda no mesmo ano, gravou o LP “O samba na voz do sambista”, no qual cantou “Se você jurar”, “Nem é bom falar”, “Adeus” e outras composições de sua autoria.

Em 1957, lançou o LP “Ismael canta” no qual interpretou, entre outros sambas de sua autoria, “Agradeças a mim”, “Meu único desejo”, ‘Choro, sim” e “Não vá atrás de ninguém”.

Em 1960, ganhou os títulos de “Cidadão samba” por iniciativa do jornalista Sérgio Cabral e “Carioca honorário”, concedido pela Câmara dos Vereadores do Rio de Janeiro. Ostentando o título de “Cidadão Samba”, desfilou algumas vezes na abertura oficial do carnaval carioca interpretando a corte liderada pela rei Momo.

Nos anos de 1960, se apresentou em programas de televisão, tornando-se conhecido por outras gerações.  Em 1963 e 1964, fez algumas apresentações no bar Zicartola, palco que dividiu com grandes nomes da MPB como Nara Leão, Monsueto, Carlos Lyra, entre outros.

Em 1965, participou do show “O samba pede passagem”, organizado por Sérgio Cabral, ao lado de Aracy de Almeida, Baden Powell, MPB-4, entre outros, que virou disco, contendo 11 músicas de sua autoria e lançado no ano seguinte pela Polydor.

Em 1969, prestou depoimento ao Museu da Imagem e do Som, entrevistado pelo pesquisador R. C. Albin. No mesmo ano, seu samba “Tristezas não pagam dívidas” foi gravado por Cyro Monteiro no LP “Meu samba, minha vida” da gravadora Copacabana. Em 1970, participou de show na boate Jogral em São Paulo. Em 1971, Gal Costa regravou com êxito seu autobiográfico “Antonico”, no LP “Gal fatal”.

Em 1972, em seu aniversário, recebeu um bilhete de Chico Buarque que dizia: “Ismael, você está cansado de saber da minha admiração pelos seus sambas. Você sabe o quanto lhe devo por toda sua obra. O Sérgio Cabral está lhe entregando o meu presente pelo seu aniversário. É muito menos do que você merece. Um grande abraço, de coração”. Junto ao bilhete, Chico Buarque lhe dedicou um prêmio que recebera do Governo do Estado da Guanabara, entregando-lhe um cheque que ele, embora vivendo modestamente demorou a descontar, preferindo exibir aos amigos a assinatura de Chico Buarque, como prova de admiração e carinho recíprocos.

Em 1973, ao lado de Carmen Costa, participou do seu último show montado, “Se você jurar”, produzido e dirigido por Ricardo Cravo Albin, que também participou no palco como narrador das vidas de ambos. O espetáculo estreou no Teatro Paiol, em Curitiba, e correu várias praças, inclusive São Paulo (Teatro Tuca) e Rio de Janeiro (Teatro Senai), onde cumpriu temporada de um mês, a convite do ator Sérgio Britto. Em São Paulo, a TV Excelsior gravou todo o espetáculo em estúdio, para seus arquivos.

No mesmo ano, foi aos estúdios para registrar seu último LP, intitulado “Se você jurar”, em que cantou antigas e novas composições, como “Afina a viola”, “Alegria”, “Aliás” e “Novo amor”.  Em 1975, foi homenageado pela Escola de Samba Canarinhos da Engenhoca, de Niterói.

Morreu em 1978, numa casa de cômodos no centro do Rio, sem fama nem dinheiro. Em 2001, foi lançado com uma festa na casa de espetáculos Asa Branca, no Rio de Janeiro, o curta metragem “Ismael e Scarpino”, de Alexandre Ribeiro de Carvalho e Luís “Chacra” Gerace, que mostra a amizade entre o compositor e o fotógrafo Clóvis Scarpino.

Na ocasião, foram interpretados sambas de sua autoria pelo grupo MPB de Raiz. No mesmo ano, foram lançados os Cds “Ismael canta…Ismael”, remasterização do disco de 1957 e “A música brasileira deste século por seus autores e intérpretes – Ismael Silva”.

Em 2002, foi homenageado com uma semana de atividades no Teatro da UFF em Niterói, intitulada o “Bamba de Niterói”, com a apresentação do curta “Ismael e Scarpino”, a encenação da esquete “Cenas cariocas”, retratando a polêmica entre ele e Donga sobre o que é samba, uma mesa de debates com as presenças de Maria Thereza Mello Soares, sua biógrafa, Haroldo Costa, Roberto Moura e Luiz Fernando M. de Carvalho.

Foi feita ainda, a inauguração da Rua Ismael Silva na Praça de São Domingos no bairro do Gragoatá, em Niterói, além de exposição fotográfica, no Sesc de Niterói. Em 2005, por ocasião do centenário de seu nascimento foi homenageado com a série de cinco shows intitulada “Ismael Silva – Deixa falar”, que reuniu no Centro Cultural Banco do Brasil as duplas Elton Medeiros e Claudio Nucci, Fátima Guedes e Flávio Burlamarqui, e Mônica Salmaso e Cláudio Jorge, além do trio Monarco, Tereza Cristina e Pedro Miranda, que se apresentaram interpretando obras do compositor.

Também como parte das comemorações pelo seu centenário foi lançado um vídeo com depoimentos do moradores da comunidade do morro de São Carlos e um show da Velha Guarda da escola de samba Estácio de Sá.

Em 2010, foi homenageado coma inauguração de uma estátua sua na qual aparece tocando violão. A estátua foi erguida no Largo do Estácio, em frente à Escola de Samba Estácio de Sá.

Em 2011, foi lançado pelo selo Discobertas em convênio com o ICCA – Instituto Cultural Cravo Albin a caixa “100 anos de música popular brasileira” com a reedição em 4 CDs duplos dos oito LPs lançados com as gravações dos programas realizados pelo radialista e produtor Ricardo Cravo Albin na Rádio MEC em 1974 e 1975. No volume 1 está incluído seu samba “Se você jurar”, com Nilton Bastos e Francisco Alves, na gravação de Paulo Marquez.