Tras trasladarse muy niño a Harlem, sus primeros pasos artísticos se produjeron a finales de los años cincuenta. En 1958, formó un grupo de doo wop llamado The Five Crowns. A finales de año, The Drifters se deshicieron de varios de sus miembros y los reemplazaron con los del grupo de Nelson, que había trabajado en ocasiones con The Drifters. Nelson coescribió el primer éxito para el nuevo grupo, «There Goes My Baby» (1959).
Fue su cantante principal, usando para ello su nombre de pila, en «Save the Last Dance for Me», una canción escrita por Doc Pomus y Mort Shuman, «Dance With Me», «This Magic Moment», «I Count the Tears» y «Lonely Winds». Ben E. King solo grabó diez canciones con los Drifters, incluyendo «Temptation», que no lanzado como sencillo.
Tras su salida de The Drifters, King tuvo su primer éxito en solitario con «Spanish Harlem» (1960) escrito por Phil Spector con Leiber y Stoller. Fue seguido por «Stand by Me» (1961), escrita originalmente por King para The Drifters, aunque no llegaron a grabarla. Los créditos de la canción fueron de King y Elmo Glick, este último un seudónimo de Leiber y Stoller, por el guitarrista de blues Elmore James y Sammy Glick, el protagonista de la novela What Makes Sammy Run? (1941) de Budd Schulberg.3 «Stand by Me» ocupa el puesto 25 del listado de los 365 canciones del siglo compilado en 2001 por la Recording Industry Association of America (RIAA) y National Endowment for the Arts