Bueno partamosde que tipo de persona eres:
Si quieres musica como para solo pasar el rato o ponerla en un celular o mp4 etc sin audifonos es posibleque hasta 96 kbps te sean suficientes para solo "escuchar" a grosso modo la musica que te gusta y aparte si tus oidos no estan muy desarrolados musicalmente "estaria bien 128kbps".
Pero como sabras nada en la vida es gratis, asi que esa reduccion de tamaño conlleva a una drastica perdida del sonido original. Pues bien como sabras esa reduccion de tamaño deriva de eliminar ciertos rangos de frecuencia los cualesen su mayoria no son audibles para el oido humano PERO NO TODOS. Y si es que ocurre que por ahora si vas escuchando musica mas seguido continuamente y en vez desolocantar o tararear (que es loque la mayoria hace) le prestas mas atencion a los sonidos en sì mismos veras que la diferencia entre 128kbps y 320kbps es abismal.
Y hayuna rason mas poderosa para preferir la alta fidelidad de sonido y que los productores y artistas que crean la musica lahacen pensando en que su publico la escuchara en alta calidad. una forma rapida de darse cuenta de esto es escuchar un tema de musica clasica, instrumental o musica electronica te daras cuenta que al escuhar un tema a 320kbps y luego a 128kbps habran desaparecido muchos sonidos y efectos del tema original. es decir si loves asi podria decirseque inclusive estas alterando el tema original.

Ynclusive la tendencia actual es a descartar el mp3 a 320kbps y reeplazarlo por el flac (free losless audio codec)que como te imaginaras estodavia de mayor tamaño pero muchisima mejor calidad

Y por ultimo, puedes tener tu propio punto de vista pero todo depende que quieras hacer "escuchar musica"o sentir y vivir la musica