Im Windows 10 Explorer unter View -> Show/hide die Checkbox "File name extensions" aktivieren (Sorry, hab hier grade nur ein englisches Windows vor mir).
EDIT: ich würde tippen dass es auch geht, das File einfach mit der Maus in den Windows Media Player zu ziehen, hab ich aber nicht ausprobiert.