HMAC é a mesma coisa que um hash simples com a chave colada no texto?
Não, e essa diferença importa: concatenar chave e mensagem antes de um SHA-256 comum abre brecha para um ataque de extensão de comprimento. O HMAC evita isso aplicando a chave duas vezes, com os preenchimentos ipad e opad definidos pela RFC 2104.
HMAC-SHA-256 e JWT HS256 são a mesma coisa?
HS256 é o nome que o padrão JWT dá ao algoritmo HMAC-SHA-256 aplicado sobre o cabeçalho e o payload codificados em Base64URL. A assinatura final do token é exatamente o HMAC-SHA-256 calculado com a chave secreta compartilhada entre emissor e verificador.
O segredo digitado aqui fica salvo em algum lugar?
Não. A chave só existe na memória da aba do navegador enquanto a página está aberta, usada para calcular a assinatura com a Web Crypto API; fechar ou recarregar a página apaga o valor.