Habilitar e desabilitar um elemento

HTML

<div>
  Categoria:
  <input id="categoria" name="categoria" type="text">
    <input id="categoria2" name="categoria2" type="text">
</div>
<br>
<button id="adicionar">Adicionar</button>

JavaScript

$("#adicionar").prop('disabled', true);

$("#adicionar").click(function(){
	alert("Campos já preenchidos não podem ser alterados!");
});

$('#categoria').on('input', function(){
    $('#adicionar').prop('disabled', !this.value);
});

$('#categoria2').on('input', function(){
    $('#adicionar').prop('disabled', !this.value);
});