Решение

Заметим, что если число вида x+y∙√2, где x,y целые, возвести в целую неотрицательную степень n, то вновь получим число такого же вида, т.е. (x+y∙√2)ⁿ=x₁+y₁∙√2, где x₁ и y₁ опять же целые. Положительное число √2-1, очевидно, меньше 1. Значит, возводя его в достаточно большую степень, можно получить число сколь угодно малое. Найдем такое натуральное n, что (√2-1)ⁿ<0,001. Поскольку (√2-1)ⁿ<1/2ⁿ , то, очевидно, достаточно взять n=10, так как 1/2^10 =1/1024<1/1000=0,001. Остается возвести √2-1 в 10-ю степень. Находим:
(√2-1)²=3-2√2,(√2-1)⁴=(3-2√2)²=17-12√2, (√2-1)⁸=(17-12√2)²=577-408√2, (√2-1)¹⁰=(√2-1)⁸∙(√2-1)²=(577-408√2)∙(3-2√2)=3363-2378√2.
Таким образом 0,999<1- (√2-1)¹⁰<1. Поэтому можно взять A=-3362,B=2378.

Замечание. Приведенная в решении оценка очень грубая. На самом деле, уже (√2-1)⁸==577-408√2≈0,000867<0,001. Но (√2-1)⁷≈0,002>0,001.

Ответ

Например, A=-3362,B=2378.