Table 1 Q-value table for femtocell configuration

$a_1\left(p_{a_1},c_{a_1}\right)$

Q(s₁,a₁)

...

Q(s _total , a₁)

.

.

.

.

.

.

.

.

.

.

.

.

$a_{max}\left(p_{a_{max}},c_{a_{max}}\right)$

Q(s₁,a_max)

...

Q(s_total, a_max)