清洗奥克斯小型饮水机的步骤如下：

1. 取下水箱和滤芯

首先，要将奥克斯小型饮水机的水箱和滤芯取下。将水箱中的水全部倒掉，然后拆下滤芯。

2. 准备清洗器材

准备好洗碗洗涤剂、海绵、刷子等清洗器材。

3. 清洗水箱

将水箱用清水彻底清洗干净，然后用洗碗洗涤剂和海绵再清洗一遍。如果有顽固污渍，可以用刷子进行刷洗。

4. 清洗滤芯

将滤芯用清水冲洗一遍，然后用洗碗洗涤剂和海绵清洗一遍。如果发现滤芯上有较多的污渍，可以用牙刷或者尖头针等细小工具，将污渍清理掉。

5. 冲洗水箱和滤芯

清洗完毕后，将水箱和滤芯再次用清水冲洗干净，确保没有洗涤剂残留。同时，还需用干净的毛巾擦干水箱和滤芯表面。

6. 安装水箱和滤芯

最后，将干净的水箱和滤芯重新安装好即可。

需要注意的是，若清洗后发现水质没有改善，可能是滤芯已经达到了寿命，需要更换新的滤芯。一般情况下，奥克斯小型饮水机的滤芯寿命为3-6个月，具体时间要根据使用情况和水质而定。