如果饮水机旁边有小虫子，可能来源于几个原因：饮水机没有清洁干净，污垢积累导致虫子栖息；周围环境不干净，虫子从外面爬进来；管道不好维护，导致污染等等。那么应该怎么办呢？

首先，要彻底清洁饮水机。可以按照使用说明书来进行清洗，或者使用专门的清洗剂清洗，保证饮水机内部彻底干净。清洗之后要彻底晾干，保证饮用水的卫生和安全。

其次，留意周围环境的干净卫生。不仅要保持饮水机的周围环境清洁卫生，也要保持整个办公环境清洁卫生，避免外界污染进入饮用水，给虫子提供栖息的场所。

第三，保养管道，防止污染。要定期检查管道是否有堵塞或者漏水的情况，及时维护，避免水质变质或者水污染。

最后，如果虫子严重，可以选择更换饮水机或者更换针对虫子的特殊过滤器。这种过滤器可用于杀灭虫卵和虫子，确保饮用水的安全与卫生。

总之，保持饮用水的安全是非常重要的事情。只有平时细心保养和注意卫生，才能保证我们喝到干净卫生的饮用水。