路透社撰文称，亚马逊在电商领域的巨大成功依靠的不仅仅是快速的配送服务和丰富的产品选择，支持其电商运营的各种先进技术同样至关重要，比如“爬虫机器人”（bot）技术。凭借出色的机器人运用和检测能力，它能够跟踪竞争对手的价格变动，还日益能够避免被跟踪，做到敌明我暗，进而适时调整自家商品的价格。
以下是文章主要内容：
今年早些时候，沃尔玛致力于追踪竞争对手线上价格的工程师惊讶地发现：他们用来一天查看亚马逊网站数百万次的技术突然失灵了。
没能访问亚马逊网站的数据可不是小事情。跟大多数的大型零售商一样，沃尔玛非常依赖于在竞争对手网站扫描价格的计算机程序来相应地调整自家商品的价格。即便价格跟对手仅仅相差50美分，也有可能损失一笔订单。
然而，亚马逊用于屏蔽这些程序（通常被称作爬虫机器人）的新策略挫败了沃尔玛的意图。
据一位知情人士透露，该总部位于阿肯色州本顿维尔的零售商的技术部门@WalmartLabs几个星期以来一直都找不到绕过亚马逊的封阻的办法，因此不得不通过另一个来源来检索亚马逊的数据。
这一此前未经报道的事件提供了一个有关亚马逊强大的技术实力如何帮助它统治零售市场的案例研究。
作为当今全球最大的在线零售商，亚马逊最为消费者熟知的是它快速的配送，丰富多样的商品选择，以及在原创电视节目等领域的野心。不过，它用以驱动现代电商业务的种种复杂的幕后技术，对于它的成功同样不可或缺。
凭借对机器人的灵活使用，亚马逊不仅仅能够观察竞争对手的一举一动，还日益能够让它们无从发现自己的举动，做到敌明我暗，进而能够适时地设定低于竞争对手的价格，又或者悄然提高自家产品的价格。
“对标亚马逊将变得越来越困难。”前亚马逊经理、加州山景城的零售定价软件提供商Boomerang Commerce的CEO古鲁·哈里哈兰（Guru Hariharan）指出。
沃尔玛发言人拒绝讨论该发生于1月的事件，但表示，公司定期改进它的技术，且有多个工具来追踪商品。他说道，公司不仅仅通过定价来给消费者提供价值，还会通过店内取货折扣和其它的实惠。
亚马逊发言人称公司知道竞争对手使用机器人来追踪它的商品，否认有采取任何的“行动”去阻止对手。“在如何管理在我们的网站上的机器人上，最近一切照旧，没有任何的改变。”不过，她还指出，“我们根据需要将人放在机器人之前。”
机器人能够减慢网站的运行，这是零售商采取行动屏蔽它们的一大动机。
路透社采访了21位熟悉机器人及其部署方式的业内人士，当中包括沃尔玛现任和以前的员工、前亚马逊员工和外部的专家。
大多数人都称亚马逊在新兴的机器人争夺战中占据领先地位。
该公司的技术优势有利于它提升利润率，与此同时它也给投资者带来了丰厚的回报。该互联网巨头的股价自2009年3月以来已经疯狂上涨了大约15倍，而标准普尔500指数同期仅增长了三倍多。亚马逊在2015年录得1000亿美元的年销售额——据它称，它达到这一成就的速度要快于历史上任何的一家公司。
美丽新世界
自亚马逊10多年前帮助开创由爬虫机器人驱动的定价以来，该惯例在零售行业掀起了巨大的变化。
以往，传统的实体店至多一周更改一次价格，因为人手更换价格标签需要一定的时间和成本。
而在电商领域里，零售商能够轻而易举地更新价格，有时候一天变更好几天，这得益于可考量库存水平、销售预测和竞争对手定价数据的算法。
为了维持市场竞争力，纽约在线批发商Boxed等公司依靠包括爬虫机器人在内的各种方式，来确保自己的价格变动不会慢于竞争对手，哪怕只是慢20分钟也要避免。
“20分钟在圣诞节期间如同是一辈子那么长。”Boxed的CEO黄介迩（Chieh Huang）表示，“如果我们没能够适当地定价，那我们几乎马上就会经受销售额的下降。”该公司主要销售卫生纸、宠物食品等商品。
让机器人伪装成真实顾客
用机器人来查看公开网站上海量的数据背后——这一过程被称为网页采集或者网页数据抓取——有着各种各样的目的。例如，Alphabet旗下的谷歌持续不断地在网络上部署爬虫，收集信息来给它的搜索引擎呈现搜索结果和出售广告。
而在电商领域，爬虫机器人的使用已经变成了一场猫捉老鼠的游戏。企业会试图阻挠竞争对手在自家网站上部署的机器人，同时也想要突破竞争对手的网站防线，监视它们的一举一动。第三方服务因此如雨后春笋般涌现，它们致力于帮助那些技术相对没那么先进的零售商。
为了避免被竞争对手收集自己的数据，部分零售网站采用人类能够识别但多数机器人都无法识别的验证码。由于引起了部分顾客的不满，亚马逊已经不再使用验证码。
对于寻求避开这种防线的零售商来说，将自己的计算机程序伪装成真实的顾客是一大关键。一些定价技术专家会使得程序的电脑光标在网页上的游走像真实顾客那样，而不是直接去抓取有价值的数据。另一种技术是，同时使用多个电脑地址，让零售商无法将一连串的点击行为追溯到单一的来源。
爱尔兰电商分析公司Profitero高级副总裁凯斯·安德森（Keith Anderson）认为，“这就像是军备竞赛。每一周，或者每一个月，对战双方都会拿出某种新伎俩。”
亚马逊1月挫败沃尔玛的行动以一个名为PhantomJS的专用网络浏览器为目标。不同于Internet Explorer，该浏览器专为程序员而打造——说明它的用户不是普通购物者的一个线索。据三位知情人士透露，亚马逊设置了数字窗帘来隐藏自家商品的信息，以此来避免被PhantomJS用户追踪。
还不清楚该并非特别针对沃尔玛的行动是否也影响到其它的公司。
路透社近几周进行的测试显示，在美国的几家大型零售商当中，亚马逊拥有迄今为止最先进的机器人检测技术——既包括自家主页上的检测，也包括路透社所挑选的两款价格频繁变动的热门商品德龙（De'Longhi）咖啡机和罗技网络摄像头上的检测。
上述测试由旧金山出售反机器人工具的公司Distil Networks展开。在其中一项测试中，Distil通过程序化让机器人访问各家零售商的网站3000次，但会比较缓慢地访问，以模拟出真实顾客点击查看商品的效果。这一伎俩骗过了大多数的零售巨头，但骗不过亚马逊。
例如，被屏蔽的机器人没有发现亚马逊上的德龙咖啡机价格始于4月25日早上的24小时内变化了4次（根据价格追踪网站camelcamelcamel.com的数据）。在这段时间里，该商品的价格变化幅度超过10%，变动区间为80.06美元至88.16美元。
布满爬虫机器人
虽然亚马逊拥有强大的技术，但其网站上的网络爬虫数量之多令人惊愕。知情人士称，有时候，亚马逊网站上的产品多达80%的点击来自爬虫机器人，相比之下其它大型零售商的网站的这一比例只有三分之一左右。
除了竞争对手寻求获得价格数据之外，那些点击流量来源还包括来自研究市场竞争的高校研究者、搜索引擎、广告服务甚至试图入侵亚马逊账号的行骗者的爬虫机器人。
就沃尔玛来说，据沃尔玛以前和现在的员工说，其在硅谷的一个小团队负责指引它的自动化定价策略，同时在印度和全球各地的数十名工程师负责处理程序代码。
其中一位受访者表示，从几年前开始，亚马逊约有40名工程师负责利用机器人秘密地提取和整理竞争对手的数据。亚马逊没有透露其爬虫机器人运作团队的规模和组成结构。
从一项美国专利申请来看，亚马逊正在研究一项加密技术来迫使机器人而非员工来解决进入其网页的复杂算法。
在前亚马逊经理、Madrona Venture Group常务董事斯科特·雅各布森（Scott Jacobson）看来，“亚马逊既有能力去检测来自外部的爬虫机器人流量，又有资金去应对这种问题。而大多数的零售商则不具备这些条件。”（乐邦）
