数据采集 1.1——从我的启蒙说起

关于数据采集,我的启蒙来自于几年前因为特别好奇SEO而加入的一个利用clickbank做国外网赚/SEO的群,他们平常除了晒每月paypal 的战绩也会讨论关于内容采集的问题,而讨论中总会提到“火车头”,“八爪鱼”,于是这些神奇的工具在我百度之后深深地刻入我的脑海。

后来做amazon竞品分析免不了需要跟踪对手各项销售指标,我从国外疯狂的搜索了一批数据采集工具或软件,以测试效果为目的尝试注册了各类免费或试用版的工具,最后的心得是,国外各家软件商的出品也是大同小异。不过当我第一次用unicorns smash 看到竞品页面还是不禁感叹amazon运营已经不再是ebay铺货模式了。两三年前国内amazon 卖家软件还没什么竞争,竞品分析这样的功能在当时看来是技术含量较高的工具,再后来国内各个大型的电商公司开始自主研发工具,相关的培训机构比如索诺也开始推出他们的工具系统surtime。

尽管工作之初的第二个月我就听过同事的SEO 分享也了解爬虫的机制,但是从此后并无再深的了解,漫漫长长的时间里,我一直徘徊在店铺的后台或者平台的前台页面,尽管Python 的第一个公开发行版早在1991年就发行了,但是我始终不认识她,对她一无所知。那个时候我也不认识R, 不认识SQL, BI, ETL, etc.

回顾过去,对自己的苛责总是多过赞许,这种警戒虽然并不能根本上解决自我更新的速度,但是在态度上的改变却是极大的,你会在心里不断提醒自己对不同的东西保持好奇心,持续的好奇心,不间断的关注。

任何事物的出现,变异,更迭自有其规律,而让自己保持觉知的状态是生命中极其重要的一点,自勉!

 

 

此条目发表在Visions of DATA, 数据采集分类目录。将固定链接加入收藏夹。