爬数据不是自动的，要自己在合适时间运行程序
所在版块：房产车市 发贴时间：2019-07-19 12:46  更多评分:

用户信息
复制本帖HTML代码
高亮: 今天贴 X 昨天贴 X 前天贴 X 
不过只要数据爬进去mongoDB网页就会自动显示，修复mongoDB里面的数据需要自己写javascript。顺便强调一下，中介那个网站暂时没有用mongoDB，现在只是拿了data gov的数据。不用自己维护原始数据感觉太好了，但是价值就少了很多，最值钱的其实还是数据。
虽然mongoDB不需要有schema我还是强迫自己follow一定的schema，我还是习惯把它当成oracle来用，只不过会重复存很多数据这样就不用自己join不同的collection了。
.
欢迎来到华新中文网，踊跃发帖是支持我们的最好方法!

　相关帖子 我要回复↙ ↗回到正文
【房】特意赶制了一个新加坡的中介组屋交易搜索网站方便大家开撕 － 滚雪球 　2019-07-18 23:29 (394 bytes , 5798reads )
膜拜大神 － Jane_pan 　2019-07-24 11:35 (62 bytes , 23reads )
woodland组屋第一名Koh Thaim Soon － 滚雪球 　2019-07-20 14:03 (58 bytes , 31reads )
Punggol组屋第一名Yuan Lim － 滚雪球 　2019-07-20 14:02 (80 bytes , 46reads )
也是sengkang第一名 － 滚雪球 　2019-07-20 14:04 (8 bytes , 21reads )
这些都是小组的头儿吧，一个人一年哪里买卖得了100多套 － 纱纱 　2019-07-20 21:05 (0 bytes , 22reads )
这可不只是小组的头了 － 滚雪球 　2019-07-20 21:25 (46 bytes , 21reads )
Jurong West第一名hong xiao miao － 滚雪球 　2019-07-20 14:00 (74 bytes , 38reads )
排名来了 － 滚雪球 　2019-07-19 21:17 (211 bytes , 52reads )
楼主请问，这个TOP的定义是几套啊？ － 铜牌 　2019-07-21 00:52 (261 bytes , 25reads )
我把按区域的改成top 10了 － 滚雪球 　2019-07-21 10:39 (143 bytes , 21reads )
补图 － 滚雪球 　2019-07-21 11:01 (240 bytes , 18reads )
楼主太棒了 － janeyy 　2019-07-21 11:01 (13 bytes , 32reads )
这个就是刚才等娃下课的时候改的 － 滚雪球 　2019-07-21 11:08 (84 bytes , 21reads )
晚一点增加percentile的计算功能 － 滚雪球 　2019-07-21 08:17 (87 bytes , 21reads )
好问题 － 滚雪球 　2019-07-21 08:16 (189 bytes , 21reads )
啥？ － vitesse 　2019-07-19 21:23 (47 bytes , 29reads )
去搜一下他的名字吧 － 滚雪球 　2019-07-19 21:30 (16 bytes , 19reads )
像想lz一样厉害，小白入门，求问应该从何学起 － 我是双鱼座岚 　2019-07-19 21:17 (0 bytes , 32reads )
先看别人的部落格啊 － 滚雪球 　2019-07-19 21:30 (95 bytes , 19reads )
纯好奇，为啥大家不用mysql？ － sonatam 　2019-07-19 21:12 (5 bytes , 33reads )
有永久免费的cloud service吗 － 滚雪球 　2019-07-19 21:15 (21 bytes , 20reads )
赞xia － flyjc 　2019-07-19 20:04 (4 bytes , 23reads )
最佩服的就是楼主这样的能说又能做的 － xiaoleic 　2019-07-19 14:08 (12 bytes , 14reads )
马一下，膜拜技术牛人 － 结衣酱 　2019-07-19 12:27 (0 bytes , 42reads )
condo的，来一份。哈哈 － origin_ice 　2019-07-19 12:08 (0 bytes , 23reads )
大牛太厉害了 － vvos 　2019-07-19 11:16 (74 bytes , 21reads )
LZ开课吧，我愿意交钱听！ － 李香兰 　2019-07-20 01:04 (76 bytes , 54reads )
我可以试一试 － 滚雪球 　2019-07-20 22:14 (357 bytes , 22reads )
可以啊 － 滚雪球 　2019-07-19 11:31 (36 bytes , 17reads )
坐等 － MichelleYS 　2019-07-19 12:57 (11 bytes , 27reads )
哇，免费分享啊 － vvos 　2019-07-19 11:36 (10 bytes , 19reads )
蹲一个 － Ke33 　2019-07-19 11:35 (51 bytes , 23reads )
其实更关心楼盘交易分区火热程度，和销售数量占当地区域所有可售房屋的比例 － 大狗 　2019-07-19 10:36 (107 bytes , 24reads )
那个有类似的网站了吧 － 滚雪球 　2019-07-19 10:54 (130 bytes , 17reads )
时间排序不好用，是按照字母而不是时间顺序。。。 － 大狗 　2019-07-19 10:43 (0 bytes , 20reads )
是的 － 滚雪球 　2019-07-19 10:53 (12 bytes , 21reads )
数据怎么load进去的，还是连接其它网站? － 米子 　2019-07-19 10:13 (22 bytes , 20reads )
我猜是爬的 － ManU 　2019-07-19 10:35 (14 bytes , 177reads )
都是来自于data.gov.sg － nevermoi 　2019-07-19 11:12 (117 bytes , 23reads )
恩恩 － ManU 　2019-07-19 17:29 (14 bytes , 19reads )
正确 － 滚雪球 　2019-07-19 11:18 (311 bytes , 22reads )
我也这样做过 － dragon12 　2019-07-19 13:39 (98 bytes , 19reads )
我觉得访问API不是问题 － 滚雪球 　2019-07-19 14:08 (175 bytes , 21reads )
Mongodb 的备份和一些utility比较容易，想之间的 － 米子 　2019-07-19 12:22 (249 bytes , 19reads )
爬数据不是自动的，要自己在合适时间运行程序 － 滚雪球 　2019-07-19 12:46 (383 bytes , 43reads )
进来膜拜楼主 － Imycatcat 　2019-07-19 09:54 (26 bytes , 9reads )
厉害了 － Ke33 　2019-07-19 09:22 (12 bytes , 16reads )
有保险相关的排名就好了 － x4 　2019-07-19 09:12 (40 bytes , 18reads )
哪里有数据吗？ － 滚雪球 　2019-07-19 09:30 (5 bytes , 23reads )
公司好像没有给金管局递这方面的数据 － x4 　2019-07-19 09:48 (27 bytes , 16reads )
公司总有 － 笑天 　2019-07-19 14:15 (20 bytes , 16reads )
大神好厉害 － 扮猪吃老虎 　2019-07-19 08:46 (10 bytes , 19reads )
楼主我大写的服 － Tridenttt 　2019-07-19 08:32 (62 bytes , 27reads )
楼主厉害 － dandingxie 　2019-07-19 08:02 (30 bytes , 23reads )
睡了啊 － 滚雪球 　2019-07-19 08:43 (76 bytes , 21reads )
同问：晚上不用睡觉咩？！ － yaoyao8 　2019-07-19 08:34 (0 bytes , 19reads )
事实上入睡的更快 － 滚雪球 　2019-07-19 08:57 (56 bytes , 17reads )
lz你好有商业头脑 － Liushabao 　2019-07-19 07:27 (5 bytes , 16reads )
楼主这个真不错，比CEA 的方便 － 铜牌 　2019-07-19 00:19 (32 bytes , 36reads )
哪里有private的数据吗？ － 滚雪球 　2019-07-19 09:31 (25 bytes , 37reads )
好项目 － josta 　2019-07-19 00:03 (6 bytes , 40reads )
沙发 楼主是不嫌事儿大星人 － 功夫熊猫 　2019-07-18 23:33 (0 bytes , 35reads )
根据热点楼 － 随便转转 　2019-07-18 23:33 (86 bytes , 38reads )