大数据处理算法三:分而治之/hash映射 + hash统计 + 堆/快速/归并排序_大数据分而志之-CSDN博客

网站介绍:文章浏览阅读4.8k次,点赞2次,收藏12次。百度面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。IP 是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的 IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的频率。然后再在这1000个最大的IP中,找出那个频率最大的IP,即 为所求。 百度面试题2、搜_大数据分而志之