问大家一个面试场景题问题
java吧
全部回复
仅看楼主
level 7
两B不二 楼主
今天在面试的时候,问在10亿级别的数据下,调用第三方视图获取数据时如何优化,因为是调用第三方视图,所以索性这些是不能动,我说限制查询日期这些他也不认同,分库分表他也不咋满意,所以还咋优化[不高兴][不高兴]
2025年08月18日 12点08分 1
level 8
没听懂,到底是同步别人的数据还是自己的数据,去给别人的数据库分库分表吗,这种一般就是流复制+断点续传 解决方案就是canal或debezium订阅binlog或wal log,或者flink cdc,本地的文件存储可以选parquet或feather,数据库可以选clickhouse什么的
2025年08月18日 13点08分 2
就是查数据从视图查表有10亿数据,视图是别人提供的,改不了索引和sql这些
2025年08月18日 13点08分
level 3
如果第三方不能动,就要从我方想办法。比如自己这边建个缓存,把已查到的数据偷偷存起来,未知的才去请求。如果能遍历第三方,干脆就整个拿过来再做优化。不就解决了
2025年08月18日 16点08分 3
1