将来自社区的Apache Cassandra专家和DataStax聚集在一起。

想学习吗?有一个问题?想分享您的专业知识吗?你是在正确的地方!

不知道从哪里开始? 入门

 

问题

mishra.anurag643_153409头像图片
mishra.anurag643_153409 ·

如果一致性为LOCAL_QUORUM并且RF = 3,Spark是否连接到群集中的两个节点?

[跟进#10306的问题]

当一致性级别设置为rf = 3的LOCAL_QUORUM时,在这种情况下,Spark会将两个节点连接到cassandra集群,或者每个客户端请求仅由协调器处理,因此协调器从副本之一读取数据,然后将该数据转发给spark由协调员?

Spark-Cassandra连接器
10 | 1000 所需字符 剩余字符 超出字符

最多可以使用8个附件(包括图像),每个附件最多1.0 MiB,总共10.0 MiB。

1 回答

埃里克·拉米雷斯(Erick Ramirez)头像图片
埃里克·拉米雷斯(Erick Ramirez) 已回答 ·

Spark连接器在后台使用Java驱动程序。当连接器请求读取时,驱动程序将连接到群集中的节点,该节点充当请求的协调器。

When the consistency is set to LOCAL_QUORUM and the keyspace has a replication factor of 3 for the local DC, the coordinator contacts 2 replicas (quorum of 3) to request the data. Provided the responses are consistent between the 2 replicas, the result is returned to the Java driver and eventually the connector as the client.

请注意,为简洁起见,我在事件中提供了事件的简化版本。有关更多信息,请参见 如何在Cassandra中完成读取请求。干杯!

2 评论 分享
10 | 1000 所需字符 剩余字符 超出字符

最多可以使用8个附件(包括图像),每个附件最多1.0 MiB,总共10.0 MiB。

我关心的是:

1. spark仅在读取或协调器路由spark与副本连接时才连接到协调器,我问这个问题是因为我担心cassandra集群如何处理请求数量?

0个赞 0 ·

连接器本身未连接到群集。如前所述,它使用Java驱动程序连接到集群。可以将连接器视为与cqlsh或任何其他应用程序一样的另一个客户端。干杯!

附言cqlsh是一个独立的客户端/应用程序,它使用另一个驱动程序(Python)连接到Cassandra群集。

0个赞 0 ·