kafka是干嘛的

| 企服解答

Kafka 是由 Linkedin 公司開發的，它是一個分布式的，支持多分區、多副本，基于Zookeeper 的分布式消息流平臺，它同時也是一款開源的基于發布訂閱模式的消息引擎系統。Kafka的主要功能包括生產者發送消息給kafka服務器、消費者從kafka服務器讀取消息、Kafka服務器依托zookeeper集群進行服務的協調管理。

kafka是干嘛的

1、生產者發送消息給kafka服務器

發送消息主要有3種方式：發送并忘記(fire-and-forget)、同步發送、異步發送。

2、消費者從kafka服務器讀取消息

需要從Kafka讀取數據的應用程序使用KafkaConsumer訂閱Kafka主題，并從這些主題接收消息。從Kafka讀取數據與從其他消息系統讀取數據有一點不同，其中包含了一些獨特的概念和思想。如果不先理解這些概念，就很難理解如何使用消費者API。將首先解釋一些重要的概念，然后通過一些示例展示使用消費者api實現需求不同的應用程序的不同方式。

3、Kafka服務器依托zookeeper集群進行服務的協調管理

kafka是通過zookeeper來管理集群。kafka軟件包內雖然包括了一個簡版的zookeeper，但是感覺功能有限。在生產環境下，建議還是直接下載官方zookeeper軟件。

| 拓展閱讀

kafka的適用場景包括Messaging、Website activity tracking、Metrics、Log Aggregation。

1、Messaging

對于一些常規的消息系統,kafka是個不錯的選擇;partitons/replication和容錯,可以使kafka具有良好的擴展性和性能優勢.不過到目前為止,我們應該很清楚認識到,kafka并沒有提供JMS中的"事務性""消息傳輸擔保(消息確認機制)""消息分組"等企業級特性;kafka只能使用作為"常規"的消息系統,在一定程度上,尚未確保消息的發送與接收絕對可靠(比如,消息重發,消息發送丟失等)

2、Website activity tracking

kafka可以作為"網站活性跟蹤"的最佳工具;可以將網頁/用戶操作等信息發送到kafka中.并實時監控,或者離線統計分析等

3、Metrics

Kafka通常被用于可操作的監控數據。這包括從分布式應用程序來的聚合統計用來生產集中的運營數據提要。

4、Log Aggregation

kafka的特性決定它非常適合作為"日志收集中心";application可以將操作日志"批量""異步"的發送到kafka集群中,而不是保存在本地或者DB中;kafka可以批量提交消息/壓縮消息等,這對producer端而言,幾乎感覺不到性能的開支.此時consumer端可以使hadoop等其他系統化的存儲和分析系統。