首个卒，分享收个租数据同步和数据计算的相关技术

数据同步备份

by open posted on 2021/09/01 under 短文

同步备份就好比一队消防员共同作战。当发生火灾时，他们会同时出动，确保一切都在控制之下才撤离。在计算机术语中，同步备份意味着当某个地方的数据更新后，其他所有地方的数据也会立即得到更新。系统的所有部分协同工作，确保每一个数据从节点都是一致的。这是保持所有数据完美同步的方式。
主节点操作：想象一下一艘船的船长正在发号施令。队长（或主节点）负责，当需要做某事时，他们确保每个人都知道。在同步备份中，主节点就像船长一样，指挥着数据如何更新。它是启动这一过程并确保一切顺利进行的人。

从节点操作：船上的船员就像同步备份中的从节点。他们听从船长的命令，确保一切顺利。当主节点要求更新数据时，从节点会立即执行。他们一起工作，确保数据的每个从节点都完全相同。
确认过程：一旦船员遵循了船长的命令，他们就会向船长报告，让船长知道工作已经完成。在同步备份中，从节点会向主节点发送确认信息。就像竖起大拇指，表示“一切都好！” 这可确保一切同步并且过程完整。

数据异构备份

by ben posted on 2021/12/18 under 短文

异步备份有点像我们通过快递发送一个包裹。我们把包裹交给快递公司，但并不能实时地知道包裹是否已经到达接收方。在数据库领域，异步备份是指在主数据库中更新数据后，这些更新会被发送到从数据库，但主数据库不会立即等待从数据库的确认。这样做可以提高数据处理的速度，但同时也增加了数据不一致的风险。
对客户端的即时响应：在异步备份中，当系统收到你的请求后，它会立即告诉你"已接收"，然后让你继续你的其他操作。它不会让你等待所有操作都完成，这完全是为了提高速度和方便性。

对从节点的异步传播：当你放下包裹后，由快递公司来负责送达。你相信它最终会到达目的地。在异步备份中，配送信息更新会发送到系统的其他部分（也就是从节点），这些从节点会在合适的时候进行同步。这就像发送配送信息给大家，你发送后相信每个人都会收到信息。

数据计算实现过程

by ben posted on 2022/08/18 under 短文

1、将待处理的大规模数据存储在服务器集群的所有服务器上，主要使用 HDFS 分布式文件存储系统，将文件分成很多块（Block），以块为单位存储在集群的服务器上。
2、大数据引擎根据集群里不同服务器的计算能力，在每台服务器上启动若干分布式任务执行进程，这些进程会等待给它们分配执行任务。
3、使用大数据计算框架支持的编程模型进行编程，比如 Hadoop 的 MapReduce 编程模型，或者 Spark 的 RDD 编程模型。应用程序编写好以后，将其打包，MapReduce 和 Spark 都是在 JVM 环境中运行，所以打包出来的是一个 Java 的 JAR 包。

4、用 Hadoop 或者 Spark 的启动命令执行这个应用程序的 JAR 包，首先执行引擎会解析程序要处理的数据输入路径，根据输入数据量的大小，将数据分成若干片（Split），每一个数据片都分配给一个任务执行进程去处理。
5、任务执行进程收到分配的任务后，检查自己是否有任务对应的程序包，如果没有就去下载程序包，下载以后通过反射的方式加载程序。走到这里，最重要的一步，也就是移动计算就完成了。
6、加载程序后，任务执行进程根据分配的数据片的文件地址和数据在文件内的偏移量读取数据，并把数据输入给应用程序相应的方法去执行，从而实现在分布式服务器集群中移动计算程序，对大规模数据进行并行处理的计算目标。

数据管控和数据安全

by ben posted on 2023/10/16 under 文章

数据安全（Data Masking），又称数据混淆、数据漂白、数据去隐私化。是一种为用户提供虚假数据而非真实数据，防止敏感数据滥用的技术。包括静态脱敏（Static Data Masking，通常在非生产数据库中防止数据的滥用）和动态脱敏（Dynamic Data Masking，生产数据库中传输数据的脱敏）。数据脱敏技术能够保护企业内外部的所有敏感数据，也成为敏感数据安全防护的首选方案。
敏感数据识别一般有两种途径：一是敏感数据智能识别，智能敏感数据识别技术主要应用在文本、图像等非结构化数据类型中；

        二是人工识别，基于现有数据，通过人工方式识别敏感数据，再由数据库管理员根据个人经验对敏感数据进行查找和确定。人工识别敏感数据耗时、耗力、耗资，但智能识别需要先对敏感数据开展特征分析，提炼出一套敏感数据特征规则。利用特征规则快速找出系统中的敏感数据。因此，分析数据特征需要业务人员的高度参与，梳理数据特征规则并基于规则找到敏感数据需要技术人员技术攻坚。常见的智能识别算法有：基于相似度、非监督学习和监督学习。
        数据脱敏技术是解决在不影响数据使用的前提下，保护敏感隐私数据的问题，数据脱敏技术的核心是动态监听不同业务系统访问自己的数据库和解决不同数据库查询的结果数据基于脱敏规则脱敏。因此，需要让业务系统更换使用数据安全系统提供的基于TCP/IP协议的JDBC驱动和对应的JDBC URL。
在软件开发过程中，我需要与团队成员密切合作，共同解决软件开发中遇到的各种问题。同时，我还需要与房东和租户保持沟通，了解他们的反馈和建议，并根据反馈进行软件的改进和优化。
        数据保护规则主要有数据加密规则和数据脱敏规则。
        数据加密规则主要是数据传输过程中加密、数据存储加密和密钥管理三个部分。数据传输加密使用安全协议（如TLS/SSL）对数据在传输过程中进行加密，防止数据被截获或篡改，一般用于动态脱敏服务。数据存储加密对敏感数据在存储时进行加密，确保即使数据泄露，也无法直接获取明文数据，一般用于静态脱敏任务。密钥管理确保密钥的安全存储、分发和轮换，以维护加密数据的机密性。
        数据脱敏规则是用于对敏感数据进行脱敏处理的规则集，以保护数据的隐私和安全。数据脱敏是一种在保持数据可用性的同时，对敏感数据进行修改或替换的技术。数据脱敏类型常见的有哈希算法、对称加密、字符掩盖、置空、偏移与取整。

我是一枚收租软件开发工程师

by ben posted on 2023/10/16 under 文章

作为一名收租软件开发工程师，我的工作是让房东的生活更轻松，让租户的租房体验更好。在这个充满竞争的时代，房东们需要一款能够帮助他们更好地管理房产、收租和维修的软件。我的工作就是为房东们提供这样的解决方案。
首先，作为收租软件开发工程师，我需要了解房东和租户的需求。通过与房东和租户的交流和调查，我深入了解了他们的痛点和需求。这有助于我为软件的设计和开发提供更加实用的建议和意见。

其次，我需要熟悉软件开发的基础知识，包括编程语言、数据库设计、前后端开发等。同时，我还需要掌握与租房相关的知识，比如租赁合同、法律法规、维修流程等。这些知识有助于我更好地理解房东和租户的需求，并为其提供更加专业的解决方案。
在软件开发过程中，我需要与团队成员密切合作，共同解决软件开发中遇到的各种问题。同时，我还需要与房东和租户保持沟通，了解他们的反馈和建议，并根据反馈进行软件的改进和优化。
最后，作为收租软件开发工程师，我需要不断学习和更新自己的知识。租房市场和法律法规都在不断变化，我需要及时了解这些变化并更新软件。同时，我也需要不断探索新的技术和工具，以提高软件的开发效率和性能。
总之，作为收租软件开发工程师，我的工作是让房东的生活更轻松，让租户的租房体验更好。为了实现这个目标，我需要不断学习、探索和创新。我相信，在未来的日子里，我会为房东和租户带来更加优秀的解决方案。

如何提高工作效率

by klp posted on 2022/12/23 under 文章

在现代社会，工作效率是每个人都需要追求的目标。提高工作效率可以让我们更好地完成任务，提高工作质量，同时也可以让我们更好地管理时间，提高工作满意度。下面是一些方法，可以帮助我们提高工作效率。

1.制定清晰的目标和计划

制定清晰的目标和计划是提高工作效率的关键。首先，我们需要明确自己的目标和任务，并将其分解为具体的步骤。其次，我们需要制定一个实际可行的计划，并为每个任务设定一个完成时间。通过这样做，我们可以更好地管理时间，避免任务之间的冲突，提高工作效率。

2.优化工作流程

优化工作流程可以让我们更好地完成任务，减少不必要的时间浪费。我们可以通过分析现有的工作流程，找出瓶颈和不必要的环节，并尝试改进它们。例如，我们可以通过使用自动化工具或简化流程来减少重复性工作，提高工作效率。

3.借助有效的工具和技术

借助有效的工具和技术可以让我们更快地完成任务，提高工作效率。例如，我们可以通过使用电子邮件、即时通讯工具等在线工具来提高沟通效率。此外，我们还可以使用各种软件工具来提高工作效率，例如任务管理工具、时间管理工具、项目管理工具等。

4.建立良好的沟通机制

建立良好的沟通机制可以让我们更好地与团队成员和房东、租户等利益相关者进行沟通，提高工作效率。我们可以通过定期召开会议、使用在线沟通工具、建立反馈机制等方式来建立良好的沟通机制。通过这样做，我们可以更好地理解需求和反馈，及时解决问题，提高工作效率。

5.注重时间管理

注重时间管理可以让我们更好地安排时间，避免时间浪费和拖延。我们可以通过使用时间管理工具、规划日程、避免干扰等方式来注重时间管理。通过这样做，我们可以更好地掌控时间，提高工作效率。

6.保持积极的心态

保持积极的心态可以让我们更好地应对工作压力和挑战，提高工作效率。我们可以通过采取积极的态度、鼓励自己、培养自信心等方式来保持积极的心态。通过这样做，我们可以更好地应对工作中的挑战和压力，提高工作效率。

总之，提高工作效率需要我们制定清晰的目标和计划，优化工作流程，借助有效的工具和技术，建立良好的沟通机制，注重时间管理并保持积极的心态。通过这些方法，我们可以更好地完成任务，提高工作质量和管理时间的能力，同时也可以提高工作满意度和自我价值感。