Hive视图表加密字段运算

Question

真诚学习，通过视图表进行大数据分析时部分敏感字段由于权限问题无法查看，能够通过这些加密字段做关联运算

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

在Hive中，如果你希望基于加密字段进行关联运算，你需要确保这些加密字段在运算过程中保持加密状态，并且不会暴露原始数据。以下是一些建议：

1. 使用安全的数据存储：

   • 使用像HDFS这样的安全存储系统，它可以提供文件级别的加密。
   • 使用Hive的SSL和TLS进行数据传输加密。

2. 加密字段：

   • 使用安全的加密算法，如AES，对敏感字段进行加密。
   • 加密应在数据入库之前进行，并且确保只有有权限的用户才能解密。

3. Hive查询中的加密字段：

   • 当你基于加密字段进行关联运算时，确保所有的参与方都使用相同的加密/解密算法。
   • 由于Hive本身不支持字段级别的加密，你可能需要在Hive外部处理加密/解密，然后再将结果传递给Hive。

4. 考虑使用安全的中间件：

   • 使用像Apache Ranger这样的安全中间件来限制对敏感数据的访问。
   • 使用Apache Sentry来管理Hive的访问控制。

5. 审计和监控：

   • 确保有适当的审计和监控机制来跟踪谁访问了哪些数据。
   • 使用像Apache Atlas这样的工具来跟踪数据访问和血缘关系。

6. 避免在Hive中解密：

   • 尽量避免在Hive中直接解密字段，因为这可能会暴露敏感数据。
   • 如果需要在Hive中进行某些基于加密字段的计算，考虑在外部处理加密/解密，然后将结果存储在加密格式中，并只将解密后的结果返回给需要的用户。

7. 考虑使用安全的数据库：

   • 如果可能，考虑使用支持列级加密的数据库，如MySQL的InnoDB加密功能或PostgreSQL的pgcrypto扩展。

总之，基于加密字段的关联运算在Hive中是一个挑战，因为Hive本身不支持字段级别的加密。你可能需要在外部处理加密/解密，并确保只有有权限的用户才能访问敏感数据。