请教佛家关于因果轮回的问题

今生不知前生事，名为“隔阴之迷”。

修得宿命通，则能知前生后世之事；为什么会这样却也不一定知道。
三地满心以上的菩萨，能知前生后世的事，也能知道为什么会这样。但是，细微之处还是不能了知。
因果之法看上去浅显，其实，“唯佛与佛方能尽知”。
除此以外，若有殊胜因缘，得佛菩萨开示，听闻而知。

所以，不信佛法甚至无福闻法的众生，正是“盲人骑瞎马，夜半临深池”。所受种种苦报皆不知为何，只能怨天尤人。若在地狱，可能连怨天尤人也不能，分分秒秒处于惊恐、逃窜以及抵受身体之苦痛之中，哪里有“闲心”思考这些问题。

楼主这个问题，若以意识心为我，则确是“自作他受”“他作自受”（往昔多生以前造恶业的那个“他”，所造恶业导致你受到今生之苦报，比如身为盲眼乞丐，重病缠身，不知今生的你对“他”是个什么心情？）。
若以真心的立场来说，正是“自作自受”；当然，真心无有觉受，有觉受的，还是众生的“五蕴身”。
我们无始劫以来，不知坠入地狱多少次，此生却依然是“好了伤疤忘了疼”。否则一切众生早已信入佛法也！

信受佛法者，就算以这个世世断灭的意识心为“我”，也应当自我救度，不至于坠入三恶道。何况哀愍众生流转生死，更当自度度他！否则名为“下劣根性”。

另：楼主“惩罚”之说有点问题，说道惩罚，应该有个“执法者”，而受报之事，却无“执法者”“审判者”；比如，从高处坠下，肯定摔死摔伤；你能说：“受地心引力的惩罚”吗？
所以，因果业报，法尔如是，惟人自召，与他人无关。

南无本师释迦牟尼佛

六道:
嗔恨的念头,地狱.
贪婪的念头,饿鬼.
痴迷的念头,畜生.
守五戒的念头,人.
争斗的念头.修罗.
为善的念头,天.
我前天骂了人,今天人家来骂我,我很生气,跟人家吵架,我吵的时侯不想,是因为我骂人,才会得今天被人骂的结果.我不是真忘了,是只管生气,如同忘了.
六道是我们念头的生灭.
其它可以推出来,不再多说.

据我所知，鬼的记忆与人不同，鬼的记忆可以知道几世，几十世，甚至自己生命来源处的点滴记忆。世人只有当世的记忆，以前那些在转生时都会被封闭起来。人死以后，鬼可以知道他这一生，所做事情的点点滴滴，那些就像刚刚做过一样清晰。哪里对哪里错都跟明镜一样清楚。受罪的人是带着无尽的悔恨在忏悔、受罪，什么都不清楚哪怎么能行，只有人这里最特殊。

有。即使没有不等於无罪！一个杀人犯，他失忆，他就不用负责他的罪孽，不用坐牢吗？没有什麼可冤枉的。你举出的道理不通。

他在受苦的时候有前世的记忆

记忆都在第八识中。我们轮回都是第八识在轮回。