#LLM

FPGA跑大模型！apex-inference-chip开源，0.56 tok/s但潜力140倍，AI算力平民化来了

SigmanticAI开源的apex-inference-chip项目，在FPGA上运行真实LLM（Qwen2.5-0.5B），单个transformer解码层用RTL实现，硅上数值逐位精确。实测0.56 tok/s，据称有140倍提升空间，为AI算力平民化和FPGA副业开辟新路。